Gradient社とMichael Feil氏が共同で執筆した本投稿では、大規模言語モデル（LLMs）の評価の重要性に焦点を当てています。
モデルのパフォーマンスを素早く正確に検証することが、その改善と展開につながるとのこと。
Gradient社はカスタムLLMの開発に取り組み、AI 開発ラボを立ち上げ、企業向けに特化した開発サービスを提供しています。
AWS Trainiumを利用してモデルを訓練中に、従来のツールの制約を克服すべく、AWS Neuronを統合した新しいソリューションを構築、オープンソース化しました。
結果として、トレーニング中やその後の他の公開モデルとのベンチマークにおいて、自社のAlbatrossモデルの早期バージョンを評価することが可能となりました。
さらに、この統合はAWSの未使用EC2容量を利用することでコストを最大90％削減し、モデルのテスト頻度とスピードを向上させています。
AWS Inferentia2を使ったベンチマークプロジェクトを例に、従来と同等かそれ以上のスコアを生成しつつ、AWS Inferentia2の利点を活かしています。
このイノベーションは、AIの評価フレームワークのより幅広い採用に向けた一歩です。
出典 : https://aws.amazon.com/blogs/machine-learning/gradient-makes-llm-benchmarking-cost-effective-and-effortless-with-aws-inferentia/