AIスタートアップのGradientとクラウドコンピュータプラットフォームのCrusoeは、Llama-3モデルのコンテキストウィンドウを100万トークンに拡張した最近の取り組みを発表しました。これにより、英語圏以外のアプリケーション開発にも活用できるようになります。高度なGPUを活用し、コスト効率良く、大規模トレーニングを実現しています。
Gradientは企業向けにLLMの統合を支援しているため、この技術は企業のワークフローに大きな変革をもたらす可能性があります。また、オープンソースコミュニティの研究成果を基にしており、多くのAI研究者による共有された知識がこの成果には生きています。
なお、この先進的な長いコンテキストウィンドウを持つモデルの開発には、高価なGPUが不可欠ですが、Crusoeはそれに対する解決策を提供しています。これらの技術が、企業や開発者がAIを活用した新しいアプリケーションを容易に開発できるようになることが期待されています。
出典 : https://venturebeat.com/ai/how-gradient-created-an-open-llm-with-a-million-token-context-window/