GSMAのイノベーション部門であるGSMA Foundryは、電気通信業界向けの大規模言語モデル(LLMs)の改善を目指すオープンソースの取り組みを発表しました。
この新しいイニシアティブは「Open-Telco LLM Benchmarks」と名付けられ、AIモデルの能力やエネルギー効率、実際の電通シナリオでの安全性を評価する枠組みを提供します。
開発にはアブダビのKhalifa University、コンピュータアプリケーション開発者のHugging Face、Linux Foundationといった非営利団体が協力しており、Deutsche TelekomやLG Uplus、SK Telecom、Huaweiなどの企業も参加しています。
近年、電通業界でのAIの導入が進む中、現時点のLLMsは技術的な知識やトラブルシューティング、規制順守に苦戦しており、GPT-4モデルは特定のテストで75%未満のスコアを記録しました。
GSMAは、AIモデルが実際の運用ニーズに合致し、信頼できるものになるように改善していく必要があると説明しています。
この新しいベンチマークは、AIモデルが現実の電通の課題にどのように対処するかをテストするための標準化された試験システムを提供します。
また、Hugging Faceのプラットフォーム上で透明性を高め、より多くの関係者との関与を促進することを目指しています。
出典 : GSMA debuts telco AI LLM benchmarks https://www.mobileworldlive.com/ai-cloud/gsma-debuts-telco-ai-llm-benchmarks/
