国立情報学研究所（NII）が開発した、圧巻の1720億パラメータを誇る大規模言語モデル「llm-jp-3-172b-instruct3」が、2024年のクリスマスイブに全世界に向けて公開されました。
このモデルは、なんと2.1兆トークンという膨大な学習データに基づいて作り上げられたもので、その全データがオープンにされているのは世界でここだけです。日本語の理解能力に特化しており、名だたるGPT-3.5をも凌ぐ実力を持ちます。
学習には、経済産業省のプロジェクトや文部科学省の補助金が活用され、グーグル・クラウド・ジャパンやさくらインターネットの計算資源が用いられています。Webアーカイブや日本語Wikipediaなど、様々なテキストが学習材料として利用されました。
出典 : 透明性が大切 NIIが“完全オープン”で世界最大級のLLMを一般公開 https://ascii.jp/elem/000/004/243/4243120/
