多くの人々にとって、自動車のエンジンやコンピューターの内部構造は謎に包まれています。それが機能する限り、中で何が起きているかは気にならないものです。しかし、大規模な言語モデル（LLM）についてはそうはいきません。GPT-4やClaude、Geminiのようなモデルは人工知能（AI）の最先端に位置しており、その詳細な動作原理は設計者やビルダーにさえ完全には把握されていないのです。
LLMは深層学習という技術を使用しており、脳の構造に倣って模倣した何十億ものニューロンのネットワークを、何兆もの例にさらしてパターンを見いだします。訓練されたLLMは会話をしたり、様々なスタイルでテキストを生成したり、ソフトウェアのコードを書いたりしています。
これらのモデルは設計されるよりも育てられるといえます。人々は、LLMが時に誤った答えやでたらめを答え、「幻覚」と呼ばれる行動を見せる理由を完全には理解していません。AIのブラックボックスぶりは、顧客サポートからドキュメントの要約、ソフトウェアコードの執筆まで、様々な用途で使用が始まっている現状を考えると気がかりな問題です。
出典 : https://www.economist.com/science-and-technology/2024/07/11/researchers-are-figuring-out-how-large-language-models-work