NVIDIAが発表した「Llama-3_1-Nemotron-Ultra-253B-v1」は、ただの大規模言語モデルではなく、チャットや指示の理解、推論力などを持ち合わせた先進のAIエージェントです。
巨大な405Bパラメータの「Llama 3.1」を効率化し、教師モデルから生徒モデルへの知識転移を行い、さらには継続的な事前学習を実施します。
また、科学的推論力を身につけるための強化学習や、自然な対話生成の能力を向上させるカリキュラムなど、複数段階の高度な学習プロセスを経て設計されたのが特徴です。
この革新的なモデルは、商用利用も可能であり、リアルな応用において非常に高い性能を発揮すると期待されています。
出典 : NVIDIA® Llama Nemotron™：推論・指示理解・チャットに強い次世代LLMの全貌｜GPUサーバープラットフォームの設計/構築なら「技術力」のNTTPC https://www.nttpc.co.jp/gpu/article/technical21.html
