驚きの技術がここに！新型の大規模言語モデル「AnyGPT」が、さまざまなモダリティのデータを理解し、相互変換も可能にしたと話題です。音声、テキスト、画像、音楽といった多様なデータの読み書きが、この1つのモデルで実現します。
AnyGPTは特別なアーキテクチャの変更をせず、データ前処理だけで複数のモダリティを統合。さらに、マルチモーダル命令データセット「AnyInstruct」を通じ、10万8000サンプルの会話例でモデルのトレーニングを行いました。
言葉での指示だけで音楽を画像に、画像を音楽に変換するなど、「Any-to-Any」の夢を叶えるAnyGPT。その実力はデモンストレーションでご確認いただけます。これからのAIの可能性が無限に広がりそうです。
出典 : https://gigazine.net/news/20240222-anygpt/