AI技術が急速に進化し、私たちの生活に多大な影響を与えています。特に、生成AIとLLM（大規模言語モデル）が注目されていますが、そのしくみを理解するのは難しいものです。
LLMは自然言語処理の技術で、複数のニューラルネットワークが協力し合うことで、文章や単語の意味を読み取ります。この技術はトランスフォーマーとして知られ、Googleが開発したモデルが基盤となっています。エンコーダーで意味を捉え、デコーダーで新しい文を生成する仕組みです。
LLMの学習には、膨大なテキストデータ集、コーパスが必要です。そして、トークナイザーがそれを効率的に分割し、モデルが多言語を扱えるようにしています。この技術により、言語を圧倒的なスケールで分析し、新たな可能性を切り開いています。
出典 : 押さえておきたいLLM用語の基礎解説 第2回 トランスフォーマー・エンコーダー・デコーダー・パラメータ・トークン・コーパス（2024年9月26日）｜ https://news.biglobe.ne.jp/it/0926/mnn_240926_3022779922.html