AI技術、特に言語を理解する大規模言語モデル(LLM)の進歩は著しく、私たちの生活やビジネスに大きな変化をもたらしています。
トランスフォーマーというモデルは、これらLLMの発展に欠かせない技術です。文の中で単語間の関係を捉えるアテンションというメカニズムを用い、言語だけでなく、画像や音声認識にも影響を与えています。
また、言語データを効率的に処理するトークンという単位があり、トークナイザーによって言語が分割・再構築されます。
これらの技術を支えるのは大量のテキストデータ、つまりコーパスです。データ量はモデルの性能向上に直結しており、高品質なLLMを開発するためには膨大なコーパスが必要とされています。
この記事では、そんなLLMの基本概念と、その興味深い機能について高校生にもわかりやすく解説します。
出典 : 押さえておきたいLLM用語の基礎解説(2) トランスフォーマー・エンコーダー・デコーダー・パラメータ・トークン・コーパス https://news.mynavi.jp/techplus/article/llm-terminology-2/