LLM（言語モデル）の基本原理を理解することは不可欠です。
統計に基づいた初期の言語モデルは、深層学習の出現以前のもので、n-gramや隠れマルコフモデルなどが使われていました。
しかし、ニューラルネットワークと、それに続く2017年にVaswaniらによって導入されたトランスフォーマーアーキテクチャの登場は、この分野に革命をもたらしました。
トランスフォーマーモデルは、自己注意メカニズムを使い、長距離の依存関係における従来の再帰的ニューラルネットワーク（RNN）の限界を克服しながら、シーケンスを並列処理します。
現代のLLMがどのようにして複雑な言語のパターンを学習し、理解するようになったのかを明らかにするためには、これらの技術的背景を知ることが不可欠です。
出典 : A Comprehensive Guide to Building Large Language Models (like deepseek) from Scratch https://medium.com/@mirzasamaddanat/a-comprehensive-guide-to-building-large-language-models-from-scratch-2beeb8575f51
