インターネット上には、基礎モデルを微調整するさまざまな手順について詳しく説明している資料が豊富にあります。しかし、実際に取り組む方法を決めるまでには、何度も資料を参照しなければなりませんでした。ここでは、ドメインデータに基づいてLLM（大規模言語モデル）を微調整するためのロジックやコード、また、モデルのトークナイザーや埋め込み層を更新することによるドメイン特有のトークンへの対応方法についてお話しします。
最初のアイデアはモデルの語彙を更新することでしたが、実行するにあたって予想以上に直感的ではありませんでした。トークナイザーに新しい単語を単に追加するだけでは、埋め込み層が新しいトークンを認識せず、最適に機能しません。さらに、埋め込み層のトレーニングは大量の計算リソースを必要とします。
しかし、新しいトークンをどう扱うかをさらに考察した結果、既存の方法を利用して新しい単語の埋め込みベクトルを作成する解決策を思いつきました。詳しい手順をコード説明とともに紹介し、PEFTアダプターを使って語彙の更新に対応する方法まで説明します。
こうして、あなたのドメインに特化したPEFTアダプターとトークナイザーを微調整することができるのです。
出典 : https://medium.com/@jaotheboss/domain-training-your-llm-6c77f53e3e27