オープンソースのLLMを自在にチューニング!

2023.12.22

WorkWonders

自分だけのLLMモデルを調整する方法とは? 前回の記事で、独自にLLMをトレーニングする利点をお話しました。今回は、実際のチューニング方法と必要なコードをわかりやすく解説します。例えば、自然言語で尋ねられた質問をSQLクエリに変換する「Llama2–7B」モデルをチューニングします。

データベースの構造はLLMが活用する上での文脈となり、データセットを用いてチューニングを進めます。この記事は主にSQL出力のためのチューニングに焦点を当てていますが、方法論は他の目的に合わせて調整が可能です。

実際の作業では、Google Colabを使ってLLMをフィンチューニングします。OpenRAILライセンスの「know_sql」データセットと、チューニングプロセスを扱う「axolotl」フレームワークを使用します。このフレームワークは、YAML設定ファイルを変更するだけで簡単にチューニングプロセスを行うことができます。プロセスは記事に詳しく記載されていますが、不明な点はaxolotlのドキュメントも参照してください。

出典 : https://medium.com/towards-data-science/how-to-efficiently-fine-tune-your-own-open-source-llm-using-novel-techniques-code-provided-03a4e67d1b48

【このニュース記事は生成AIを利用し、世界のAI関連ニュースをキュレーションしています】

【お知らせ】
弊社ワークワンダース社主催ウェビナーのご案内です。


<2025年1月21日実施セミナー>

生産性を爆上げする、「生成AI導入」と「AI人材育成」のコツ


【内容】
1. 生産性を爆上げするAI活用術(安達裕哉:ワークワンダース株式会社 代表取締役CEO)
2. 成功事例の紹介:他業種からAI人材への転身(梅田悟司:ワークワンダース株式会社CPO)
3. 生成AI導入推進・人材育成プログラム「Q&Ai」の全貌(元田宇亮:生成AI研修プログラム「Q&Ai」事業責任者)
4. 質疑応答



日時:
2025/1/21(火) 16:00-17:30

参加費:無料  
Zoomビデオ会議(ログイン不要)を介してストリーミング配信となります。



お申込み・詳細 こちらウェビナーお申込みページをご覧ください

(2024/12/11更新)