PythonとOllamaを使ってPDFデータをGPT型AIに学習させる方法

2024.04.30

WorkWonders

これまでの概要に基づき、ローカルで実行できるPythonのStreamlitとLLM(Ollama)を使ってPDFを読み込む手法を紹介します。GitHubのGistのような形での投稿で、コメントは最小限に留めています。

Googleで「ローカル LLM PDF」を検索した結果とコードを共有し、Apple iCloud iBooksの全てを私的な議論のための「神託」GPTに読み込ませるという私の使い方を試みます。さらに、著者のスタイルで応答する2つのGPTを運用することも試みです。ここでは、PDFをローカルLLMに読み込み、一般的なモデルより精度が高いことを確認する第一段階を解説します。

結果やパーソナルテストの注意点を比較し、通常のLLMとPDFトレーニング済みのLLMの結果を、例えば、著者を正確に識別する能力について検証しました。

コードは美しさはありませんが、「私のマシンでは動く」という条件のもとで提供します。例えば`test.py`というファイル名で実行する場合、PDFのファイル名をテスト用のPDFに更新してから、Streamlitを`streamlit run test.py`で起動します。

出典 : https://medium.com/@stefnestor/streamlit-local-llm-pdfs-0a7243883a12

【このニュース記事は生成AIを利用し、世界のAI関連ニュースをキュレーションしています】

【お知らせ】
弊社ワークワンダース社主催ウェビナーのご案内です。


<2025年1月21日実施セミナー>

生産性を爆上げする、「生成AI導入」と「AI人材育成」のコツ


【内容】
1. 生産性を爆上げするAI活用術(安達裕哉:ワークワンダース株式会社 代表取締役CEO)
2. 成功事例の紹介:他業種からAI人材への転身(梅田悟司:ワークワンダース株式会社CPO)
3. 生成AI導入推進・人材育成プログラム「Q&Ai」の全貌(元田宇亮:生成AI研修プログラム「Q&Ai」事業責任者)
4. 質疑応答



日時:
2025/1/21(火) 16:00-17:30

参加費:無料  
Zoomビデオ会議(ログイン不要)を介してストリーミング配信となります。



お申込み・詳細 こちらウェビナーお申込みページをご覧ください

(2024/12/11更新)