ChatGPTの使用経験を活かし、Large Language Model（LLM）とGenerative Pre-trained Transformer（GPT）の構築に挑戦する旅を紹介します。
資源や時間が大量に必要とされるLLMの構築は困難であるため、既存のLLMをカスタマイズし、機能拡張に焦点を合わせます。
この過程で、Hugging Faceコミュニティとその豊富なtransformersライブラリ、数多くのプリトレーニングモデルに出会い、様々な用途に合わせた活用法を学びます。
具体的には、テキスト生成とQ&Aに役立つDistilBERTや画像処理に使えるGPT2とDeiTなど、いくつかのモデルを例に挙げて、実際に使ってみます。
しかし、注意が必要なのは、予期せず大量のストレージスペースを要するなど、モデルによってはその大きさからくる要求がある点です。
これからAIを使ったテキスト生成モデルの構築に挑戦し、「Whoa! this was unexpected haha.」という例文を使って、出力にかかる時間や、モデルからの警告メッセージへの対応など、実際のプロセスを紹介します。
出典 : Learning How to Build Your Own GPT on Python https://medium.com/@sumit.tripathi/learning-how-to-build-your-own-gpt-on-python-173258a0eb33
