実験とは、時に失敗を招くことがありますが、その失敗から学び、軌道修正をすることで、成功へと導かれることがあります。最終的な解決策を設計する前に、シンプルなスタートを切り、リスクを分散させることが重要です。
体系だった実験過程を適切に運用するには、実験のアプローチと構築方法について、よく考えた決定を下す必要があります。早期導入者は最先端の多連鎖エージェンシー・システムに飛びつきがちですが、「ボトムアップアプローチ」、すなわち土台から構築する手法がしばしば良い結果を生み出します。
はじめは非常にシンプルにスタートし、「ひとつの命題で全てを制する」という哲学を取り入れ、プロンプトエンジニアリング技術を駆使して繰り返し改善し、最適化を図ります。痩せた解決策の弱点を見つけたら、その短所を扱うためにプロセスに枝分かれを追加していきます。
一方で、トップダウン戦略は、LLMネイティブアーキテクチャを最初からデザインし、最終的な目標に向けて組み立てていきます。これにより、丸ごとの流れを試すことができます。結局のところ、実験開始時に最適なバランスを見つけるのは難しく、状況に応じて適切な手法を見極める柔軟性が求められるのです。
出典 : https://medium.com/towards-data-science/building-llm-apps-a-clear-step-by-step-guide-1fe1e6ef60fd