私たちは、言語生成モデル（LLM）が訓練データを基にしていることを早くから理解していました。楽しいものですが、予測不可能な結果を生むことがあります。その問題を克服するためには、カスタムLLMを訓練するか、リトリーバル拡張生成（RAG）を使用する2つのアプローチがあります。
RAGはNLPとAI生成分野で広く使われるようになり、GraphRAGのような多様な新フォームが登場しています。しかし、これらのシステムでは「ゴミを入れるとゴミが出る」という現象が発生することもありました。そこで、文書の選定や再ランキング、セマンティックルーティングなどの技術が開発され、商業利用に適したアプリケーションが求められます。
Muzlinはこのようなセマンティックフィルタリングタスクに特化したPythonライブラリーで、生産環境におけるシンプルなMLモデルの使用を実現します。データをエンコードして、標準的な外れ値検知法で評価することにより、関連性の低い質問を迅速にフィルタリングできます。結果的に、非関連なクエリーにコンピュートリソースを割かずにすむため、コストを削減できるのです。オープンソースの開発者が供与するこのツールを活用し、AI生成の新時代に適応していきましょう。
出典 : Beyond RAG: Precision Filtering in a Semantic World https://towardsdatascience.com/beyond-rag-precision-filtering-in-a-semantic-world-333d332c2d45