キー・ノートでクリスティーン・イェン氏が語った、LLM（大型言語モデル）の統合によるソフトウェアシステムの急激な変化に対応するための観測可能性の重要性について要約します。従来の開発方針やリリース方法が大きく変わりました。彼女は、生産観察に基づく開発フィードバックループの適応方法について説明しました。
ソフトウェアエンジニアにとって、理解しづらい「ブラックボックス」としてのLLMは、馴染みのある信頼性を複雑にしています。既存のシステム開発では、テスト可能性や再現性（モック化）、説明可能性（デバッグ化）のような決定論的な特性に依存していますが、LLMを使う真の理由は人間の言語の予測不可能な性質を捉えることにあります。
イェン氏は、観測可能性を通じて、予期しない出来事に対処し、開発プロセスにフィードバックを組み込むためのサポートができると説明しています。
LLMは入力の「無限の」セットを持っており、そのためテストだけでは不十分です。評価を使用して、意図した、または意図しない振る舞いを定義できます。
このプロセスは、観測可能性の時代に欠かせないものであり、エンジニアがどのようにしてソフトウェアシステムの予測不可能な振る舞いに迅速に対応していくかを表しています。
出典 : How Observability Can Improve the UX of LLM Based Systems: Insights of Honeycomb’s CEO at KubeCon EU https://www.infoq.com/news/2025/04/llm-observability/
