エージェントは「作る」より「育てる」が難しい — Pythonで回す評価・観測・改善ループ

AIエージェントはPoCレベルであれば比較的簡単に構築できますが、本番運用では「思った通りに動かない」「品質が安定しない」「どこが問題か分からない」といった課題に直面します。本セッションでは、エージェント開発の本質的な難しさは「作ること」ではなく、「評価・観測・改善を継続的に回すこと」にあるという観点から、Pythonを軸にした実践的な運用アプローチを紹介します。 具体的には、ログ収集や分散トレーシングによる挙動の可視化、ツール呼び出し精度や応答品質の評価方法、失敗パターンの分析と改善ループの構築などを扱います。LLMの出力を「ブラックボックス」として扱うのではなく、「観測可能なシステム」として設計するための考え方を、実務での知見を交えて解説します。 実装においては、PythonのloggingやOpenTelemetryベースのトレーシングに加え、LangSmithなどを用いた実行トレースの収集・可視化や、DeepEvalによる評価の自動化など、具体的なパターンも紹介します。参加者が自身のプロジェクトでも再現可能な形で、「エージェントを育てる」ための実践知を持ち帰れるセッションを目指します。