概要
LLMエージェントは確率的なブラックボックスです。 動いて見えても、リトライが裏で何回起きているか、どのツール呼び出しでコストが膨らむか、失敗がなぜ再現しないかなど、実際に使用してみたり、運用してみたりすると途端に見えなくなりがちです。 本トークが示すのは「型で守り、トレースで見る」という考え方です。LLM出力を境界で信用しない型安全（事前の防御）と、実行時に何が起きたかを明らかにする可観測性（事後の観測）は、ブラックボックスを信頼できるものにする両輪だと考え、その仕組みを示します。 具体的には、自作のマルチエージェント・オーケストレーターを運用してこの壁にぶつかった経験をもとに、OpenTelemetryを背骨に据えた計測の作り方を紹介します。 内部ではPydantic AIを使い、出力を型として定義し、その制約違反を自動でリトライします。この「型制約→失敗→再生成」のループをトレースし、LLM利用で増加しがちなコストを意識すれば、安価なモデルにも構造化出力を任せられるようになります。
LLMエージェントでは、スキーマ準拠は安定しても意味的な制約は外しやすく、その分リトライが増え、リトライはそのままトークン課金に跳ね返ります。「安いモデル＋検証リトライ」が本当に得かはリトライ率次第で、それはトレースを見て初めて判断できます。 型・トレース・コストを一つの意思決定として捉え、自前ログか、OpenTelemetryか、外部プラットフォームか、といった整理を、Pydanticチームが提供するLogfireと合わせて運用者目線でお話しします。 本トークでは、「計測しておけば、モデルもツールも、勘ではなく実測したリトライ率やコストで選べるようになる」という考え方を持ち帰ってもらうことをゴールとしています。
スピーカーについて
Satoru Kadowaki
バクフー株式会社というところでCTOをやっています。Pythonを使用したバックエンドサービスやWeb関係の業務に携わっています。山形県を生活の拠点として開発業務を行いながら、Python Boot CampやPyCon JP への参加（登壇3回 2015, 2017, 2025）するなどの活動を行っています。