Agent Mentor Learn

用語集

『可観測性とデバッグ: エージェントの一歩一歩を見る』の用語 78 件。レッスン本文で初出の箇所にホバーすると定義を確認できます。

用語定義出典
非決定的同一の入力でも異なる応答を生みうるというシステムの性質。エージェントはこの側にあり、「再現してブレークポイントを置く」という従来のデバッグの直感を無効にする。Writing effective tools for agents — with agents — Anthropic Engineering
軌跡の分岐1つのステップが失敗したことで、エージェントがまったく別の軌跡を探索し始めること。以降のターンはすべて誤った枝の上で育ち、予測不能な結果につながる。How we built our multi-agent research system — Anthropic Engineering
ターンをまたぐ複利エージェントはステートフルでエラーは複利で積み上がる。長時間動き続け、多数のツール呼び出しにまたがって状態を保つため、エラーがターンごとに蓄積していく。How we built our multi-agent research system — Anthropic Engineering
創発的な振る舞いマルチエージェントシステムで、特定のプログラミングなしに生じる振る舞い。たとえばリードエージェントへの小さな変更が、サブエージェントの挙動を予測不能に変える。How we built our multi-agent research system — Anthropic Engineering
評価トラック前のコースで作った終端状態のスコアリング、バリデータ、評価セットのこと。「壊れたかどうか」には答えるが、「なぜか」には答えない。How we built our multi-agent research system — Anthropic Engineering
エージェントのように考えるシステムとまったく同じプロンプトとツールを使ってシミュレーションを組み、エージェントの作業を一歩ずつ観察すること。How we built our multi-agent research system — Anthropic Engineering
抽象化のレイヤーLLMの呼び出し、ツールの定義、呼び出しの連結を単純化するためにフレームワークが挟む中間層。下層のプロンプトとレスポンスを見えにくくする。Building Effective AI Agents — Anthropic Engineering
サンドボックス行動を取れるエージェントを広範にテストするための隔離環境。適切なガードレールと併せて使う。Building Effective AI Agents — Anthropic Engineering
ツール境界決定的なシステムと非決定的なエージェントをつなぐ契約面。記録に痕跡を残す唯一の位置である。Building Effective AI Agents — Anthropic Engineering
グラウンドトゥルース実行中、エージェントが各ステップで環境から得る本物のフィードバック。ツール呼び出しの結果やコード実行の結果などを指す。Building Effective AI Agents — Anthropic Engineering
生のトランスクリプト1回の実行の各ツール呼び出しについてのツール名と完全なパラメータ、各ツールレスポンスについての完全な戻り値またはエラー。一次証拠である。Writing effective tools for agents — with agents — Anthropic Engineering
自己申告エージェントが自分自身について書いた文章。締めくくりのサマリー、推論の記述、ツール実行後の自己評価などで、二次資料にあたる。Writing effective tools for agents — with agents — Anthropic Engineering
思考の連鎖モデルが答えを出す前に書く推論の過程。CoT と略される。Writing effective tools for agents — with agents — Anthropic Engineering
4つの問いトランスクリプトを読むためのチェックリスト。ツールが違う、正しいツールだがパラメータが違う、呼び出しが足りない、ツールレスポンスの扱いを誤った、の4つ。Writing effective tools for agents — with agents — Anthropic Engineering
tool_useモデルがどのツールを呼ぶかを指定する内容ブロック。ツール名と、モデルが生成した完全なパラメータオブジェクトを含む。Writing effective tools for agents — with agents — Anthropic Engineering
tool_resultハーネスが実際にツールを走らせたあとに返すブロック。成功時は完全な戻り値、失敗時はエラーの内容とエラーフラグを持つ。Writing effective tools for agents — with agents — Anthropic Engineering
is_errorツール結果に付くエラーの印。「ツールが内容を返した」と「ツールがエラーを投げた」を区別するために使う。Writing effective tools for agents — with agents — Anthropic Engineering
コンテンツファームSEO最適化されて上位に来るが権威の乏しいソース。人手のテストで、初期のエージェントが学術PDFや個人ブログより一貫してこちらを選んでいたことが分かった。How we built our multi-agent research system — Anthropic Engineering
トランスクリプトディスクへ永続化された会話メッセージ。Claude Code がセッションの記録を JSONL としてディスクに書き出すものがこれにあたる。Monitoring — Claude Code Official Documentation
構造化ログ各ステップをフィールドを持つ JSON レコードに変えること。人が読めるだけでなく、絞り込み、集計し、分布を見ることができる。Writing effective tools for agents — with agents — Anthropic Engineering
散文のログ構造を自然言語にエンコードしたログの書き方。読み心地はよいが、デコードできるのは人間だけである。Writing effective tools for agents — with agents — Anthropic Engineering
JSON Lines1つのファイルの各行が完全な JSON オブジェクトである形式。行の間にカンマはなく、外側を配列で包むこともしない。一般に JSONL と書く。Writing effective tools for agents — with agents — Anthropic Engineering
session_id1つのセッションの識別子。複数ターンにまたがって変わらず、「このセッションの合計コストはいくらか、権限モードを変更したか」に答えるために使う。Monitoring — Claude Code Official Documentation
prompt_id1つのユーザープロンプトの識別子。それが引き起こしたすべてのモデルリクエストとツール呼び出しがこの値を共有する。Monitoring — Claude Code Official Documentation
相関 ID「1つのきっかけとなる出来事」に与える ID で、そのきっかけから生まれたすべてのイベントがそれをコピーする。インフラは一切いらず、ただのフィールドである。Monitoring — Claude Code Official Documentation
duration_ms1つのステップにかかったミリ秒。性能のボトルネックを探すのに使い、「詰まっていないか」を見るのにも使う。Writing effective tools for agents — with agents — Anthropic Engineering
tool_inputツールに送られたパラメータ。PostToolUse のペイロードで直接与えられ、完全な呼び出し記録の半分をなす。Hooks reference — Claude Code Official Documentation
tool_responseツールが返した結果。1回の発火の中で tool_input と tool_response が揃って完全な往復の記録になる。Hooks reference — Claude Code Official Documentation
errorレコードに載るエラーのフィールド。失敗したときだけ存在し、原因を特定するとき最初に絞り込む対象になる。Writing effective tools for agents — with agents — Anthropic Engineering
メトリクス個々のツール呼び出しとタスク全体の実行時間、ツール呼び出しの総数、トークン消費の総量、ツールのエラーからなる数字の一式。Writing effective tools for agents — with agents — Anthropic Engineering
冗長な呼び出し同じツールの繰り返しが多いパターン。ページネーションやトークン上限のパラメータを調整すべきことを示唆することが多い。Writing effective tools for agents — with agents — Anthropic Engineering
不正パラメータのエラー無効なパラメータによるツールのエラーが多いパターン。ツールの説明をより明確にするか、より良い例を足すべきことを指し示す。Writing effective tools for agents — with agents — Anthropic Engineering
エラー率エラー数を呼び出し数で割った割合のメトリクス。絶対数の代わりに健全性を見るために使う。Writing effective tools for agents — with agents — Anthropic Engineering
終端シグナル内部のリトライを完全に諦めたあとに初めて発せられるエラーイベント。「このリクエストは最終的に失敗した」を表す。Monitoring — Claude Code Official Documentation
停止の疑いあるプロンプトの最後のレコードにエラーがあり、その後に後続のレコードがない状態。「エラーから回復した」の対になる。Monitoring — Claude Code Official Documentation
しきい値「どこからを異常と呼ぶか」を判定する線。一次資料に数値は存在せず、エラーバジェットも SLO も同様である。Monitoring — Claude Code Official Documentation
SIEMセキュリティ情報イベント管理システム。異常検知、ベースライン化、セッションをまたいだ相関、アラートは、すべてこちら側の責任である。Monitoring — Claude Code Official Documentation
監査証跡エンドユーザーの identity 属性を付けたうえで、ツールの判断、ツールの結果、MCP の接続、権限モードの変更が形づくるユーザー単位の記録。Observability with OpenTelemetry — Claude Agent SDK Official Documentation
スパン始まりと終わりのある1つの作業の記録。名前、開始時刻、終了時刻、いくつかの属性を持ち、自分の親スパンを指し示せる。Monitoring — Claude Code Official Documentation
トレース親子関係でつながったスパンの木全体。1つの完全なリクエストの間に起きたことすべてを、最初から最後まで木として読む。Monitoring — Claude Code Official Documentation
claude_code.interactionファーストパーティのトレースで、各ユーザープロンプトに対応するルートスパンの名前。Monitoring — Claude Code Official Documentation
サブエージェントAgent ツール経由で差し向けられる下位のエージェント。そのモデルリクエストとツールのスパンは、親エージェントのツールスパンの下に入れ子になる。Observability with OpenTelemetry — Claude Agent SDK Official Documentation
エクスポータープロセス内で、スパンを梱包して外へ送り出す役割のコード。Observability with OpenTelemetry — Claude Agent SDK Official Documentation
コレクタースパンを受け取る中継所やバックエンドサービス。エクスポーターはここへデータを送り、あなたはそのダッシュボードで木を見る。Observability with OpenTelemetry — Claude Agent SDK Official Documentation
静かに失敗エンドポイントに到達できない場合やバックエンドがデータを拒否した場合でも、エージェントは通常どおり動き、テレメトリは捨てられ、アプリケーションにエラーが表出しない既定の挙動。Observability with OpenTelemetry — Claude Agent SDK Official Documentation
バッチエクスポートテレメトリをバッチにまとめ、一定間隔で送り出すしくみ。既定ではメトリクスが60秒ごと、トレースとログが5秒ごとである。Observability with OpenTelemetry — Claude Agent SDK Official Documentation
service.nameデータがどのサービスから来たかを識別するリソース属性。CLI は既定でこれを claude-code として報告する。Observability with OpenTelemetry — Claude Agent SDK Official Documentation
claude_code.session.countセッションが始まった時点で発せられるカウントのメトリクス。エクスポート設定が効いているかを検証する、もっとも安価な探針である。Monitoring — Claude Code Official Documentation
TRACEPARENTトレース id と現在のスパン id を運ぶ標準形式の環境変数。Bash と PowerShell のサブプロセスが自動的に継承する。Monitoring — Claude Code Official Documentation
W3C トレースコンテキストトレース id と現在のスパン id を含む標準形式の文字列。受け取った側は、自分をどこにぶら下げればよいかが分かる。Observability with OpenTelemetry — Claude Agent SDK Official Documentation
CLAUDE_CODE_ENHANCED_TELEMETRY_BETA有効にすると、エージェントループの各ステップがトレーシングバックエンドで調べられるスパンになるスイッチ。Observability with OpenTelemetry — Claude Agent SDK Official Documentation
hooksClaude Code のライフサイクルの特定の地点で自動的に実行される、ユーザー定義のシェルコマンド、HTTP エンドポイント、または LLM プロンプト。Hooks reference — Claude Code Official Documentation
matcherhook がいつ発火するかを決めるマッチングのルール。省略するかワイルドカードに設定すると、1つの hook で全部記録できる。Hooks reference — Claude Code Official Documentation
PreToolUseモデルがツールのパラメータを作成した後、ツール呼び出しを処理する前に実行されるイベント。Hooks reference — Claude Code Official Documentation
PostToolUseツールが正常に実行された後に発火するイベント。入力に tool_input と tool_response の両方を運ぶ。Hooks reference — Claude Code Official Documentation
SessionStartセッションごとに1回のイベント。新しいセッションを開いたときにも、既存のセッションを再開したときにも発火する。Hooks reference — Claude Code Official Documentation
Stopターンごとに1回のケイデンスにある、ターン終了のイベント。UserPromptSubmit と対にすれば1ターンの所要時間を計算できる。Hooks reference — Claude Code Official Documentation
ペイロードイベントが発火して matcher が一致したときに、あなたのハンドラへ渡される JSON のコンテキスト。Hooks reference — Claude Code Official Documentation
OTEL_*テレメトリのエクスポートに関わる環境変数の一群。Claude Code は、hooks を含め、自分が起動するあらゆるサブプロセスからこれらを取り除く。Hooks reference — Claude Code Official Documentation
デバッグログどの hook が一致したか、その終了コード、stdout と stderr の全文が書き出されるログファイル。Hooks reference — Claude Code Official Documentation
5ステップのフローこのコースが編成したデバッグの筋道。prompt id で絞り込む、最初の分岐点を見つける、再生して観察する、同じコンポーネントを繰り返し痛めつける、修正後は失敗地点から復帰する。How we built our multi-agent research system — Anthropic Engineering
絞り込む第1ステップ。prompt id でフィルタし、範囲を「エージェントが壊れた」から「この id の下にある十数件のイベント」へ縮める。Monitoring — Claude Code Official Documentation
最初の分岐点挙動が期待から逸れ始める最初のステップ。終盤で目にする不条理は、その大半が下流のノイズである。How we built our multi-agent research system — Anthropic Engineering
伝播分岐点より後ろの、同じくらい不条理に見えるが、誤った前提の上を前へ押し進めているだけのステップ群。How we built our multi-agent research system — Anthropic Engineering
再生同一のプロンプトとツールでシミュレーションを組み、一歩ずつ観察して失敗モードを即座に表へ追い出すこと。How we built our multi-agent research system — Anthropic Engineering
スタブクライアントネットワークリクエストを送らず、固定の配列から順にレスポンスオブジェクトを返す代役。モデル側を再現可能にする。How we built our multi-agent research system — Anthropic Engineering
レスポンスキュースタブクライアントが順に取り出す配列。各要素が完全な stop_reason、content ブロック、usage を持つ。How we built our multi-agent research system — Anthropic Engineering
ツールテスト用のエージェント欠陥のあるツールを与えると、それを使おうと繰り返し試み、失敗を避けるようにツールの説明を書き換えるエージェント。数十回テストすることで重要な機微とバグを見つける。How we built our multi-agent research system — Anthropic Engineering
trace_id1回の実行につき1つの id。同じストリームに散らばった記録を、同じ実行へ結び戻す。Monitoring — Claude Code Official Documentation
span_idこの記録自身の id。他の記録がこれを指して「自分はあなたの下だ」と名乗る。Monitoring — Claude Code Official Documentation
parent_id親の記録の id を指すフィールド。ディスク上の JSONL から木を再構築するのは、これ頼みである。Monitoring — Claude Code Official Documentation
MAX_ROUNDSループの反復回数に対する硬い関所。超えたらエラーを投げ、中断を記録し、非ゼロで終了する。Building Effective AI Agents — Anthropic Engineering
stop_reasonハーネスのループを継続させるか終わらせるかを駆動する、モデルのレスポンス内のフィールド。Building Effective AI Agents — Anthropic Engineering
HEAD_CHARSログに残す内容の抜粋を最大何文字にするかを定める行。0 にすれば1文字もディスクに落ちない。Observability with OpenTelemetry — Claude Agent SDK Official Documentation
shape値の型と規模を記述するレコードのフィールド。文字列かオブジェクトか、どれくらいの長さか、どんなキーがあるか。Observability with OpenTelemetry — Claude Agent SDK Official Documentation
メトリクスサマリー総ラウンド数、ツール呼び出し回数、トークン、エラー数、総所要時間を1行で出力するもの。観測3点セットの1つ。Writing effective tools for agents — with agents — Anthropic Engineering
compare-runs.mjs2回の実行のログを読み、記録の種類とツール名で並べて比較し、エラーがあれば非ゼロで終了する比較スクリプト。Writing effective tools for agents — with agents — Anthropic Engineering
gate終了コードに配線された判定。非ゼロは CI、cron、その他「非ゼロでアラート」のあらゆる仕組みが捕捉できる。Writing effective tools for agents — with agents — Anthropic Engineering