Agent Mentor Learn

用語集

『検証と品質保証: 「正しそう」をすり抜けさせない』の用語 66 件。レッスン本文で初出の箇所にホバーすると定義を確認できます。

用語定義出典
完了に見えるClaude が停止する地点。自分で実行できる検査がなければ、これがパイプライン全体に存在する唯一の信号になる。Best practices for Claude Code — Claude Code official documentation
検証ループパイプラインに実行可能な検査がないとき、あなた自身が引き受けることになる役割。すべてのミスが、あなたに気づかれるのを待つことになる。Best practices for Claude Code — Claude Code official documentation
trust-then-verify gap公式ドキュメントがこの現象に与えた名前。Claude はもっともらしく見えるがエッジケースを処理しない実装を生成し、あなたは先に信頼し、検証は起きないか遅すぎるタイミングで起きる。Best practices for Claude Code — Claude Code official documentation
断言信じるか信じないかを選ぶしかない文。「ロジックは正しい」「問題ないはず」「最適化済み」「実行中にエラーはありませんでした」。Best practices for Claude Code — Claude Code official documentation
証拠第二の人物がまったく同じやり方で再実行できるもの。コマンドとその生の出力、終了コード、失敗したテスト名の一覧、スクリーンショット、変更前後の数値比較。Best practices for Claude Code — Claude Code official documentation
決定的システムコンピューティングにおいて、同一の入力に対して毎回同じ出力を生成するシステム。本コースの検証器はこの「予測可能に愚かな」もので、決定的なもので非決定的なものを評価する。Writing effective tools for agents — with agents — Anthropic Engineering
非決定的エージェントシステムは同じ開始条件でも異なる応答を生成しうるという性質。プロンプトを1文字も変えなくても、実行ごとの判断が一致する保証はない。Writing effective tools for agents — with agents — Anthropic Engineering
複利で膨らむエージェントシステムでエラーが雪だるま式に増幅する様子。1ステップの失敗がエージェントをまったく別の軌跡の探索に向かわせ、悪い結果を土台に新しい判断を下すため、結果が予測不能になる。How we built our multi-agent research system — Anthropic Engineering
サンドボックス環境Anthropic がエージェントの広範なテストを推奨する場所。自律性はコストの増大とエラーが複利で膨らむ可能性をもたらすため、適切なガードレールとともにここでテストする。Building Effective AI Agents — Anthropic Engineering
ground truth実行中にエージェントが環境から得る本物のフィードバック。ツール呼び出しの結果やコード実行の結果など、自らの進捗を評価するために使う。Building Effective AI Agents — Anthropic Engineering
結果を明らかに改善する複雑さを足すための入場条件。複雑さの追加を検討すべきなのは、それが結果を明らかに改善する場合だけである。Building Effective AI Agents — Anthropic Engineering
stop_reasonハーネスループを駆動するモデル応答内のフィールド。値が tool_use のあいだはツールを実行して結果を返しつづけ、end_turn になるとループを抜ける。Tool use with Claude — Claude API documentation
end_turnstop_reason の値の1つ。このターンでモデルがもうツールを呼ぶつもりがないという意味であり、それ以上の意味はない。Tool use with Claude — Claude API documentation
tool_resultツールの実行結果をモデルに返すメッセージブロック。tool_use_id で対応する tool_use と紐づく。検証器の出力はこれを経由して会話に流れ戻る。Tool use with Claude — Claude API documentation
run_check検証スクリプトを、モデルが呼べるツールとして包んだもの。ループの内側でエージェント自身に検査を走らせて結果を読ませ、終了コードと標準出力をそのまま通す。Best practices for Claude Code — Claude Code official documentation
終了コード検証スクリプトが結論を表現する方法。0 が合格、非ゼロが不合格で、CI やシェルの && がそのまま利用できる。Best practices for Claude Code — Claude Code official documentation
pass/fail検査が出せる客観的な二値の結果。これがあればループは自分で閉じる——Claude が作業し、検査を実行し、結果を読み、検査が通るまで反復する。Best practices for Claude Code — Claude Code official documentation
fixture事前に保存しておいた標準解答ファイル。実行後に出力をそれと比較する。公式の検査メニューにある「出力を diff するスクリプト」が使うのがこれである。Best practices for Claude Code — Claude Code official documentation
終状態既定の判定方法。エージェントが特定のプロセスに従ったかではなく、正しい最終状態に到達したかを判定する。タスク完了後に環境で観測でき、事後に検証できる状態である。How we built our multi-agent research system — Anthropic Engineering
ターンごとの分析終状態評価が置き換える対象。エージェントの行動をターンごとに確認し、すべての中間ステップを検証しようとする方式。How we built our multi-agent research system — Anthropic Engineering
検証チェックポイント複雑なワークフローに置く少数の個別の観測点。すべての中間ステップを検証するのではなく、「ここで特定の状態変化が起きているはず」を確認する。How we built our multi-agent research system — Anthropic Engineering
リカバリーチェックポイントコース9での意味。エージェントの実行中の状態をディスクに書き出し、クラッシュ後にそこから再開できるようにするもの。目的は復旧であって判定ではない。How we built our multi-agent research system — Anthropic Engineering
成功基準「正しい終状態」を具体的な数値か明確な判定に着地させる要件の集合。どうやっても書けないなら、そのタスクは丸ごとエージェントに単独で走らせるべきではなかった。Define success criteria and build evaluations — Claude API documentation
測定可能成功基準の第1の必須要件。定量的な指標か、明確に定義された定性的スケールを使う。数値は明快さとスケーラビリティをもたらす。Define success criteria and build evaluations — Claude API documentation
達成可能成功基準の第2の必須要件。業界ベンチマーク、過去の実験、AI研究、専門知識に基づいて目標を設定する。現在のフロンティアモデルの能力に対して非現実的であってはならない。Define success criteria and build evaluations — Claude API documentation
多次元の評価ほとんどのユースケースが必要とする、複数の成功基準にまたがる評価。次元同士が互いを掘り崩すため、抜け道が狭まる。Define success criteria and build evaluations — Claude API documentation
軌跡アサーション任意の追加要素。プロンプトと応答のペアごとに、エージェントが呼ぶと期待するツールを指定し、各ツールの目的を把握できているかを測る。Writing effective tools for agents — with agents — Anthropic Engineering
expectedTools評価ケースの中で軌跡アサーションを担う任意のフィールド。順序も呼び出し回数も問わず、少なくともこれらのツールに触れたことを期待する。Writing effective tools for agents — with agents — Anthropic Engineering
冗長なツール呼び出し診断指標の1つ。呼び出し回数が明らかに多い場合、たいていページングやトークン上限のパラメータを適正化すべきというサインである。Writing effective tools for agents — with agents — Anthropic Engineering
ツールエラー診断指標の1つ。無効なパラメータによるエラーが多い場合、たいていツールの説明をより明確にするか、より良い例を付けるべきというサインである。Writing effective tools for agents — with agents — Anthropic Engineering
コードベースの採点採点方法の順位付けで首位。最も速く最も信頼でき、極めてスケールする。弱点は、ルールに縛られない柔軟さを要する複雑な判断のニュアンスを扱えないこと。Define success criteria and build evaluations — Claude API documentation
LLM ベースの採点順位付けで第2位。速く柔軟でスケールし、複雑な判断に向く。前提条件は、まず信頼できることを確かめるテストをしてからスケールさせること。Define success criteria and build evaluations — Claude API documentation
人間による採点順位付けで第3位。最も柔軟で品質も高いが、遅くコストがかかる。可能なら避ける。Define success criteria and build evaluations — Claude API documentation
完全一致検証器のスペクトラムの左端の形。モデルの出力があらかじめ定めた正解と一致するかを測るもので、通常は空白と大文字小文字を正規化したうえで行う。Define success criteria and build evaluations — Claude API documentation
output == golden_answer完全一致の最小形。等値比較があるだけで、単純で曖昧さがなく、答えが明確に区分されるタスクに向く。Define success criteria and build evaluations — Claude API documentation
正規化比較の前に、意味を担っていない差異を消しておくこと。連続する空白を畳み、前後を削り、大文字小文字を揃える。金額なら通貨記号、桁区切り、単位も洗い落とす。Define success criteria and build evaluations — Claude API documentation
決定的な検証器本コースの中核技術。毎回同じ結論を出すコードで非決定的なシステムの出力をゲートし、pass/fail と読める失敗理由を返す。Writing effective tools for agents — with agents — Anthropic Engineering
スペクトラム検証器は互いに排他的な数個の選択肢ではなく連続した帯をなすという捉え方。一方の端は fixture との完全な文字列一致、もう一方の端は Claude に判定を頼むことである。Writing effective tools for agents — with agents — Anthropic Engineering
strict: trueツール定義に加える1行。Claude のツール呼び出しが宣言したスキーマに厳密に従うことを保証し、ある種の構造検証をプラットフォームレベルの保証として前倒しする。Tool use with Claude — Claude API documentation
偽陰性検証器が正しい出力を不合格と判定すること。エラーを通すのではなく、正しいものを冤罪にかける。Writing effective tools for agents — with agents — Anthropic Engineering
厳しすぎる検証器決定的な検査の最もよくある壊れ方。書式、句読点、有効な言い換えのような見せかけの差異のせいで、正しい応答を不合格と判定してしまう。Writing effective tools for agents — with agents — Anthropic Engineering
自由記述テキスト調査や要約のような出力。自由形式で、唯一の正解を持つことがまれで、プログラムによる評価が困難。LLM はこうした出力の採点に自然に適している。How we built our multi-agent research system — Anthropic Engineering
人間によるレビュー自動テストを超えてなお不可欠なステップ。自動テストは機能の検証に役立つが、解決策がより広いシステム要件に沿っていることを保証するには依然として人間の目が要る。Building Effective AI Agents — Anthropic Engineering
LLM ジャッジ自由形式のテキスト出力を採点するためにモデル呼び出しを使う手法。決定的チェックが届かない場所に置くのであって、その置き換えではない。How we built our multi-agent research system — Anthropic Engineering
ルーブリック漠然とした「これは良いか」を具体的な問いに分解し、それぞれ個別に答えて個別にスコアを付けるもの。リサーチタスク向けの出来合いの分解は5次元である。How we built our multi-agent research system — Anthropic Engineering
先に根拠、次にスコアジャッジプロンプトの決定的なテクニック。評価スコアを出す前にまず推論させ、その推論は捨てる。採点の質を上げ、とくに複雑な判断で効く。Define success criteria and build evaluations — Claude API documentation
まっさらなコンテキストレビュアーが座るべき場所。出力とあなたが与えた基準しか見えず、その変更を生んだ推論の過程は見えないため、結果そのものを独自の土俵で判定する。Best practices for Claude Code — Claude Code official documentation
自己申告エージェント自身によるプロセスの説明（「権威あるソースを3件取得し、相互チェックしたうえで確定しました」）。それ自体は証拠に数えられない。Writing effective tools for agents — with agents — Anthropic Engineering
生のトランスクリプトツール呼び出しとツールの応答を含む実行ログ。エージェントの思考連鎖に明示されていない挙動を捕まえるために使う。Writing effective tools for agents — with agents — Anthropic Engineering
問題を探せジャッジの第1の失敗モード。ギャップを探すよう指示されたレビュアーは、作業が健全であっても何かしら報告するのが普通である。そう指示されたから、というだけの理由で。Best practices for Claude Code — Claude Code official documentation
過剰設計レビューの指摘をすべて追いかけた帰結。余分な抽象化レイヤー、防御的なコード、起こり得ないケースのためのテストが積み上がる。Best practices for Claude Code — Claude Code official documentation
効果量ある変更による差がどれくらい大きいか。71.2% から 72.4% への移動なのか、30% から 80% への跳躍なのか。差が大きいほど必要なサンプルは少なくて済む。How we built our multi-agent research system — Anthropic Engineering
評価セット検証可能な結果と対にされたタスクの集まり。公式の出発点の規模は現実の利用を代表するクエリ20件ほどで、数百件たまるのを待つ必要はない。How we built our multi-agent research system — Anthropic Engineering
検証可能な結果各評価プロンプトが対にすべきもの。判定可能な終状態、文字列、状態変化、またはルーブリック。これがなければプロンプトは評価タスクではなく、ただのお試しである。Writing effective tools for agents — with agents — Anthropic Engineering
エッジケース頻度は低いが実際に起こる状況（情報の欠落、複数の依頼の混在、ツールエラー）。評価セットにおける保険であって、本体ではない。Define success criteria and build evaluations — Claude API documentation
質より件数評価セットの設計原則。シグナルがやや弱くても自動採点できる問題が多いほうが、人手で丁寧に採点する高品質な評価が少数あるより良い。Define success criteria and build evaluations — Claude API documentation
現実の分布評価が沿うべきもの。評価タスクは現実世界での使われ方に根ざすべきで、どのプロンプトを指しても「先週これと同じことを3人のユーザーが聞いてきた」と言えるべきである。Define success criteria and build evaluations — Claude API documentation
ホールドアウトセット最初から取り分けておき、日々の調整では見ない・回さない・触らない一群のケース。「訓練用」の評価に過適合していないことを確かめるために頼る。Writing effective tools for agents — with agents — Anthropic Engineering
dev セット日々プロンプトを調整するときに繰り返し回すケース群。回数は多いほど良い。そのスコアは航法であって、判定ではない。Writing effective tools for agents — with agents — Anthropic Engineering
過学習プロンプトとツール構成の全体が、タスク自体の規則性ではなく評価材料の特徴を学んでしまうこと。落ちつづける1件のためにシステムプロンプトに1行ハードコードする、など。Writing effective tools for agents — with agents — Anthropic Engineering
保証されない公式ドキュメントが、ある種の理想的な振る舞い（モデルが欠けた必須パラメータを自分から尋ねる、など）に付ける言い回し。より曖昧なプロンプトや能力の低いモデルではとくにそうである。Tool use with Claude — Claude API documentation
評価トラック評価セット、階層化した採点、ハーネスのループを溶接した実行可能なプログラム。コマンド1つで、何が良くなり、何が動かず、正しかったものが壊れていないかをスコアが語る。Writing effective tools for agents — with agents — Anthropic Engineering
スタブ client決め打ちのキュー順に応答を返す偽の messages.create。モデルの振る舞いを統制された変数に変え、トラック全体を再現可能にする。Writing effective tools for agents — with agents — Anthropic Engineering
応答キュースタブ client の背後にある、あらかじめ書かれた応答の列。2つのプロンプトバージョンの差は2組のキューに固定され、「新しいプロンプトが効いてモデルはこう答えると仮定する」がデータとして符号化される。Writing effective tools for agents — with agents — Anthropic Engineering
タスクの分離評価タスク1件につき独立したループ1本、独立した messages。終わったら捨てる。実装は、messages を関数の外に持ち出さないというだけである。Writing effective tools for agents — with agents — Anthropic Engineering
is_errorツールの例外を返すときに tool_result に付けるマーカー。例外を捕まえ、このマーカー付きの結果に包んでモデルに返し、同時にエラーカウンタを1つ増やす。Tool use with Claude — Claude API documentation