검증과 품질 보증: '맞아 보이는 것'을 통과시키지 않기

이 코스는 에이전트 출력의 인수를 다룹니다. 앞선 몇 개 코스가 에이전트를 돌아가게 만들었고, 오래 돌아가게 만들었습니다. 코스7의 하네스 루프, 코스8의 컨텍스트 관리, 코스9의 체크포인트와 복구가 그것입니다. 그런데 '실행을 끝냈다'와 '제대로 해냈다'는 서로 다른 이야기입니다. 에이전트는 비결정적이라 같은 과제도 두 번 돌리면 두 갈래 길을 가고, 전통적인 테스트의 전제('입력 X를 주면 경로 Y를 따라 출력 Z가 나온다')는 그대로 무너집니다. 이 코스는 그 전제 위에서 탄탄하게 인수하는 법을 가르칩니다. 먼저 '완료된 것처럼 보인다'와 '완료됐다'를 갈라놓고, 그다음 무엇을 검증할지(종료 상태를 먼저, 과정은 보조로), 무엇으로 검증할지(통과/실패를 내는 결정론적 검증기가 먼저이고, LLM 판정자는 자유 형식 텍스트에만), 몇 개를 두고 검증할지(실제 과제 20개에서 시작합니다. 수백 개를 모을 때까지 기다리지 마십시오)를 정하고, 끝으로 자기 에이전트를 위한 평가 트랙을 만듭니다. 루프 하나에 과제 하나, 마지막에 리포트 하나. 그래서 프롬프트를 한 번 바꾸면 그것이 점수 변화로 드러나게 합니다. 이 시리즈의 앞 아홉 개 코스를 마친 독자를 위한 코스입니다. 일반적인 소프트웨어 테스트 방법론은 가르치지 않고(유닛 테스트 작성법은 다루지 않습니다), 특정 평가 프레임워크나 플랫폼 API도 가르치지 않으며, 모델 학습 쪽 벤치마크 구성도 다루지 않습니다. 평가를 CI에 물리는 일은 엔지니어링 상식으로 언급만 하고 더 파고들지 않습니다.

코스 구성

학습 목표

이 코스를 마치면 다음을 할 수 있습니다:

에이전트의 비결정성이 전통적인 테스트의 경로 전제를 어떻게 무너뜨리는지, 그리고 돌릴 수 있는 검사가 없을 때 왜 '완료된 것처럼 보인다'가 유일한 신호가 되는지 설명하기
에이전트 과제의 측정 가능한 성공 기준을 정의하고, 궤적을 단계마다 감사하는 대신 종료 상태를 검증할지 핵심 노드에 상태 체크포인트를 둘지 결정하기
가장 빠르고 가장 미더우며 가장 확장되는 순서로 검증기를 고르기: 결정론적 검사를 먼저(정확한 일치, 스크립트 비교, 테스트 스위트), 그리고 지나치게 엄격한 검증기가 옳은 출력을 떨어뜨리는 함정을 알아보기
자유 형식 출력을 위한 LLM 판정자를 설계하기: 여러 차원의 루브릭, 제약된 출력 형식, 채점 전에 추론하기 — 그리고 왜 작업을 한 모델이 채점을 맡으면 안 되는지, 왜 문제를 찾으라고 시킨 판정자는 언제나 무언가를 찾아내는지 설명하기
실제 과제 20개 남짓에서 시작해 평가 세트를 만들기: 실제 분포에 맞추고, 엣지 케이스를 더하고, 항목별 다듬기보다 개수를 앞세우고, 오버피팅을 막을 홀드아웃을 떼어 두기 — 그리고 효과 크기가 클 때 왜 초기 몇 개만으로도 충분한지 설명하기
자기 에이전트를 위한 반복 가능한 평가 트랙을 만들기: 과제 하나에 하네스 루프 하나, 결정론적 검증기에 LLM 판정자를 더한 계층적 채점, 통과율 너머의 소요 시간과 호출 수 지표 기록 — 그리고 그것으로 프롬프트 변경 하나의 실제 영향을 재기

사전 지식

이 시리즈의 앞 아홉 개 코스를 마쳤거나 그에 준하는 지식이 있다
stop_reason이 이끄는 하네스 루프를 직접 손으로 쓸 수 있고 tool_use/tool_result 짝 맞추기를 이해한다(코스7)
체크포인트와 부수 효과 원장이 디스크에 어떻게 닿는지 안다(코스9. 이 코스의 평가 트랙은 그 하네스 루프 골격을 재사용합니다)
기본적인 JavaScript / Node.js 코드를 읽고 쓸 수 있다(레슨6에서는 함께 써 나갑니다)

예상 학습 시간

각 레슨의 실습 연습을 포함해 약 3~4시간.