실패를 모델 문제가 아니라 환경 신호로 읽기
Failure taxonomy, human correction, retrieval task와 documentation trigger
결과가 틀렸을 때 모델만 바꾸면 같은 컨텍스트 결함이 반복됩니다. 요구 누락, 잘못된 source, 오래된 문서, tool 경계, 불충분한 oracle, reasoning 실패로 원인을 분류하고 가장 싼 층부터 고칩니다.
| 실패 유형 | 개선 대상 | 측정 |
|---|---|---|
| 요구 누락 | problem contract·acceptance | clarification·rework |
| Context 오류 | source·scope·freshness | retrieval success·drift |
| Tool·권한 | capability·approval·error | blocked·unsafe action |
| Oracle 공백 | test·review·runtime signal | escaped defect·correction |
- 수정 기록사람이 무엇을 왜 바꿨는지 작업 유형별로 분류합니다.
- 근본 층 선택모델·prompt·context·tool·evaluation 중 원인을 좁힙니다.
- 자산 승격반복되고 안정된 지식을 instruction·doc·fixture로 옮깁니다.
- 재평가같은 retrieval·implementation task에서 correction이 줄었는지 확인합니다.