플랫폼 신호를 하나의 결정 루프로
App trace·Gateway usage·Workflow state·tool telemetry 통합
평가를 별도 연구 환경에 두지 않고 App trace, Gateway usage, Workflow state, tool telemetry와 연결합니다. 정답률뿐 아니라 TTFT·총 지연·step retry·schema failure·spend·approval rate를 보고, 실패 유형별로 다른 조치를 둡니다.
| 신호 | 질문 | 운영 행동 |
|---|---|---|
| Realtime | TTFT·p95가 UX 예산 안인가 | fast tier·cache·streaming |
| Quality | retrieval/tool/reasoning 실패인가 | eval·contract·RAG 개선 |
| Reliability | step retry·tool failure가 늘었나 | circuit·provider·workflow 점검 |
| Cost | tenant·feature별 spend가 예산 안인가 | route·cache·quota 조정 |
| Governance | 승인·audit·tenant 경계가 지켜졌나 | hold·access review |
- Telemetry 연결request·workflow·tool·model·tenant ID를 같은 trace로 묶습니다.
- 실패 분류retrieval·tool·reasoning·contract·governance로 나눕니다.
- 주기별 대시보드실시간·품질·비용·안정성 리뷰를 분리합니다.
- Rollout 결정offline→canary→human review→production monitor로 확대합니다.