관측 가능성 · 트레이싱

관측 가능성 · 트레이싱

보이지 않으면 고칠 수 없다.

Observability — 사람이 에이전트 행동을 모니터링·추적·재현할 수 있는 레이어입니다.

수집할 것

• Iteration — PLAN/EXECUTE 턴 수
• Tool call — 이름·인자·결과·latency
• Token / cost — 상한 알림
• Error — 스택·재시도 횟수

스팬 예시 (개념)

• ai.agent.run / iteration
• integration.tool.call / token.refresh
• mcp.tools_list / tools_call

운영

• DSN 없으면 no-op — 개발·프로드 분리
• 재현 — 같은 입력·같은 하네스 버전

하네스 엔지니어는 프롬프트 튜닝 전에 로그를 봅니다. 어디서 반복 실패하는지가 다음 하네스 패치를 정합니다.

"관측은 사후 분석이 아니라, 하네스 설계의 입력이다."

이번 호 키워드

· Observability
· 트레이싱
· 로그
· 비용