LLM 품질 평가 A/B 실습

"LLM eval" · "챗봇 A/B 테스트" — 교육 ⑦ · 감이 아닌 측정.

Golden set 만들기

1. CS 실제 티켓 200건 샘플 (PII 마스킹)
2. MD·시니어 CS가 모범 답변 작성
3. 태그: shipping / return / product / angry

메트릭

메트릭	정의	목표
Faithfulness	CONTEXT와 일치	≥ 95%
Coverage	질문에 답했는가	≥ 90%
Escalation precision	사람 보낼 때 맞음	≥ 85%
Latency p95	API+검색	< 3s

A/B 설계

• A: gpt-4o-mini + RAG
• B: claude-3-5 + RAG
• 동일 golden · temperature 0 · 100문항

LLM-as-judge (주의)

• judge도 환각 → 사람 spot check 10%

Lab 7-1 · 스프레드시트 템플릿
열: question | gold | answer_A | faith_A | answer_B | faith_B

다음 ⑧ 보안·비용

핵심 키워드

· golden
· faithfulness
· A/B
· latency