Hightouch가 2026년 11월 4일 공개한 글은 고객 데이터의 ID 통합(identity resolution)에서 생기는 잘못 합친 기록, 즉 두 사람이 한 사람으로 묶인 경우(over-merge)를 AI로 찾는 실험입니다. 사람이 보면 시간당 50건 정도라, 수천 건을 빠르고 싸게 판정할 방법을 찾았습니다.
구조
- 모든 기록을 먼저 판정 모델에 보냅니다. 판정 모델은 답 대신 “조건이 참일 확률”을 0~1로 돌려줍니다. 글에서는 TypeSafe의 Jev와 OpenAI Decisions API의 GPT-6 Luna를 썼습니다.
- 확률이 낮으면 “한 사람”, 높으면 “잘못 합침”으로 바로 정합니다.
- 애매한 구간(가장 좋았던 설정은 30~90%)에 든 기록만 Claude Opus 5.5에게 다시 묻습니다. 쉬운 시험에서는 22%가 넘어갔습니다.
결과
쉬운 시험(1,000건, 절반이 잘못 합친 기록)
| 방식 | 정확도 | 천 건당 비용 | 건당 시간 |
|---|---|---|---|
| Opus 5.5 혼자 | 99.0% | $3.86 | 2.2초 |
| 판정 모델(Jev) 혼자 | 95.7% | $0.05 | 0.15초 |
| Jev → 애매하면 Opus | 98.8% | $0.88 | 0.63초 |
어려운 시험(까다로운 경우만)
| 방식 | 정확도 | 천 건당 비용 |
|---|---|---|
| Opus 5.5 혼자 | 95.1% | $5.39 |
| Jev → 애매하면 Opus | 95.3% | $2.94 |
제목의 “4배”는 쉬운 시험 기준(약 4.4배)이고, 어려운 시험에서는 비용이 절반 정도로 줄면서 정확도는 비슷했습니다.
기준값 고르기
- 애매한 구간을 넓힐수록 Opus로 가는 비율과 비용이 늘고 정확도가 오릅니다. 쉬운 시험에서 50
80%는 7%, 3090%는 22%, 10~90%는 40%가 넘어갔습니다. - 판정 모델이 자기 확률을 잘 맞히는지(보정)가 중요합니다. Jev는 틀린 답이 50% 근처에 몰려 있어 구간 나누기에 잘 맞았고, Luna는 90~100% 구간에서 과신해서 섞어도 효과가 작았습니다.
한계
- 데이터는 가상의 사람을 만들어 내는 pseudopeople로 만들었습니다. 실제 고객 데이터가 아닙니다.
- 기준값을 같은 시험 세트에서 골랐고, 따로 떼어 둔 검증 세트 결과는 없습니다.
- 비용과 속도는 Hightouch 환경에서 잰 값입니다.
오늘 할 일
내 서비스에서 LLM이 예/아니요를 판정하는 곳(스팸, 중복, 분류)이 있다면, 작은 모델이나 판정 모델의 확신도를 먼저 보고 애매한 것만 큰 모델에 보내 보세요. 구간을 바꿔 가며 정확도와 비용을 표로 남기면 기준값이 보입니다.
쇼츠로 보기
이 글은 비치콤버스 쇼츠 No.83의 짝 글입니다. 짧은 주소 beachcombers.co.kr/s/83.