OpenAI가 결정 특화 모델 Decisions API를 모든 고객에게 전면 개방했다. 지난 9월 29일 개발자 데이에서 처음 공개된 지 약 3주 만이다. 이 제품이 겨냥하는 것은 거대 언어모델(LLM)이 아니라, 그보다 훨씬 빠르고 훨씬 싼 ‘결정’이라는 새로운 시장이다. 이 시장은 스타트업 TypeSafe의 Jev 모델이 먼저 열었다.
Jev가 만든 ‘초분류기’라는 카테고리
TechCrunch 보도에 따르면, TypeSafe는 전직 프런티어 랩 연구자가 세운 스타트업으로 기업가치 76억 달러를 인정받았다. Jev의 핵심은 이른바 ‘초분류기(super classifier)‘다. 선택지 묶음을 주면 빠르게 하나를 고르고, 그 결정에 대한 신뢰도 점수까지 함께 내놓는다.
개발자들은 이 ‘결정 모델’, 또는 ‘시스템 1 모델’이 다양한 워크플로에서 LLM을 대체할 수 있다는 사실을 곧 알아챘다. 동작이 더 빠르고 비용은 극적으로 낮았기 때문이다. OpenAI의 API 제품 책임자 Nikunj Handa는 동료들이 Jev를 보고 “우리에게도 활용 사례가 백만 개는 있겠다”고 말했다고 TechCrunch에 전했다.
ChatGPT Luna를 재설정해 만든 속도
OpenAI의 접근법은 별도의 결정 전용 모델을 처음부터 학습시키는 것이 아니었다. ChatGPT Luna를 추론 속도가 빠르고 비용이 낮은 방향으로 재설정하는 쪽을 택했다. Handa의 표현대로라면 “지금은 그냥 평범한 옛 Luna가 일을 해낸다.”
Decisions API의 가장 큰 돌파구는 속도였습니다. 1~3초 걸리던 것을 100, 120, 180밀리초로 줄였죠. 앞으로는 모델을 이런 방향으로 더 끌어올리는 전용 학습을 할 수도 있습니다. 하지만 지금은 그냥 평범한 옛 Luna가 일을 해냅니다. — Nikunj Handa, OpenAI API 제품 책임자
공개 버전에는 음성과 시각 모달리티가 새로 추가됐다. 추론 자원을 지역별로 배치해 전 세계 어디서든 지연 시간을 낮추는 작업도 병행했다.
Speak는 1.4초를 0.13초로 줄였다
초기 시험에 참여한 고객사는 Box, Datadog, Ramp, Speak 등이다. 이들은 Decisions API로 OpenAI의 LLM을 대체해 처리량(스루풋)을 끌어올렸다. AI 언어 튜터를 만드는 Speak의 CTO Andrew Hsu는 이 API 덕분에 동작 사이 간격이 1.4초에서 0.13초로 줄었다고 밝혔다. OpenAI 자신도 이 제품으로 음성 비서 Dots의 응답성을 개선했다.
한눈에 보기
- 제품명: OpenAI Decisions API
- 공개 일정: 9월 29일 개발자 데이 발표 → 10월 22일(현지시간) 전 고객 대상 개방
- 기반 모델: ChatGPT Luna를 재설정한 버전
- 핵심 성능: 응답 시간 1~3초 → 100·120·180밀리초
- 추가 기능: 음성·시각 모달리티, 지역별 추론 자원 배치로 지연 시간 최적화
- 초기 도입사: Box, Datadog, Ramp, Speak
남은 질문은 ‘무엇이 좋은 결정 모델인가’
아직 명확하지 않은 지점도 있다. TechCrunch는 “당신에게 잘 작동하면 그만”이라는 것 외에 좋은 결정 모델의 조건이 무엇인지 분명치 않다고 짚었다. 지능, 비용, 보정(calibration), 속도 사이의 최적점은 워크로드마다 다르게 나타난다는 설명이다.
경쟁 구도는 이제 OpenAI와 TypeSafe의 양강으로 좁혀진다. 관건은 LLM을 결정 모델로 갈아끼웠을 때 사용자가 체감하는 비용 절감과 응답 속도가 실제 서비스 품질로 이어지느냐다. 개발자 입장에서는 이미 검증된 Jev와, 생태계가 넓은 OpenAI 중 어느 쪽을 기본값으로 삼을지가 다음 선택지가 됐다.
출처
이 글은 공식 발표와 국내외 테크 매체 보도를 바탕으로 AI가 자동 작성했습니다. 세부 내용은 출처 원문을 확인해주세요. 📚 테크 뉴스 모아보기