쇼피파이가 사내 성적표를 하나 공개했어요. 손님 프로필을 정리하는 업무에서 0.8B짜리 모델이 지금 제일 비싼 축에 드는 GPT-5.6 Sol을 이겼습니다.
0.8B면 노트북에서도 돌아가는 크기예요. 체급으로 치면 한참 아랫급이 헤비급을 이긴 셈이죠.
제일 작은 모델이 제일 비싼 모델을 이겼어요
쓴 건 오픈소스 모델 Qwen3.5-0.8B를 자기 업무에 맞게 미세조정(내 일에 맞춰 한 번 더 가르치는 것)한 버전이었어요.
토비 뤼트케 대표가 붙인 설명이 이랬습니다. "특수 목적용으로 작은 모델을 훈련시키는 건, 좋은 자기개선 고리를 갖고 있다면 놀랄 만큼 잘 통한다."
눈이 가는 건 앞이 아니라 뒤예요. 조건이 붙어 있잖아요. 자기개선 고리를 갖고 있다면.
이긴 재료는 모델이 아니라 '고친 기록'이었어요
같은 팀이 앞서 공개한 사례를 보면 그 고리의 정체가 선명해져요. 판매자가 말로 시키면 자동화 규칙을 만들어주는 에이전트를 만들 때, 출발 재료가 실제 매장에서 돌던 익명 워크플로 약 300건이었습니다.
300건이요. 어마어마한 데이터가 아니라, 남들이 이미 만들어 쓰던 기록 뭉치죠.
거기다 더 흥미로운 건 그다음입니다. 시험 점수는 잘 나왔는데, 정작 판매자가 그 자동화를 켜서 쓰는 비율이 35% 떨어졌거든요. 벤치마크는 통과했는데 현장에서 안 쓰인 거예요.
이걸 메운 방법이 실제 판매자 반응을 다시 학습에 집어넣는 것이었습니다. 그러고 나서야 숫자가 붙었고, 결과는 비공개 모델보다 2.2배 빠르고 68% 싸게 나왔어요.
엔지니어링 총괄 파르한 타와르는 사내 증류 도구를 이렇게 요약합니다. 선생 모델, 데이터, 채점표, 목표 모델. 이 네 개만 넣으면 하루 만에 나오고, 원래 쓰던 최상위 모델보다 보통 2배, 많게는 30배까지 싸다고요.
넣는 건 네 개인데, 회사마다 달라지는 건 하나뿐입니다. 데이터.
파인튜닝 말고 그 앞 단계요
물론 작은 가게가 당장 모델을 다시 가르치자는 얘기는 아니에요. 그건 아직 팀이 붙어야 하는 일이죠.
대신 그 앞 단계는 오늘 됩니다. 도구 다루는 실력보다 내 상품을 아는 쪽이 이긴다는 얘기를 전에 한 적 있는데, 이번엔 그 '아는 것'의 정체가 더 분명해졌어요. 내 손에 쌓인 기록입니다.
감이 잘 오는 실험이 하나 있어요. 고객 문의를 77개 유형으로 분류하는 모델을 상담 데이터 1만 3천 건으로 1시간 8분 학습시켰더니, GPT-5.4보다 정확도가 6.3점 높게 나왔습니다. 만든 쪽 설명이 이래요. "노트북에서 돌아가고, 학습에 한 시간과 몇 달러가 들었고, ML 코드는 한 줄도 안 썼습니다."
작은 가게에서 이 데이터 자리에 놓이는 게 지난 석 달 CS 답변 폴더입니다. 문의 원문, 실제로 나간 답, 그리고 AI 초안을 내가 어떻게 고쳤는지.
저도 예전에 환불 안내 초안을 AI한테 시켜놓고 말투가 딱딱해서 전부 손봤는데, 고친 걸 그냥 닫아버렸거든요. 제일 비싼 재료를 매번 버린 셈이었어요.
같은 자료를 계속 물고 묻는 값이 4분의 1이 됐어요
기록을 모아두면 바로 써먹을 자리가 이번에 하나 더 열렸습니다. 앤트로픽이 클로드 Fable 5.1을 내면서 캐시 읽기 값을 100만 토큰당 1달러에서 0.25달러로 내렸어요. 75% 인하입니다.
캐시 읽기(말하자면, 매번 똑같이 붙여 넣는 긴 자료를 다시 읽히는 값)는 정확히 이런 방식에 붙는 요금이에요. 내 CS 원칙과 고쳐 쓴 답변 스무 개를 통째로 붙여놓고 계속 물어보는 방식 말이에요.
입력·출력 기본 단가는 그대로인데 이 항목만 내려갔습니다. 회사 설명으로는 보통 작업이 약 25%, 여러 번 도는 자동 작업은 최대 45%까지 싸진다고 해요. 가장 낮은 설정으로 돌려도 이전 세대의 가장 높은 설정만큼 나오면서 값은 3분의 1 수준이라는 자체 측정도 함께 나왔고요.
그러니까 큰 회사가 하루 만에 모델을 다시 굽는 동안, 작은 가게는 '내 기록을 통째로 물려놓고 시키는' 쪽을 훨씬 싸게 할 수 있게 됐습니다.
그래서 오늘 5분은 새 도구 고르기 말고 기록 모으기에 써보면 어떨까요. 폴더 하나 만들고, 이번 주에 AI 초안을 고쳐 쓴 게 있으면 원문과 고친 문장을 나란히 붙여넣기. 그게 전부입니다.
쇼피파이가 성적표를 뒤집을 때 꺼내 쓴 재료도 결국 자기들이 굴리던 기록 뭉치였습니다. 그 기록은 이미 매일 손으로 쌓이고 있잖아요. 오늘부터는 지우지 말고 한 폴더에 모아보세요!