전부 '낮음(Low)'으로 돌리고, 틀린 것만 골라 '높음(High)'으로 다시 돌렸어요. 처음부터 끝까지 '높음'으로 돌린 쪽보다 정답은 더 많이 맞혔고(약 97% 대 95.3%), 한 건 비용은 0.29달러에서 0.17달러로 40% 넘게 내려갔습니다.
앤트로픽이 자기 모델로 직접 재 본 결과예요. 클로드 공식 블로그에 "클로드, 뭐 써야 해요?"에 답하는 안내서가 올라왔는데, 이 실험이 그 한가운데 들어 있었죠.
글이 올라온 날은 최상위 모델 클로드 Fable 5.2가 나온 날이기도 해요. 새 모델이 나오면 "제일 센 걸로 바꿔야 하나" 싶어지는데, 앤트로픽의 답은 반대쪽이었습니다. 대부분의 일은 Opus 5.5를 기본값인 Medium으로 시작하고, 모델을 옮기기 전에 클로드 추론 강도부터 움직여 보라는 거예요.
추론 강도(Effort)는 클로드가 답하기 전에 얼마나 오래 생각하고, 얼마나 꼼꼼히 검산할지 정하는 다이얼이에요. 개발자 문서에도 "강도 조절이 모델 교체보다 나은 수단인 경우가 많다"고 적혀 있습니다.
보내기 버튼 옆 Effort 메뉴
이 다이얼은 개발자만 만지는 게 아니에요. 클로드 앱에서 보내기 버튼 옆 모델 이름을 누르면 'Effort' 항목이 나오고, Low부터 Max까지 다섯 단계가 있습니다. 모델마다 권장 단계에는 'Default' 표시가 붙어 있고요.
그리고 이 다이얼은 한도와 바로 이어져요. 앤트로픽 교육 페이지는 강도를 낮추면 토큰(AI가 글을 읽고 쓰는 단위)을 덜 써서, 일 하나에 쓰는 한도도 덜 닳는다고 설명합니다. 고객센터의 '한도 아끼는 법' 목록에도 "반복 업무엔 낮은 강도를 고르라"는 항목이 들어 있죠.
게다가 클로드 앱·데스크톱·클로드 코드는 한도를 함께 써요. 낮에 상품명 고치느라 쓴 한도가 밤에 엑셀 분석할 몫까지 깎아 먹는 셈이죠. 상품명 맞춤법 하나 보자고 Max를 거는 건, 떡 이름 오타 찾으려고 현미경을 꺼내는 일이고요.
한 칸 내릴 때 줄어드는 값
그럼 한 칸이 얼마나 차이 날까요. 앤트로픽이 코딩 문제 시험(SWE-bench Pro)에서 Opus 5.5의 단계를 비교한 숫자가 안내서에 나옵니다.
- Medium: High보다 점수는 약 2.5점 낮고, 비용은 약 70%
- Low: 약 8점 낮고, 비용은 약 3분의 1
- Extra high: 약 1.4점 높은데, 비용은 High의 2.5배
코딩 시험이라 상품명 작업에 그대로 옮길 숫자는 아니에요. 그래도 모양은 또렷합니다. 아래로 한 칸은 싸게 먹히고, 위로 한 칸은 비싸게 먹히죠.
그래서 안내서는 High를 넘어가면 한 칸 올리는 값이 더 큰 모델로 바꾸는 값만큼 들 수 있다고 짚어요. 거꾸로, 강도를 아무리 올려도 모델이 모르는 걸 알게 되지는 않는다고 했고요. 몰라서 틀리는 일이라면 그때가 모델을 올릴 때죠.
틀린 게 바로 보이는 일, 안 보이는 일
맨 처음 그 실험에는 조건이 붙어 있었어요. "결과를 자동으로 확인할 수 있다면" 전부 낮게 돌리고 실패한 것만 높게 다시 돌리라는 거예요. 작은 모델에 맡길 일도 안내서는 "실수가 금방 눈에 띄는 일"로 골랐습니다.
이 기준을 쇼핑몰 일에 대 보면 이렇게 갈려요. 오른쪽 설정은 앤트로픽 안내서와 개발자 문서의 작업 분류에서 가져왔고, 왼쪽 가게 일은 제가 옮겨 붙였습니다.
| 가게 일 | 틀리면 바로 보이나 | 시작 설정 |
|---|---|---|
| 상품명 글자 수 맞추기, 금지어 빼기 | 바로 보임 | Haiku 5.5, Low |
| 문의를 배송·교환·환불로 나누기, 주문 메모에서 옵션 뽑기 | 바로 보임 | Haiku 5.5, Medium(기본값) |
| 상세페이지 문구, 매출 엑셀 정리 | 읽어 보면 보임 | Sonnet 5.5, High |
| 환불 규정을 꼭 지켜야 하는 CS 답장 | 놓치기 쉬움 | 강도 High |
| 자료 여러 개를 엮는 광고비 보고서, 정산 대조 | 잘 안 보임 | Opus 5.5 |
| 뭘 골라야 할지 모를 때 | — | Opus 5.5, Medium |
'낮음'이 안 맞는 경우도 문서에 적혀 있어요. 지시가 길어지면 Low에선 확인 단계를 건너뛰거나 일찍 멈출 수 있대요. 조건이 줄줄이 붙는 작업이라면 한 칸 올려 두는 게 마음 편합니다.
내 일에 맞는 단계를 찾는 법도 교육 페이지에 있어요. 평소 하던 일 하나를 기본값으로 한 번, 한 칸 내려서 한 번 돌려 보고 걸린 시간·빠진 곳·고칠 양을 비교하는 거예요. 너무 낮으면 지시를 빼먹거나 덜 끝난 채로 오고, 너무 높으면 답만 길어지고 질은 그대로라고 하더라고요.
Fable 5.2는 그다음에 꺼내는 카드예요. 안내서는 Opus 5.5를 High로 올려도 모자랄 때, 사람 없이 오래 돌려야 하는 일에 쓰라고 적었습니다.
답이 느릴 때 먼저 볼 곳
새 모델 소식은 또 올 거예요. 그때마다 갈아탈지 고민하기 전에, 먼저 볼 곳은 모델 이름 옆의 Default 표시입니다.
상품명 하나 고치는데 답이 한참 걸린다면, 다이얼이 일보다 높게 걸려 있다는 신호예요. 반대로 지시를 빼먹고 오면 한 칸 올릴 때고요. 모델은 그 두 신호를 다 본 다음에 바꿔도 늦지 않습니다.
이번 주 상품명 정리는 모델은 그대로 두고 '낮음'부터 걸어 보세요. 어색한 것만 골라 '높음'으로 다시 보내면, 아낀 한도는 정산 대조 몫으로 고스란히 남겨 둘 수 있어요!
— 커피도 샷 추가 전에 연하게 한 잔 먼저 마셔 보는 다혜