14, 15, 27.
앤트로픽이 클로드 한 명에게 똑같은 오류 찾기를 세 번 시키고 받은 숫자예요. 같은 일을 여럿이 나눠 보는 AI 에이전트 팀에 맡기자 66, 66, 66이 나왔습니다.
숨겨 둔 오류는 모두 70개였어요. 11만 6천 줄짜리 코드에 일부러 심어 놓고 찾게 한 실험인데요. 앤트로픽은 이 결과와 함께, 한 번 실행에 에이전트를 최대 1,000개까지 굴리는 기능을 개발자용 공개 베타로 열었습니다.
소식마다 '1,000개'가 제목에 걸렸지만 제 눈은 혼자 한 쪽의 세 숫자에서 멈췄어요. 같은 AI가 같은 일을 했는데 한 번은 14개, 또 한 번은 27개를 찾았거든요.
혼자 본 AI는 돌릴 때마다 다른 답을 냈어요
상품 300개의 옵션표와 상세 설명을 대화창에 통째로 붙여넣고 "가격 틀린 데 찾아줘"라고 시켜 본 적이 있다면 낯설지 않은 숫자일 거예요. 몇 군데는 잘 잡아 주는데, 끝까지 다 본 건지는 확인할 길이 없죠.
점검에서 곤란한 건 낮은 점수보다 들쭉날쭉한 점수입니다. 오늘 "이상 없음"을 받아도, 다시 돌리면 열세 개가 더 나올 수 있다는 뜻이니까요.
앤트로픽은 멀티 에이전트 설계를 설명한 글에서 원인을 이렇게 짚어요. 한 대화 안에 지금 할 일과 상관없는 정보가 쌓일수록 주의가 흩어지고 답의 질이 떨어진다고요.
이 기능으로 임대차 계약서 점검을 설계해 본 AI 컨설턴트 아비 해커는 더 쉬운 말로 옮겼습니다. "큰 더미를 혼자 읽는 사람은 지쳐서 훑어보기 시작한다. 한 건씩 받은 200명은 그러지 않는다."
AI도 300번째 상품쯤 가면 금요일 오후 다섯 시의 저랑 비슷해지나 봐요.
AI 에이전트 팀은 한 건에 한 명씩 붙였어요
앤트로픽이 내세운 차이는 일을 나누는 방식이에요.
앤트로픽 설명서에는 계약서 300건을 검토하는 예시가 나오는데요. 팀에게 주라는 지시가 세 문장으로 적혀 있습니다.
- 계약서 한 건에 에이전트 하나를 붙인다.
- 두 번째 에이전트가 전부를 다시 본다. 첫 번째가 뭔가 찾아낸 건만이 아니라 아무것도 안 나온 건까지, 놓친 게 없는지 본다.
- 어느 하나가 읽기에 실패해도 전체를 멈추지 않는다. 그 계약서는 '확인 못 함'으로 따로 적는다.
저는 세 번째 문장이 제일 반가웠어요. 검수에서 사고가 나는 자리는 "이상 없음"과 "아예 안 봄"이 같은 줄에 섞일 때거든요.
계약서를 상품으로 바꿔 읽으면 그대로 옮겨집니다. 상품 하나에 한 명, 전부 한 번 더, 못 읽은 상품은 따로. 앤트로픽도 나눠 맡겨서 얻는 건 속도보다 꼼꼼함이라고 적어 뒀고요.
1,000개짜리 버튼은 아직 개발자 쪽에 있어요
지금 이 기능이 사는 곳은 클로드 매니지드 에이전트(Claude Managed Agents)예요. 채팅 앱과는 다른, 개발자가 코드로 불러 쓰는 클로드입니다. 채팅창에 '팀으로 돌리기' 버튼이 생긴 건 아니에요.
요금도 구독료와 별개로, 쓴 만큼 냅니다. 에이전트들이 쓴 토큰값에 실행 시간 1시간당 0.08달러가 붙어요. 앤트로픽 설명으로는 팀 방식이 혼자 할 때보다 토큰을 보통 3~10배 씁니다.
해커가 공개 단가로 어림한 값은 40쪽짜리 계약서 20건에 약 5달러, 7천 원 안팎이었어요(소넷 5.5 기준). 본인도 "청구서가 아니라 추정"이라며, 첫 실행은 20건만 돌리고 멈춰서 실제 비용부터 보라고 적었습니다.
그래도 오늘 가져갈 게 있어요. 기능은 못 써도 방식은 무료 채팅창에서 손으로 흉내 낼 수 있거든요.
상품을 열 개 안팎으로 잘라, 묶음마다 새 대화를 열고 같은 문장을 붙여넣는 거예요. 예를 들면 이렇게요.
아래 상품 10개에서 ① 상세 설명에 적힌 가격이 판매가와 다른 곳 ② 옵션표엔 있는데 설명엔 없는 색상·사이즈 ③ 원산지·소재 표기가 빠진 상품을 찾아줘. 확인하지 못한 상품은 '못 봄'이라고 따로 적고, 짐작으로 채우지 마.
그리고 같은 묶음을 새 대화에서 한 번 더 돌려 보는 거죠. 두 결과가 다르면 그 묶음은 아직 덜 본 겁니다. 14와 27이 알려준 게 바로 그거니까요.
물론 이건 설명서의 원리를 제가 채팅창 크기로 줄여 본 방법이에요. 앤트로픽이 무료 채팅에서 66개를 재현했다는 얘기는 아닙니다.
팀도 네 개는 세 번 다 놓쳤어요
66은 70이 아니에요. 팀도 매번 네 개를 남겼습니다.
거기다 앤트로픽은 어떤 모델을 썼는지, 토큰과 시간이 얼마나 들었는지, 멀쩡한 걸 오류라고 잘못 짚은 건 몇 개였는지 밝히지 않았어요. 세 번의 66개가 같은 66개였는지도 공개된 자료로는 알 수 없고요.
그래서 해커의 설계는 마지막을 AI에게 맡기지 않습니다. 계약서에서 값을 뽑는 건 에이전트가 하지만, 대장과 맞춰 보는 건 단순한 스크립트가 하고, 어긋난 줄마다 쪽수를 달아 사람이 1분 안에 펴 볼 수 있게 했어요. 그의 말로는 "얼마를 받아야 하는지는 도구가 정하지 않는다"예요.
판매가를 실제로 고치는 손도 마찬가지로 사람 몫으로 남겨 두면 됩니다.
제 판단은 이래요. AI 팀은 어려운 일이 아니라 많은 일에 쓰는 도구예요.
까다로운 환불 답장 한 통, 신상품 소개 문구 한 줄처럼 한 건을 깊이 보는 일은 AI 한 명이 더 싸고 충분합니다. 앤트로픽 예시도 계약서 한두 건은 팀 없이 직접 보라고 적어 뒀어요. 쉽지만 하나도 빠지면 안 되는 일, 상품 300개의 가격·옵션·표기 같은 일이 팀의 자리고요.
이 구분만 서 있으면 버튼이 채팅창까지 내려오는 날 무엇부터 올릴지는 이미 정해져 있는 셈이에요. 그때까진 열 개씩 잘라 둔 상품 목록이 제일 든든한 연습이 되어 줄 거예요!
— 금요일 오후엔 열 개씩만 보는 다혜