크몽에 로고 견적 세 개를 받아 놓고 결제 버튼 앞에서 손이 멈춥니다. 머릿속엔 "이거 AI한테 먼저 시켜 볼까" 하는 생각이 맴돌고요.
그 고민을 대신 시험해 본 곳이 있어요. 미국 프리랜서 장터 업워크의 실제 일감 240개를 맡겼더니, 앤스로픽의 클로드 페이블 5.2(Fable 5.2)가 99개를 사람 결과물만큼 해냈습니다. 41.3%, 10개 중 4개꼴이죠.
시험 이름은 원격 노동 지수(RLI)예요. 데이터 회사 스케일 AI와 비영리 AI 안전 센터(CAIS)가 만들었는데, 업워크는 미국판 크몽쯤으로 보시면 됩니다. 실제 의뢰서와 첨부 파일, 프리랜서 납품본을 그대로 가져왔고 합격선은 "돈 낸 고객이 받아 줄 만한가"였어요.
이게 뉴스인 건 출발점 때문입니다. 1년 전 처음 공개됐을 때 1등 점수가 2.5%였거든요. 독일 AI 매체 더 디코더도 "1년 전 2.5%에서 41%로"라고 제목을 달았어요.
한눈에 1 — 2.5%였던 통과율이 1년 만에 41.3%
처음 공개 때 1등은 마누스(Manus)로, 240개 중 6개를 통과했어요. 올여름 나온 페이블 5가 16% 안팎까지 올렸고, 이번에 41.3%로 뛰었습니다. 1년 새 16배가 넘죠.
2위 오퍼스 5.5는 21.25%, 3위 GPT 6 아스트라는 20.83%예요. 1위와 2위가 거의 두 배 차이인데요. 이전 어떤 AI도 못 푼 일감 50건 가까이를 이번에 처음 풀었다고 스케일 측은 밝혔습니다.
한눈에 2 — 소리·그림·도면은 붙고, 움직이는 그림은 떨어졌다
이번 시험에서 가장 크게 오른 분야는 오디오·음악 편집, 건축·인테리어 설계, 3D 모델이에요. 반대로 산업 제품 디자인과 애니메이션은 "아직 겨우 다루는 수준"이라고 스케일 측은 적었습니다.
1년 전 첫 시험에서 붙은 일감도 비슷한 쪽이었는데요. 레트로 게임 효과음, 노래에서 목소리만 떼어 내기, 내레이션 앞뒤에 음악 붙이기, 광고 이미지와 로고, 보고서, 데이터 시각화 코드였죠.
판매자 일로 옮겨 보면 숏폼 효과음, 상세페이지 배너, 로고 시안이 오른 쪽 일감과 닮았어요. 제품 소개 애니메이션이나 실제 제품 설계는 아직 더딘 쪽이고요. AI로 시안 받는 과정은 클로드 디자인으로 시안 받는 법에 정리돼 있습니다.
한눈에 3 — 평균 632달러짜리 일감, 채점관 셋이 파일을 열었다
일감 하나는 평균 632.6달러, 28.9시간짜리였어요. 중간값은 200달러에 11.5시간이고, 240개를 다 합치면 약 14만 4천 달러어치입니다.
채점은 전문가 세 명이 결과물 파일을 해당 프로그램으로 직접 열어 프리랜서 납품본과 견준 뒤 다수결로 정했어요. 세 사람 판정이 맞아떨어진 비율은 94.4%였고요.
처음엔 AI 채점관도 써 봤는데, 매끈하지만 틀린 결과물에 점수를 후하게 줘서 빠졌습니다. AI가 AI한테 너무 착했던 거죠.
단, 이 시험엔 의뢰인과 주고받는 대화나 수정 요청이 없어요. 41.3%는 이 240개 중 99개라는 뜻이지, 프리랜서 41%를 대신한다는 뜻은 아닙니다.
결국 마지막 합격 도장은 사람 세 명 손에 남았네요. 다음 로고 의뢰서는 AI한테 먼저 넣어 보고, 도장은 직접 찍어 보세요!
— AI 채점관이 잘린 대목에서 혼자 웃은 한눈