같은 AI가 같은 날 성적표 두 장을 받았어요. 한 장은 81점, 다른 한 장은 9.6점입니다.
주인공은 챗GPT 플러스 요금제부터 쓸 수 있는 오픈AI 모델 GPT-6 아스트라예요. 오픈AI가 직접 만든 생활 과제 시험 '라이프발'에선 80.6점, 미국 분석 회사 세미애널리시스가 낸 실무 과제 시험 'GDPx'에선 9.6점이 나왔죠.
매출 엑셀 분석을 AI에 맡겨도 될지 재던 입장이면 머리가 더 복잡해지는 숫자입니다. 그런데 두 장을 나란히 놓으면 갈리는 건 AI 실력보다 일의 종류에 가까워요.
81점 시험과 9.6점 시험은 문제지부터 달라요
라이프발 문제는 이런 식입니다. 이사한 동네에서 유치원 고르기 93.1점, 당뇨 진단받은 부모님 식단 짜기 90.4점, 홍수를 앞두고 자원봉사자 조직하기 98점. 저는 이사하고 주소 변경도 까먹는데, AI는 홍수까지 챙기네요.
GDPx는 칩 설계·보안·금융·법률 등 11개 분야에서 과제 206개를 냅니다. 과제 하나에 기본 8시간을 주는데, 1위 클로드 오퍼스 5.5도 12.0점에 그쳤어요. 금융과 법률은 사실상 모든 모델이 0점이었습니다.
아스트라가 이 시험에서 과제 하나에 쓴 돈은 평균 53.99달러, 7만 2천 원쯤입니다. 구독료로 풀라고 낸 문제가 아닌 거죠.
점수판도 달라요. 라이프발은 평균 점수이고, GDPx는 한 번 시도로 통과한 비율을 분야별로 같은 비중으로 평균 낸 값입니다. 그래서 9.6점이 '일의 9.6%를 해낸다'는 뜻은 아니고, 두 숫자를 바로 견줄 수도 없어요.
두 시험 모두 단서가 붙습니다. 라이프발은 오픈AI가 자기 모델만 채점했고 과제를 공개하지 않았어요. GDPx 점수엔 안전 장치가 일부 과제를 막은 영향이 섞여 있고요.
갈린 자리는 '맞는 답을 누가 아느냐'였어요
라이프발 과제는 사용자 약 100명이 썼어요. 자기가 맡기고 싶은 일을 적고, 잘됐는지 가를 채점표까지 직접 만들었죠. 오픈AI 연구원 제니 양은 CNN에 "자기에게 맞는 답이 어떤 건지 정말 안다는 증거가 있어야 했다"고 말했습니다.
그래서인지 예시 답변도 사람에게 돌아오며 끝나요. "유치원 세 곳으로 좁혔어요. 두 가지는 직접 정하셔야 해요." 맡긴 사람이 보면 바로 판단이 서는 결과물이죠.
GDPx 금융은 반대편에 있습니다. 실제 인수 거래를 본뜬 파일 약 4,000개를 뒤져야 하고, 기준은 선임 검토자의 눈이에요. 공개된 과제 하나는 25번 시도에 통과가 0번, 최고 기록이 11개 항목 중 8개였습니다.
놓친 항목이 눈에 띄어요. 근무 기록이 없는 가족 급여를 정상 비용으로 남겨 둔 시도가 17번이었거든요. 명절 밥상에서 꺼내기 곤란한 항목이긴 하죠.
세미애널리시스는 AI가 계산은 다시 살피면서 그 밑의 전제는 잘 의심하지 않는다고 적었어요. 앞뒤가 맞으면 틀린 전제 위에 선 답도 스스로 통과시킨다는 얘기입니다. 더하기 빼기는 맞는데 광고비를 빠뜨린 마진표가 그럴듯하게 나오는 셈이죠.
두 시험이 증명해 준 결론은 아니에요. 제가 겹쳐 읽은 가설입니다. 내 손으로 금방 대 볼 수 있는 일은 지금 넘겨 볼 만하고, 전문가 눈이 있어야 틀린 줄 아는 일은 아직 초안까지만이라고요.
70시간을 덜어 준 봇도 판단은 사람에게 남겼어요
이 가설에 힘을 보태는 사례가 같은 날 하나 더 나왔습니다. 챗봇 그록을 만드는 xAI의 데이터팀이 사내 분석 봇 'Data Bot'을 공개했거든요.
기획자는 제품 사용 현황을 묻고, 마케터는 캠페인 번호를 주며 메일 받은 사람 중 몇 명이 실제로 요금제를 바꿨는지 물어요. 회사 추정으로는 직전 일주일 동안 약 70시간 몫을 대신했답니다. 계산법은 밝히지 않았지만요.
글을 읽어 보면 먼저 한 일은 모델 고르기가 아니에요. 데이터팀이 매출 같은 핵심 지표의 정의와 출처 표, 계산법부터 적어 줬습니다. 판단이 더 필요한 복잡한 분석은 여전히 자기들이 한다고 적었습니다.
이 봇은 그 회사 사내용이라 받아 쓸 수는 없어요. 다행히 필요한 건 봇이 아니라 이 순서입니다.
매출 엑셀을 넘기기 전에 정의 한 줄부터 적어요
챗GPT든 클로드든 쓰던 창이면 됩니다. 주문자 이름과 연락처 열은 지운 파일을 올리고, 이렇게 보내 보세요.
"이 파일에서 지난달 상품별 매출 상위 5개를 표로 뽑아 줘. 매출은 취소·반품을 뺀 결제 금액이고, 배송비는 넣지 마. 표 아래에 파일 전체 합계도 적어 줘."
마지막 문장이 검수 장치예요. 그 합계를 판매자센터의 같은 기간 숫자와 맞춰 보면 1분이면 끝나거든요. 차이가 나면 어느 쪽 기준이 다른지부터 다시 물으면 됩니다.
같은 잣대로 운영 항목 넷을 갈라 보면 이렇습니다.
- 광고비: 상품별 광고비·매출 표 정리는 넘기고 광고 화면 합계와 맞춰 봐요. 어떤 광고를 끌지는 직접 정하고요.
- CS: 문의 100건 유형 나누기는 넘기고 아무 10건만 골라 읽어 봐요. 환불 여부는 직접 정합니다.
- 재고: 최근 30일 판매량으로 남은 일수 계산은 넘기고 한 상품만 계산기로 확인해요. 발주량은 직접 정하죠.
- 상세페이지: 긴 글에서 소재·사이즈 표 뽑기는 넘기고 원문 옆에 놓고 봐요. 표시 문구가 규정에 걸리는지는 전문가 몫이에요. GDPx에 공개된 법률 과제도 20번 모두 쓸 수 없는 초안이었거든요.
"10월 매출이 왜 줄었어?"도 어려운 쪽입니다. 그럴듯한 이유는 바로 나오는데 대 볼 곳이 없어요. xAI도 봇에게 제품 탓을 하기 전에 휴일부터 확인하라고 가르쳤다네요. 연휴에 줄어든 매출을 상세페이지 탓으로 돌리면 디자이너만 억울하잖아요.
모델 욕심은 잠깐 내려놔도 됩니다. 라이프발 차트에서 7월 모델 GPT-5.6은 80.0점, 9월 아스트라는 80.6점이었어요. 시험이 천장에 닿았을 수도 있지만, 합계 대조 같은 일에 새 모델부터 쫓을 이유는 작아 보입니다.
물론 81점은 플러스 이상 모델 얘기예요. 기본 모델 루나 점수는 이 차트에 없고, 챗GPT 무료 계정은 파일 업로드와 데이터 분석에 제한이 있습니다. 그 제한 안에서 합계가 나왔다면, 판매자센터 숫자와 맞춰 보는 일은 요금제를 가리지 않아요. 우리 가게 일의 점수는 그 대조에서 나오니까요.
이번 주 잡무를 다섯 개만 적고, 옆에 '답을 어디에 대 보지?'를 한 줄씩 붙이다 보면 바로 써지는 일이 나옵니다. 그 일 하나만 오늘 창에 올려 보세요!
— 장 본 영수증을 AI 합계랑 맞춰 보다 제 암산부터 틀린 다혜