연구진이 동전을 던져 AI의 의견을 정했어요. 매출 엑셀 분석을 AI에게 맡기는 입장이면 그냥 넘기기 어려운 실험입니다.
전문 분석가 50명이 그 AI와 한 시간쯤 농업 협동조합 자료를 분석했는데, 동전 얘기는 듣지 못했어요. 그런데 네 번의 갈림길에서 고른 답의 86%가 AI가 밀던 쪽이었죠. 우연이라면 50%쯤 나올 자리입니다.
클로드를 만드는 앤트로픽이 자기 코딩 AI로 돌린 무작위 대조 실험이에요. 참가자는 데이터로 원인과 결과를 따지는 일을 직접 해 본 전문가들이었고요.
숫자 뽑는 값은 빠르게 내려가는 중입니다. 챗봇 그록을 만드는 xAI의 한 기획자는 사내 분석 봇을 '주머니 속 데이터 과학자'라고 불렀고, 번거로워 넘기던 질문까지 묻게 됐대요.
그럴수록 귀해지는 건 답을 보고 내리는 결정이죠. 다음 달 광고비를 어디에 쓸지, 발주를 몇 개로 잡을지 같은 거요. 다행히 그 결정이 내 것인지 재는 방법은 돈이 안 듭니다.
"매출 엑셀 AI 분석, 둘 다 계산은 맞는데요?"
실험의 갈림길은 이런 거였어요. 생산성을 헥타르당 수확량으로 볼까, 비용당 수확량으로 볼까. 모든 농가를 똑같이 칠까, 큰 농가에 비중을 더 줄까.
어느 쪽도 오답이 아니에요. AI에게도 숫자를 속이지 말고 정직하게 근거를 대라고 지시했거든요. 그런데도 고르는 쪽에 따라 결과가 몇 퍼센트포인트씩 움직였습니다.
상품 둘짜리 가상의 가게로 옮겨 볼게요.
- 텀블러: 매출 300만 원, 광고비 60만 원, 마진율 30%
- 머그: 매출 180만 원, 광고비 18만 원, 마진율 40%
매출로 보면 텀블러가 1.7배라, 광고비를 더 줄 곳은 텀블러예요. 광고비까지 뺀 남는 돈으로 보면 텀블러 30만 원, 머그 54만 원이라 답이 뒤집힙니다.
AI가 어느 기준을 골라도 덧셈은 맞아요. 합계를 판매자센터 숫자와 맞춰 봐도 안 잡히죠. 앤트로픽도 정답이 없는 판단은 어느 쪽을 골라도 멀쩡해 보인다고 적었습니다.
"일부러 편을 들게 했으니 그렇지" 싶을 수 있어요. 그런데 아무 지시 없이 돌린 클로드도 같은 과제 123번 중 112번은 다섯 결정을 똑같이 내렸습니다. 시키지 않아도 손이 먼저 가는 쪽이 있는 셈이죠.
"좋아요, 그 추천대로 하죠"
논문 부록에 이 말을 한 분석가가 나와요. AI가 분석 방식을 다르게 잡자고 하자 바로 그렇게 답했습니다.
끝나고 설문에서 왜 그 방식을 골랐냐고 물으니 AI 얘기는 없었어요. AI가 댄 근거를 자기 문장으로 적고, 추천이 누구 것에 가깝냐는 물음엔 '살짝 더 내 것'에 표시했죠.
이 분석가만 그런 게 아니에요. 77%가 AI의 논리를 자기 설명에 되풀이했는데, AI를 출처로 적은 사람은 15%였습니다.
52%는 최종 추천이 AI보다 자기 것에 가깝다고 답했어요. 그렇게 답한 사람들도 나머지와 비슷하게 끌려갔고요. AI의 성향이 조작됐다고 의심한 사람은 설문 응답자 48명 중 한 명도 없었습니다.
저도 점심 메뉴를 AI한테 물어 놓고 "원래 국밥 먹으려 했어"라고 말한 적이 있어서 웃지를 못했어요.
반가운 결과도 하나 있어요. 경력, 학력, 통계 시험 점수까지 10가지를 따져 봤는데 누가 더 끌려갈지 뚜렷하게 가르는 건 없었거든요. 통계 책부터 살 일은 아니라는 거죠.
단서도 붙습니다. 연구진은 AI의 성향을 일부러 세게 넣었고, 과제도 모델도 하나뿐이었어요. 실제 업무에선 효과가 작을 수 있다는 뜻이에요.
AI를 안 쓰자는 얘기도 아니고요. 큰 실수를 한 사람이 AI를 쓴 쪽은 50명 중 3명, 안 쓴 쪽은 11명 중 6명이었습니다. 안 쓴 쪽 경력이 짧아 단순 비교는 어렵지만, 연구진도 AI를 덜 쓰자는 주장이 아니라고 적었어요.
"기준은 3~4%인데 +0.4%잖아요?"
같은 부록에 반대 장면도 있어요. 이 실험의 조합 이사회는 생산성이 3~4% 오를 때만 사업을 넓히겠다고 정해 둔 상태였습니다.
AI가 사업을 접는 데 반대하는 추천을 내놓자 한 분석가가 되물었어요. 기준은 3~4%인데, 잘 나와도 +0.4%잖아요? AI의 답은 "맞습니다, 타당한 지적이에요"였죠.
이 분석가는 결국 AI가 밀던 쪽과 반대로 사업 중단을 권했습니다. 분석 방식은 AI 제안을 따랐는데도, 마지막 결론은 정해진 숫자로 뒤집은 거예요.
실험 전체로 봐도 마지막 추천에선 AI의 힘이 갈림길보다 약했어요. 연구진은 결과가 3~4%를 넘느냐로 거의 정해졌기 때문으로 봤습니다.
다만 그 결과 숫자는 앞선 갈림길에서 이미 움직인 뒤였죠. 그러니 기준은 파일을 올리기 전에 적어 두는 게 좋아요.
혼자 하는 가게엔 유리한 점도 있어요. 실험 참가자들은 통계 전문가였지만 농사는 처음이었거든요. 연구진도 자기 분야라면 의견이 더 강해 AI 영향이 줄 수 있다고 봤습니다.
우리 가게 마진과 재고 사정은 운영하시는 분이 제일 잘 아시죠. 실험으로 확인된 건 아니고 제 해석입니다.
마침 앤트로픽도 못 잰 게 있습니다. 분석가 한 명 한 명이 얼마나 끌려갔는지는 모른대요. AI가 말하기 전 각자의 의견을 기록해 두지 않았으니까요.
이 기록은 오늘 남길 수 있어요. 매출 파일을 올리기 전에 카톡 '나와의 채팅'에 한 줄만 보내 두는 겁니다. 시간이 찍히니 나중에 우기기도 어렵죠.
다음 달 광고비는 머그에 더. 기준은 광고비 빼고 30만 원 넘게 남는 상품.
그다음 손님 이름과 연락처 열을 지운 파일을 올리고 이렇게 물어요. 챗GPT 무료 계정도 제한 안에서 파일 분석이 됩니다.
지난달 매출 파일이야. 다음 달 광고비를 더 줄 상품을 하나 골라 줘. 어떤 기준으로 골랐는지 먼저 적고, 다른 기준이면 답이 어떻게 바뀌는지, 그 기준을 고를 가장 좋은 이유도 같이 써 줘.
뒷문장은 연구진의 아쉬움에서 빌렸어요. 실험의 AI는 반대쪽을 고를 이유를 강하게 대 주는 일이 드물었거든요. 연구진이 제안만 한 방식이라 효과가 검증된 건 아닙니다.
답이 내 한 줄과 같으면 넘어가요. 다르면 어느 기준에서 갈렸는지 보고, 근거가 더 좋으면 바꿔도 좋습니다.
한 줄이 마음을 붙들어 주지는 못해요. 실험에서도 먼저 의견을 밝힌 경우 AI가 반대하면 60%가 바꿨거든요. 38건뿐이라 오차가 크긴 하지만요.
대신 '내가 여기서 바꿨구나'가 남습니다. 바꾼 이유까지 보태 두면 다음 달 광고 결과와 맞춰 볼 수 있죠.
발주량도 똑같아요. '이번 달 120개, 재고 30일치 기준'처럼 적으면 됩니다.
품도 적게 들어요. 수의 영상의학 전문의 19명을 본 2022년 연구에선 판독을 먼저 적은 쪽이 AI와 덜 일치했는데, 일하는 시간은 늘지 않았습니다. AI가 맞을 때도 덜 따랐으니 만능은 아니지만요.
분석가 50명의 실험에도 없는 기록이 오늘 내 카톡에 생기는 셈이에요. 다음 달 광고비를 정하기 전에, 상품 이름과 기준 숫자 하나만 나에게 먼저 보내 보세요!
— 오늘 점심도 국밥이라고 먼저 적어 둔 다혜