AI

챗GPT 결제 실패율 42.8%라더니, 틀린 건 결제 전이었다

한이룸 · 2026.11.20 · 읽는 시간 4분
공유X페이스북스레드

비자가 차린 가상 가게에 TV 265대가 걸려 있습니다. 손님 샘이 원하는 건 65인치, 그리고 반품이 되는 TV예요.

"우리 집은 마음이 자주 바뀌어서, 반품이 꼭 돼야 해요."

이 심부름을 AI 쇼핑 에이전트 22종이 받았습니다. 그리고 열 번 중 네 번 넘게 틀렸죠.

지난 #101에서 챗GPT 월렛(챗GPT가 가게 원래 결제창에서 대신 결제하는 기능)이 한국 자사몰 결제창도 통과할지 다뤘는데요. 그 뒤 국내 매체 코인리더스에 "챗GPT 월렛, 결제 실패율은 42.8%"라는 제목이 떴습니다. 그 숫자를 따라가면 바로 이 TV 가게가 나옵니다.

42.8%는 결제창에 닿기 전에 나온 숫자입니다

42.8%는 월렛을 잰 숫자가 아닙니다. 기사 본문도 출처를 비자가 AI 모델 22종에게 쇼핑을 시킨 시험으로 밝히고 있어요. 제목에서만 월렛과 한 몸이 됐죠.

비자는 이 시험을 업계 첫 AI 쇼핑 벤치마크(같은 조건에서 성적을 비교하는 기준 시험)로 내놨습니다. 카드 결제망을 쥔 회사가 'AI가 대신 사도 되나'를 직접 채점하기 시작한 셈입니다.

12개 연구소의 모델 22종이 TV·노트북 같은 쇼핑 과제 15개를 세 번씩 풀었습니다. 무대는 실제 쇼핑몰이 아니라 모든 모델에게 똑같이 차려 준 가상 시장이었고요. 평균 통과율 57.2%, 나머지가 42.8%입니다.

시험 범위가 핵심입니다. 결제와 주문 단계는 아직 넣지 않았고, 비자는 다음 단계에서 붙이겠다고 했습니다. 결제창은 이번 시험지에 나오지도 않았던 거죠.

틀린 AI의 절반은 그래도 결제 버튼을 눌렀습니다

채점은 깐깐합니다. 손님 조건을 전부 맞춘 물건을 사야 하고, 그 조건을 대화 중에 직접 확인했어야 통과예요. 비자 표현을 빌리면 "운 좋게 맞힌 건 통과가 아니다".

샘의 조건은 여섯 개였습니다. 몇 개는 처음부터 말하고, 나머지는 AI가 물어봐야 나옵니다. 가족에게 확인해 달라고 하면 "배우자가 영화 볼 땐 돌비 비전이 꼭 있어야 한대요" 같은 답이 돌아오는 식이죠.

예산 1,200달러도 물어야 나옵니다. 그것도 세금과 수수료까지 합친 총액 기준으로요.

GPT-6.1 솔은 하이센스 65인치를 총액 769.99달러에 사서 통과했습니다. 클로드 오퍼스 5.5는 소니 브라비아 7을 989.99달러에 샀다가 HDR10+ 조건을 못 맞춰 탈락했어요.

220달러를 더 쓰고 오답이라니, 사람 손님이었다면 반품 창구에서 다시 만났을 장면입니다.

비자 집계로는 실패한 시도의 54%가 그래도 구매로 끝났습니다. 조건 하나를 놓친 물건을 샀거나, 조건이 다 나오기 전에 먼저 사 버렸죠.

AI는 상품 정보의 빈자리를 '된다'로 읽었습니다

비자가 과제마다 심어 둔 실패 유형은 다섯 가지입니다. 판매자 눈에 걸리는 건 두 번째예요. '상품 정보에 빠진 값을 괜찮은 것으로 치기.' 예시로 든 항목이 돌비 비전, 120Hz, 그리고 반품입니다.

비자는 판매자 얘기를 따로 하진 않았습니다. 다만 이 유형을 판매자 자리에서 뒤집어 읽으면 이렇습니다. 상세페이지에 반품 기간이 안 적혀 있으면, 어떤 AI는 그걸 '반품 된다'로 읽고 장바구니에 담을 수 있다는 거죠.

그 뒤 일은 가게 몫입니다. 월렛 주문도 결제는 가게 원래 결제창에서 일어나고, 가격·배송·반품·고객 응대는 가맹점이 그대로 쥡니다. AI가 낙관한 빈 줄이 반품 문의가 되어 가게로 돌아오는 구조예요.

반대쪽 실패도 있습니다. 세 번째 유형은 맞는 물건이 앞선 검색 결과에 있는데도 "맞는 게 없다"고 끝내는 것. 오픈AI 모델들이 이쪽으로 많이 틀렸습니다.

맞는 물건이 있는데 안 산 비율이 GPT-6.1 테라 38%였죠. 다른 연구소 모델은 16%를 넘지 않았습니다.

조건이 흐릿하게 적힌 상품은 오답이 되기 전에 후보에서 먼저 빠질 수 있다는 뜻입니다. 거꾸로 말하면 반품 기간·규격·배송비 포함 총액이 글자로 또렷한 상품은, AI가 끝까지 확인하고 고를 수 있는 상품이에요.

결제를 맡기겠다는 미국인은 23%

비자의 다른 조사도 같은 쪽을 가리킵니다. AI 비서를 써 본 미국 소비자는 72%인데, 결제까지 맡길 만큼 믿는 사람은 23%였어요.

루베일 버와드커 비자 글로벌 성장 총괄은 "AI 에이전트는 다음 시대의 상거래를 이끌 수 있지만, 그걸 작동하게 하는 핵심은 신뢰"라고 했습니다.

미국 손님을 받는 한국 셀러에게도 먼 숫자는 아닙니다. 3분기 온라인 해외직접판매는 1조944억 원, 그중 미국은 1년 새 30.4% 늘었죠.

거리를 재면 이렇습니다. 월렛은 아직 미국 프로 구독자 일부에게만 열렸고, 받아 주는 가맹점 명단도 공개되지 않았습니다. 결제창 보안 설정 점검은 그 문이 넓어질 때 해도 늦지 않아요. 지금 손님 신뢰를 깎는 건 결제창이 아니라 AI의 오답이고, 그 오답의 재료 하나가 상품 정보의 빈 줄입니다. 그 빈 줄은 돈 한 푼 안 들이고 오늘 채울 수 있습니다.

샘네 가족처럼 마음이 자주 바뀌는 손님은 어느 나라에나 있습니다. 반품 기간이 '상세 이미지 참조'로만 남은 상품이 있다면, 그 한 줄부터 글자로 꺼내 적어 보세요!

— 미나킴, 오늘의 오답 노트는 220달러

공유X페이스북스레드
← 이룸회보 전체 보기