185개를 맞히고 15개를 틀렸어요.
구글이 새로 낸 '판단 전용' AI에게 은행 고객 문의 200개를 열 가지 유형으로 나눠 보라고 맡긴 한 개발자의 첫 성적표예요. 정확도는 92.5%였죠.
이 개발자는 처음 보는 문의 200개를 따로 골라 두 번 더 돌렸습니다. 유형 이름만 줬을 때는 93.5%, 유형마다 설명을 한 줄씩 붙였을 때는 99%가 나왔습니다. 같은 문제지 안에서 설명 한 줄이 5.5%포인트를 올렸어요.
글 대신 고르기만 하는 구글 AI
구글이 이번에 공개한 Gemini Decisions API는 답마다 '이 답이 얼마나 확실한지'를 0부터 1 사이의 확신도로 같이 알려 줍니다.
이 AI는 글을 한 줄도 쓰지 않아요. 예/아니오, 보기 중 하나 고르기, 단계별 점수 매기기 이 세 가지만 합니다. 그래서 값이 싸요. 입력 100만 토큰당 0.1달러이고 출력은 0원이에요. 같은 자료를 두고 한 번에 질문을 1,000개까지 붙일 수 있고요.
이런 '고르기 전용' AI는 9월 타입세이프의 제브, 10월 오픈AI에 이어 석 달 사이 세 번째죠. 구글은 오픈AI와 같은 0.1달러를 받으면서 한 번에 받는 질문을 400개에서 1,000개로 늘렸습니다. 사진·PDF·음성·영상도 받고요. 실리콘앵글은 이 발표를 구글의 '판단 모델 시장 진출'이라고 불렀죠.
구글은 사내에서 이미 이 AI를 쓰고 있습니다. 구글 랩스의 비서 CC는 200개가 넘는 이모지 가운데 답장에 붙일 하나를 이걸로 고른대요. 단톡방 답장 이모지 하나 고르느라 1분씩 쓰는 저로서는 좀 부럽더라고요.
가게 일로 옮기면 상품 등록할 때 카테고리 고르기, CS 문의 유형 나누기, 리뷰를 불만·칭찬으로 가르는 일이 다 여기에 들어가죠. 모두 쓰는 일이 아니라 고르는 일이니까요.
쇼핑 시험 점수 58.7
구글은 시험 아홉 개 중 일곱 개에서 경쟁 모델보다 앞섰다고 발표했는데요. 그 표에서 이커머스와 가장 가까운 시험은 아마존 상품 검색 데이터였습니다. '이 상품이 이 검색어에 맞는가'를 가르는 시험인데, 1등을 하고도 점수는 58.7(100점 기준)이었어요. 2등 제브는 56.7, 오픈AI 모델은 54.7이었고요.
외부 평가도 비슷한 이야기를 합니다. 아티피셜 애널리시스의 판단 모델 종합 순위에선 18개 중 9위였어요. 영수증·송장 같은 문서 1,500건으로 낸 시험에선, 한 문서에 딸린 문항 15개를 전부 맞힌 비율이 33%였고요.
그렇다고 못 쓸 AI라는 뜻은 아니에요. 다만 이 점수는 내 가게가 아니라 남의 시험지에서 나온 숫자죠. 아마존 검색 데이터에는 우리 가게 '기모 레깅스'가 홈웨어인지 운동복인지 나와 있지 않으니까요. DataCamp도 구글 안내를 정리하면서, 확신도를 어디서 끊을지는 쓰는 쪽이 내 실제 데이터에 정답을 붙인 예시로 정해야 한다고 짚었습니다.
상품 분류표 200개로 재는 순서
200개는 앞의 실험과 같은 크기예요. 그 실험은 유형 10개마다 문의 20개씩, 모두 200개를 썼거든요. 가게로 옮겨도 카테고리 10개에 상품 20개씩이면 됩니다.
- 카테고리를 제대로 넣어 둔 상품 200개를 엑셀로 내려받아요. 이미 넣어 둔 카테고리가 정답 열이 됩니다.
- 처음엔 카테고리 이름만 주고 돌려 봐요. 여기서 몇 개를 맞히는지가 우리 가게 기본 점수죠.
- 카테고리마다 설명을 한 줄씩 붙이고 다시 돌립니다. "홈웨어: 집에서 입는 옷, 기모·수면 소재 포함"처럼 사람 직원에게 설명하듯 쓰면 됩니다.
- 보기에 '기타'를 하나 넣어요. 이 AI는 맞는 보기가 없어도 그중 하나를 꼭 고르거든요.
- 확신도도 같이 받아서 낮은 순으로 정렬해요.
확신도는 생각보다 쓸모가 있었습니다. 앞의 실험에서 확신도 0.8 이상으로 답한 148개 중 145개가 정답이었고, 틀린 15개 중 12개는 0.8 아래였어요. 우리 가게 숫자도 이렇게 나온다면, 0.8 이상은 맡기고 나머지만 직접 보면 됩니다.
비용은 거의 들지 않습니다. 구글 AI 스튜디오의 무료 단계가 분당 200회까지라 상품 200개면 무료로 충분해요. 유료로 돌려도 그 실험에선 1,000건에 0.015달러, 우리 돈 20원쯤이었죠. 다만 무료 단계에 넣은 내용은 구글 제품 개선에 쓰일 수 있어서, 손님 이름이 들어간 문의보다 상품명으로 먼저 시작하는 편이 마음 편해요.
개발자용 창구라 짧은 코드는 필요합니다. 그 코드는 평소 쓰는 챗봇에게 "이 엑셀 200줄을 gemini-decision-1로 분류하고 정답 열과 비교하는 코드 짜 줘"라고 부탁해서 받아도 됩니다.
구글이 지원 언어 목록을 따로 밝히지 않았기 때문에, 한국어 상품명으로 직접 재 보는 게 더 의미 있어요. 그렇게 만든 정답표는 오픈AI나 제브로 바꿔 재 볼 때도 그대로 쓸 수 있습니다.
확신도 0.8 아래에 모인 상품들
200개를 다 돌렸다면 정확도 숫자보다 먼저 확신도 0.8 아래에 모인 줄을 보세요.
앞의 실험에서도 틀린 답 상당수는 AI가 엉뚱해서가 아니라 유형 이름이 서로 겹쳐서 생겼습니다. ATM 질문을 '카드 결제 가능 여부' 유형으로 넣는 식이었죠.
우리 가게에서 이 줄에 '기모 레깅스'처럼 사람 직원도 헷갈리던 상품이 모여 있다면, 그건 AI가 틀린 목록이면서 우리 카테고리 경계가 흐린 곳의 목록이기도 해요. 그런 상품에 설명 한 줄을 붙이면 AI 점수와 손님이 길을 찾는 카테고리가 함께 좋아집니다.
자신 없을 때 자신 없다고 말해 주는 직원은 사람 중에서도 귀하잖아요. 어떤 판단 AI를 들이든 맨 먼저 풀어 볼 시험지는 그 엑셀이 될 테니, 이번 주말엔 상품 200개 옆에 정답 열부터 하나 달아 보세요!
— 객관식 시험에선 늘 보기부터 끝까지 읽던 김다혜