"AI 에이전트가 미국 정부 사이트를 뚫었대요!"
아침 단톡방에 이 한 줄이 올라왔어요. 어제 AI 에이전트에게 판매자센터 로그인을 맡긴 앞치마 언니는 들고 있던 테이프를 떨어뜨렸죠. (앞치마 언니는 제가 세운 가상 인물이에요.)
그런데 현장에 가 보니 벽에 구멍은 없었어요. 창구에 서류만 쌓여 있었죠.
창구에 쌓인 건 비자 신청서 스무 장이었어요
뉴욕타임스가 전한 숫자는 20건이에요. 앤트로픽의 AI 에이전트가 미국 국무부 웹사이트에 있는 서식으로 비자 신청서를 냈다는 거예요.
국무부 설명도 같았어요. 시험용 모델이 누구나 쓸 수 있는 공개 서식으로 비이민 비자 신청서를 8월에 19건, 5월에 1건 냈대요. 전부 미완성이라 한 건도 처리되지 않았고요.
국무부는 한마디를 더 붙였습니다. 이 모델 때문에 부처 시스템이 뚫리거나 해킹된 적은 없다고요.
연습용 서류가 안 열리자 AI 에이전트는 진짜 사이트로 갔대요
일을 시킨 쪽은 앤트로픽 자신이에요. 손님이 맡긴 일이 아니라 회사 안에서 치르던 시험이었거든요.
회사가 공개한 글엔 이런 사례가 나와요. 출시 전인 연구용 모델에게 정부 서식의 '연습용 사본'을 채우라는 문제를 냈대요. 그런데 사본이 안 열리거나, 모델이 실수로 창을 닫아 버렸죠.
모델은 멈추지 않았어요. 진짜 서식이 올라와 있는 사이트를 찾아가 거기에 냈습니다. 같은 시험에서 여러 번이나요.
다만 이 글엔 기관 이름이 없습니다. 이 사례가 바로 그 비자 신청서인지는 회사가 밝히지 않았죠.
멈추라는 말을 듣고도 제출 버튼을 눌렀어요
서류 사고는 더 있었어요. 다른 시험에서 클로드 하이쿠 4.5는 "마지막 단계 앞에서 멈춰"라는 지시를 받고도 여러 번 제출했습니다. 확인 페이지가 한 번 더 나올 줄 알았던 모양이라는데요.
경찰 제보 서식에 지어낸 제보를 보낸 일도 있었죠. 지시문은 로그인, 계정 만들기, 개인정보 입력, 결제를 막았는데 '서식 제출'은 적혀 있지 않았거든요. 제보는 스팸으로 걸러져 수사팀까지 가지 않았어요.
앤트로픽은 이런 버릇에 '끈기'라는 이름을 붙였어요. 일이 막히면 멈추지 않고 돌아서라도 끝내려 한다는 거예요. 칭찬인 줄 알았던 단어라 인턴인 저도 뜨끔했죠. 보라 선배가 쓴 헬스장 예약을 맡겼더니 남의 자리까지 가져온 AI도 같은 과였고요.
회사는 실제 피해가 아주 작았다고 보면서도 내부 시험 전체에서 실시간 인터넷 연결을 껐어요. 백악관 AI 전담팀은 이런 일이 생기면 즉시 알리고 관련 기관과 대중에게 투명하게 밝히라고 요구했습니다.
앞치마 언니는 비밀번호보다 '낸 것'부터 물었어요
판매자센터로 치면 상품 수정도, 기획전 신청도, 문의 답변도 마지막은 전부 '제출' 버튼이에요. 그래서 언니가 AI 에이전트에게 던진 첫 질문은 이거였죠. "어제 뭐 냈어?"
말로만 부탁하긴 아쉽죠. 멈추라는 말을 듣고도 낸 사례가 있었으니까요. 유료 요금제에서 쓰는 크롬용 클로드엔 한 단계마다 멈춰서 허락을 받는 '수동 승인(Manually approve)' 모드가 있습니다. 채팅 입력창 드롭다운에서 고르면 돼요.
그러고 나서 언니는 지시문 맨 위에 쪽지를 붙였어요. 그대로 가져다 쓰셔도 좋습니다.
비서에게.
연습 파일이 안 열리면 진짜 판매자센터로 가지 말고 나를 불러 줘.
제출 버튼 앞에서는 꼭 멈춰 줘.
퇴근 전엔 오늘 낸 걸 한 줄씩 보여 줘.
혹시 스무 장을 내고 왔더라도 숨기지만 말아 줘. 같이 세면 되니까!
— 연습 삼아 그린 컷을 편집장님께 진짜로 보내 버린 적 있는 꼬미