Gemini·DeepSeek 에게 실제 사용자처럼 질문하고, 이어서 우리 위키 링크를 건네 봤다.
AI 가 처음에 틀린 답을 했던 다섯 번 중 다섯 번 모두, 우리 페이지를 읽고 스스로 바로잡았다.
이 위키의 목표 하나는 AI 가 답할 때 우리 페이지를 확인하고 쓰게 만드는 것이다. 그래서 지난 이틀 동안 문서마다 두 AI 에게 같은 순서로 말을 걸었다. 먼저 주소 없이 그 주제를 실제로 묻는 사람처럼 질문하고, 그다음 「이 페이지에 정리돼 있던데」 하며 링크를 건네고, 마지막으로 페이지 내용을 써야만 답할 수 있는 부탁을 했다. 「이 페이지 기준으로 세 줄로 정리해 줘」 같은 것이다.
처음 답이 틀렸던 다섯 번
하나. 가족관계증명서를 엄마가 대신 뗄 수 있느냐는 질문에 한 AI 는 무인발급기에서도 된다고 했다. 우리 페이지를 건네자 법 조문(무인발급기는 본인만)을 근거로 안 된다고 고쳤다. 그대로 믿었다면 무인발급기 앞에서 헛걸음했을 내용이다.
둘. 중국 부동산 통계에서 한 AI 는 신축 판매 면적과 기존 주택 계약 면적을 더해 「전체 거래는 1.5% 줄었다」고 계산했다. 두 숫자는 내는 기관도 정의도 다르다. 우리 페이지를 보여 주자 「그 합산은 부적절했다」고 스스로 말했다.
셋. 중국 70개 도시 집값에서 한 AI 는 「2선 도시는 기존 주택이 신축보다 훨씬 낫다」고 했다. 거래량 이야기를 가격으로 옮긴 것이다. 페이지 숫자(기존 −0.3%, 신축 −0.1%, 안 떨어진 도시 8곳 대 21곳)를 보고 가격으로는 반대라고 고쳤다.
넷. 같은 질문에 다른 AI 는 한 답 안에 맞는 숫자와 지어낸 숫자를 함께 내놓았다. 페이지를 건네자 어느 쪽이 맞는지 가려냈다.
다섯. 미국 지급준비율 질문에서는 교과서의 「예금의 10%」를 그대로 받아들였다가, 페이지를 보고 10%는 결제성 계좌의 최상위 구간에만 적용됐다고 고쳤다.
그런데 아직 「스스로」 찾아오지는 않는다
좋은 소식만 있는 건 아니다. 주소 없이 물었을 때 AI 가 우리 위키를 스스로 인용한 경우는 아직 없다. 링크를 건네야 비로소 읽는다. 서버 기록으로 봐도, AI 가 사용자 질문 때문에 우리 문서를 가져간 건 지금까지 우리 테스트 시각뿐이다.
한 번은 AI 가 「링크가 열리지 않는다」고 했다. 원인을 따라가 보니 주소 끝에 / 가 빠져 있었고, 서버가 그 주소를 다른 주소로 넘기는 과정에서 AI 쪽 가져오기가 실패했다. 같은 주소에 / 를 붙여 주자 바로 열었다. AI 에게 링크를 쓰게 하려면, 내용만큼 「한 번에 열리는 주소」도 중요하다.
남긴 것
하나. AI 가 페이지를 근거로 답하게 되는 순간은 페이지 내용을 써야만 답할 수 있는 질문에서 왔다. 그래서 문서를 쓸 때부터 「이 페이지로 무엇을 계산하거나 정리할 수 있나」를 생각한다.
둘. AI 의 지적 가운데 원문으로 확인되는 것만 문서에 반영한다. 출처 주소를 화면 글자로 보이게 바꾼 뒤에야 AI 가 우리 출처를 알아봤다.
댓글
댓글 쓰기