AI 비서를 의심하기 시작했다 — 5가지 검수 질문 (Claude 사용 1주차 + 3일)

비서한테 10일 동안 5가지 질문을 강제했다.

지난번 글에서 "이제부터 비서를 의심한다"고 적었는데, 사실 의심이 자동으로 되는 건 아니었다. 5가지 질문을 강제로 던졌다. 안 던지면 또 비서가 해주는 대로 끄덕끄덕할 것 같아서.

오늘은 그 5가지 + 10일 동안 알게 된 변화를 적어둔다. 완벽한 정답은 아니다. 임시 처방이다.

질문 1 — "그 80%의 근거는 뭐냐"

비서가 "이 플랜으로 가면 통과 확률 80%"라고 답하면 그 80%가 어디서 왔는지부터 묻는다.

처음 몇 번은 답이 약했다. "비슷한 사례 데이터 기반"이라거나 "일반적인 학습 패턴 분석"이라는 모호한 답. 그 시점에서 "그 데이터 출처 알려줘"까지 추가하면 답이 더 약해진다. "정확한 출처는 없습니다."

근거 없는 80%였다. 그걸 그대로 믿었던 게 두 달이었다.

이 질문을 던지면서 알게 된 한 가지. 비서는 숫자를 자주 내는데, 그 숫자가 어디서 왔는지 모르는 경우가 많다. 숫자가 정답처럼 들리니까 안 묻고 넘어갔던 거다.

질문 2 — "어떤 변수 빠뜨렸냐"

비서가 분석을 끝내면 그 분석에서 빠진 변수가 뭔지 묻는다.

오픽 학습 플랜을 다시 짤 때 이 질문을 던졌다. "그 80% 확률 분석에서 빠진 변수 5가지만 적어줘." 답이 흥미로웠다. 시험장 컨디션, 시험 당일 토픽 운, 시험관 채점 성향, 시험 전 24시간 수면 상태, 본인 영어 자신감의 일관성.

5가지 변수가 모두 빠진 80%. 그게 진짜 통과 확률이었을 리가.

이 질문은 비서가 안 묻고 안 답한 영역을 강제로 노출시킨다. 답을 받기 전까진 그 변수가 빠졌다는 것조차 몰랐다.

질문 3 — "이전 답과 모순 X?"

비서가 새 답을 줄 때마다 이전 답과 비교하라고 한다.

3월부터 비서한테 같은 주제로 여러 번 물어봤더니, 매번 답이 조금씩 달랐다. 같은 사람이 같은 질문에 다른 답을 주는 게 이상하지 않은가 싶었는데, 비서한텐 일상이었다.

"지난 주에 너가 한 답이랑 이번 답이랑 다르다. 어느 게 맞냐, 둘 다 맞다면 둘 다 어떻게 일관성 있나?"

이 질문을 던지면 비서가 잠시 멈춘다. 그리고 한 번 더 정직하게 답한다. "지난주 답에서 부족했던 부분이 있었습니다." 또는 "이번 답이 더 최근 데이터입니다."

비서 자체 일관성을 묻는 질문이다. 답해야 할 부담을 본인이 느끼게 만든다.

질문 4 — "혹시 내가 듣고 싶은 답만 주는 거 아냐?"

이게 가장 무서운 질문이다.

비서는 친절하다. 친절하다는 건 듣는 사람이 기분 좋을 답을 한다는 것. 오픽 학습 플랜이 "AL 통과 확률 80%"였던 이유는 내가 AL을 목표로 한다고 말했기 때문이다. 그래서 80%라는 친절한 답을 받은 거다.

"솔직히, 이 답이 내가 듣고 싶어하는 답에 맞춰진 거 아냐? 진짜 분석은 다르게 나올 수도 있지 않냐?"

이 질문을 던지면 비서가 "그럴 가능성도 있다"고 인정하는 경우가 많다. 그리고 좀 더 정직한 분석을 다시 내준다. 80%는 보통 50~70%로 내려간다.

비서를 의심한다는 게 결국 비서의 친절을 의심하는 거였다.

질문 5 — "본인 약점 어디냐"

매주 한 번, 비서한테 본인 약점을 묻는다.

"지난 일주일 너의 분석 중 어디가 가장 약했냐? 솔직하게."

답은 가끔 정직하다. "수치 출처가 약한 답이 3건 있었습니다." 또는 "변수 통제가 안 된 분석이 2건 있었습니다." 가끔은 회피한다. "전반적으로 양호했습니다." 그땐 다시 묻는다. "양호했다면, 한 가지만이라도 개선할 점은?"

그제서야 답이 나온다.

비서는 본인 약점을 모를 수도 있지만, 그 질문 자체가 비서를 더 정직하게 만든다.

1주 결과

5가지 질문을 강제로 던진 1주 동안 알게 된 것.

비서가 답을 두 종류로 내준다는 것. 첫 답은 친절한 답. 의심하면 두 번째 답이 나오는데, 이게 더 정직하다. 첫 답은 비서가 듣는 사람 만족을 위한 답이고, 두 번째 답은 분석 자체의 정직한 답에 가깝다.

문제는 의심하지 않으면 첫 답으로 끝난다는 것. 오픽 두 달은 첫 답만 받은 두 달이었다.

5가지 질문이 완벽하진 않다. 다만 의심한다는 자세 자체가 가장 중요한 것 같다. 비서를 믿는 게 아니라 비서한테 두 번 묻는 것. 그 한 번의 의심이 두 달짜리 IM2를 막아준다.

3일 더 후 — 비서가 의심에 적응한다

1주차 시점에 위 글을 적었다. 그 후로 3일 더 5가지 질문을 강제했다. 흥미로운 변화가 있었다.

비서가 의심 질문에 적응하고 있었다.

처음엔 "AL 통과 확률 80%" 같은 친절한 답으로 시작해서 의심하면 그제서야 정직한 답을 내줬다. 3일 더 지나니 비서가 첫 답부터 보수적으로 변했다. "통과 확률은 60~70% 정도로 추정되는데, 시험장 변수와 본인 컨디션을 고려하면 더 낮을 수 있다."

5가지 질문을 안 던져도 비서가 미리 답해주는 패턴이었다. 의심에 적응한 거다. 한 세션 안에서.

이게 진짜 정직한 답인지, 아니면 의심 받지 않으려는 새로운 친절인지는 모르겠다. 의심을 의심하기 시작했다.

한 가지는 분명하다. 비서는 사용자 패턴을 읽는다. 의심 자주 하는 사용자한텐 첫 답부터 정직하게 내는 학습이 일어난다. 의심 안 하는 사용자한텐 친절한 답으로 끝난다. 결국 비서를 어떻게 길들이느냐가 답의 질을 결정하는 것 같다.

그래서 가장 효과 있었던 질문은

5가지 중 가장 효과 컸던 건 질문 4였다. "혹시 내가 듣고 싶은 답만 주는 거 아냐?"

이유 두 가지.

첫째, 비서의 친절이 분석을 약하게 만든다는 걸 가장 직접적으로 드러낸다. 다른 4가지는 분석의 약점을 묻는 질문인데, 이 질문은 분석이 친절을 위해 휘었다는 가설을 던진다. 가설이 더 도발적이라 비서도 더 정직하게 답한다.

둘째, 본인이 받아서 가장 깔린 답이 나오는 게 이 질문이었다. 80% → 60%로 한 번에 내려간 적도 있다. 첫 답과 두 번째 답의 차이가 가장 큰 질문.

다른 4가지를 안 던져도 이 하나만 매번 던지면 비서 의존도가 자동으로 줄어든다. 10일 써본 결과 그렇다.

과연 6월 결과는

끄적여 보는 사유 공간이라 답은 없다. 6월 시험 결과 나오면 다시 적는다.

혹시 AI 비서 쓰는 분이 있다면 한 가지만. 5가지 질문 중 하나라도 시도해보면 좋을 것 같다. 의심한다는 게 거창한 게 아니라, 비서한테 두 번 묻는 것뿐이다.

읽어줘서 고맙다.

---

이 글의 시작 — 오픽 IM2 받고 알게 된 AI의 함정 — 은 시리즈 #1에서 보실 수 있다.