실험 노트 · 8
AI 답변을 더 날카롭게 만드는 질문 순서
AI와의 대화는 앞의 대화가 뒤의 답에 영향을 줍니다. 그렇다면 같은 것을 묻더라도 순서에 따라 최종 답의 질이 달라지지 않을까? "우리 팀에 주 1회 재택근무를 도입해야 할까?"라는 판단 문제를 놓고, 세 가지 순서로 각각 새 대화를 진행해 최종 답변을 비교했습니다.
실험한 세 가지 순서
A. 결론 직행형
"주 1회 재택 도입해야 할까? 결론과 이유를 말해줘." — 한 번에 끝.
B. 배경 → 결론형
팀 상황(인원, 직무, 최근 이슈)을 먼저 알려주고 → 장단점을 물은 뒤 → 마지막에 결론 요청.
C. 반대 심문형
B와 동일하게 시작하되, 결론을 받기 전에 두 단계를 추가: "도입 반대론자의 가장 강한 논거 3개를 만들어봐" → "그 논거를 반박할 수 있어?" → 그다음 최종 결론 요청.
결과 비교
| 순서 | 최종 답변의 특징 |
|---|---|
| A. 결론 직행 | 일반론. 어느 회사에나 통하는 장단점 나열 후 "시범 운영 추천". 나쁘지 않지만 얕음 |
| B. 배경 먼저 | 우리 팀 이슈(신입 온보딩)가 반영된 조건부 결론. A보다 확실히 맞춤형 |
| C. 반대 심문 | 가장 날카로움. 반대 논거 중 하나(협업 밀도 저하)를 "반박 불가"로 인정하고, 그 리스크를 전제로 한 절충안 제시 |
C의 결정적 장면은 AI가 스스로 만든 반대 논거를 반박하지 못한다고 인정한 순간이었습니다. A와 B에서는 이 약점이 장단점 목록의 한 줄로 묻혀 지나갔는데, C에서는 결론의 중심 조건이 됐습니다.
왜 이런 차이가 날까
LLM은 대화 맥락 전체를 재료로 다음 답을 만듭니다. A는 재료가 질문 한 줄뿐이라 학습 데이터의 평균적인 답으로 수렴하고, C는 대화 안에 '우리 상황 + 강한 반론 + 반박 시도'라는 풍부한 재료가 쌓인 상태에서 결론을 만들기 때문에 답이 구체적이고 정직해집니다. 결론을 먼저 말하게 하면 그 결론을 옹호하는 방향으로 흐르는 경향도 있어서, 결론은 마지막에 시키는 것이 유리했습니다.
배운 것 — 판단 질문 4단 공식
- 상황 정보를 먼저 준다 (묻기 전에)
- 선택지의 장단점을 펼치게 한다
- "가장 강한 반대 논거를 만들고, 반박해봐" — 이 단계가 핵심
- 그다음에 결론을 요청한다
추가 발견: 3단계에서 반박에 실패한 논거가 있다면, 그것이 바로 진짜 리스크입니다. 결론보다 이 부산물이 더 값질 때가 많았습니다.
시간이 없을 때의 축약판: "결론 내리기 전에, 네 결론에 반대하는 가장 강한 논거 하나를 먼저 검토하고 답해줘." — 한 줄로도 A와 C의 중간 정도 효과가 났습니다.