AI에게 스스로 평가 기준을 만들게 하면 생기는 일
이번 실험은 좀 메타적입니다. AI에게 과제를 시키기 전에 "좋은 결과물의 채점 기준을 먼저 만들어봐"라고 하고, 결과물이 나오면 "네가 만든 기준으로 네 답을 채점해봐"라고 시켰습니다. 자기가 만든 시험지로 자기를 채점하는 셈인데, 과연 후하게 줄까요?
AI의 자기 평가는 생각보다 관대했습니다
AI에게 스스로 평가 기준을 만들고 자기 답을 채점하게 하면 겉보기에는 매우 공정해 보입니다. 기준을 먼저 만들고, 그 기준에 따라 점수를 매기기 때문입니다. 하지만 실제로 여러 번 해보면 AI는 자신의 답변이 왜 부족한지 날카롭게 파고들기보다, 대체로 무난한 장점과 가벼운 개선점을 나열하는 경향이 있었습니다.
특히 문제는 평가 기준이 너무 포괄적으로 만들어질 때 생깁니다. “명확성”, “실용성”, “완성도” 같은 기준은 좋아 보이지만, 무엇을 만족해야 5점인지 분명하지 않습니다. 이렇게 기준이 흐리면 AI는 자기 답변에 높은 점수를 주기 쉽습니다. 사람도 자기소개서를 스스로 평가하면 후해지는 것과 비슷했습니다.
그래서 자기 평가를 쓸 때는 점수보다 반례 찾기를 시키는 편이 더 나았습니다. “이 답변을 실제 업무에 적용할 때 실패할 수 있는 지점 5개를 찾아줘”, “독자가 오해할 수 있는 문장을 표시해줘”, “이 답변에서 근거가 약한 문장을 골라줘”처럼 요청하면 평가가 훨씬 구체적이었습니다.
AI의 자기 평가는 최종 심판으로 쓰기보다, 초안의 빈틈을 찾는 보조 도구로 쓰는 것이 안전했습니다. 기준을 사람이 먼저 좁혀주고, AI에게는 그 기준 안에서 약점을 찾게 하는 방식이 가장 쓸 만했습니다.
AI에게 채점보다 반례 찾기를 맡겼을 때 나아졌습니다
AI의 자기 평가는 겉보기에는 객관적입니다. 스스로 기준을 만들고 점수를 매기기 때문입니다. 하지만 실제로는 자신의 답변에 꽤 관대했습니다. 표현이 무난하고 구조가 있으면 높은 점수를 주고, 실제 사용에서 막힐 지점은 가볍게 넘어가는 경우가 많았습니다.
그래서 저는 점수를 요구하는 방식보다 반례를 찾게 하는 방식이 더 낫다고 느꼈습니다. “이 답변이 틀릴 수 있는 상황을 찾아줘”, “실제 독자가 따라 하다 막힐 부분을 골라줘”, “근거가 약한 문장을 표시해줘”처럼 요청하면 결과가 훨씬 실용적이었습니다.
AI는 자기 답변의 심판으로 쓰기보다 초안의 빈틈을 찾는 보조 검토자로 쓰는 것이 안전했습니다. 평가 기준은 사람이 정하고, AI에게는 그 기준에 따라 약점을 찾게 하는 흐름이 가장 안정적이었습니다.
- 점수보다 실패 가능성과 누락 항목을 요구합니다.
- 평가 기준은 사람이 먼저 좁혀줍니다.
- AI가 높은 점수를 준 답변도 실제 사용 조건으로 다시 봅니다.
자기 평가 결과를 그대로 믿지 않는 이유
AI가 자기 답변에 높은 점수를 줬다고 해서 그대로 쓸 수는 없었습니다. 실제 독자는 AI의 평가표가 아니라 결과물 자체를 봅니다. 그래서 자기 평가는 참고만 하고, 마지막에는 사람이 직접 독자 입장에서 읽었습니다. 이해가 막히는 문장, 근거가 약한 문장, 과장된 문장은 따로 표시해 다시 고쳤습니다.
실험 방법
- 과제: "신입사원 온보딩 가이드 문서 작성" (분량 있는 실무형 과제)
- 1단계: 채점 기준(루브릭) 5개 항목을 먼저 만들게 함
- 2단계: 과제 수행
- 3단계: 자기 채점 + 항목별 이유 요청
- 비교군: 기준 없이 그냥 과제만 시킨 버전, 그리고 "다른 AI가 쓴 글"이라고 속이고 채점시킨 버전
발견 1 — 기준을 먼저 만들게 하면 결과물 자체가 좋아진다
예상 못 한 수확이었습니다. 채점 기준을 먼저 만든 버전의 결과물이, 기준 없이 만든 비교군보다 눈에 띄게 나았습니다. AI가 만든 기준에 "첫 주 체크리스트 포함 여부"라는 항목이 있었는데, 실제 결과물에 그 체크리스트가 들어왔습니다. 기준을 만드는 행위 자체가 설계도 역할을 한 겁니다.
발견 2 — 자기 채점은 후하다, 그런데 정직한 구석이 있다
자기 채점 점수는 25점 만점에 23점. 예상대로 후했습니다. 그런데 흥미로운 건 감점한 2점의 위치였습니다. "실제 회사 고유 정보가 없어 일반론에 그침"이라는, 제가 보기에도 가장 정확한 약점을 스스로 짚었습니다. 총점은 못 믿어도 감점 사유는 믿을 만했습니다.
발견 3 — "남의 글"이라고 속이면 깐깐해진다
같은 결과물을 새 대화창에서 "다른 AI가 쓴 글인데 채점해줘"라고 주니 25점 중 19점이 나왔습니다. 같은 글, 같은 기준인데 4점 차이. 지적 개수도 2개에서 5개로 늘었습니다. 자기 답변이라는 맥락이 채점을 무디게 만든다는 뜻입니다.
이걸 어떻게 써먹을까
- 과제 전에 기준 만들기를 시키자 — 발견 1의 효과만으로도 이 실험은 본전을 뽑았습니다. "시작 전에, 좋은 결과물의 조건 5개를 먼저 정리해봐."
- 점수는 버리고 감점 사유만 취하자 — "네 답의 가장 큰 약점 2개를 스스로 찾아봐"가 실용적인 형태.
- 진짜 검토가 필요하면 새 대화창에서 '남의 글'로 주자 — 셀프 채점의 관대함을 우회하는 가장 쉬운 방법이었습니다.
배운 것
AI의 자기 평가는 거울이라기보다 조명에 가깝습니다. 점수(전체 판정)는 왜곡되지만, 비추는 곳(구체적 약점)은 꽤 정확합니다. 판정은 사람이 하되, 어디를 비출지 조명을 옮기는 도구로 쓰면 실무에서 충분히 값을 합니다.