GPT-5.5는 과했다 — 같은 글을 OpenAI 3개 모델로 쓰고 비용까지 재봤다

AI로 글을 자동 생성하는 작은 봇을 운영하고 있다. 매일 들어오는 검색 트렌드 데이터를 읽어 "무엇이 왜 뜨는지"를 설명하는 글을 쓰게 하는 봇이다. 그런데 이 봇이 쓰는 글이 영 성의가 없었다. 1,000자 남짓에 "관심이 뜨겁습니다", "시사점을 제공합니다" 같은 빈말만 가득했다.

그래서 모델을 OpenAI의 최상위 모델인 gpt-5.5로 올렸다. 글은 확실히 좋아졌다. 그리고 하루 만에 5달러가 사라졌다. 직전 2주 동안 쓴 돈이 전부 합쳐 0.12달러였는데 말이다. 이 사고를 계기로, 같은 작업에 세 개의 모델을 실제로 돌려 분량·품질·비용을 측정해봤다.

실험 설계

조건을 최대한 통제했다. 완전히 같은 입력 데이터(같은 날짜의 같은 트렌드 메일), 완전히 같은 프롬프트, 같은 도구(웹검색 허용), 같은 출력 형식(JSON)을 쓰고 모델만 바꿨다. 요구사항도 동일하게 걸었다. "한글 최소 2,500자, 8~12문단, 웹검색으로 실제 원인을 찾아 설명할 것, 근거를 못 찾으면 추정이라고 밝힐 것."

비교 대상은 OpenAI 모델 세 개다. 사고를 낸 gpt-5.5, 가장 저렴한 축인 gpt-5.4-mini, 그리고 그 사이의 gpt-5.6-luna. 가격은 실험 시점(2026년 7월) 기준 공식 가격표의 100만 토큰당 입력/출력 요금이다.

결과

숫자만 보면 결론은 단순해 보인다. 하지만 실제로 흥미로웠던 건 그 뒤에 있었다.

발견 1. gpt-5.5도 좋은 글을 보장하지 않는다

가장 비싼 gpt-5.5가 뽑아낸 5,405자짜리 글의 첫 문장은 이랬다. "Rising search CSV에서 1위 클릭 온 ai는 Breakout, 2위 ai 디지털 교육 자료 포털은 4,950%로 잡혔습니다."

독자용 블로그 글인데 내부 작업 파일을 읽어주는 말투다. 독자는 CSV가 뭔지도 모르고 알 필요도 없다. 글이 아니라 의뢰인에게 보내는 업무 보고서였다. 분량과 사실 밀도는 훌륭했지만, 읽는 사람을 향해 쓰인 글이 아니었다.

원인을 추적해보니 모델이 아니라 내가 쓴 프롬프트였다. 세 군데가 범인이었다. 첫째, 프롬프트에 "CSV 행에서 증가율과 순위를 인용하라"고 직접 지시해뒀다. 둘째, 입력 데이터에 "Rising search CSV rows JSON"이라는 이름표를 붙여 건네줬더니 모델이 그 이름을 그대로 본문에 옮겼다. 셋째, 역할을 "선임 AI 산업 분석가"로 지정해뒀다. 분석가에게 자료를 주면 보고서 말투가 나오는 게 당연하다.

돈을 더 낸다고 이게 고쳐지지 않는다. gpt-5.5는 내 지시를 아주 충실히 따랐을 뿐이다. 지시가 잘못됐던 것이다.

발견 2. gpt-5.4-mini는 지시를 무시한다

반대편 극단도 명확했다. gpt-5.4-mini는 "최소 2,500자, 8~12문단"이라는 명시적 요구에 467자 1문단으로 답했다. 28초 만에 끝냈으니 웹검색도 거의 하지 않았다.

흥미로운 건 그 467자의 품질 자체는 나쁘지 않았다는 점이다. 문체는 깨끗했고, 남들이 놓친 핵심도 짚었다. 이날 데이터에서 "ai cập"이라는 검색어가 급등했는데, gpt-5.4-mini는 이게 베트남어로 "이집트"이며 AI와 무관한 월드컵 경기 검색이 "ai"라는 글자 때문에 섞여든 잡음이라고 정확히 지적했다. 모르는 것은 모른다고 정직하게 쓰기도 했다.

즉 이해력이 부족한 게 아니라 지구력이 부족했다. 짧게 핵심만 말하고 끝내버린다. 요약이 목적이면 훌륭한 선택이지만, "깊이 있는 긴 글"을 시키면 요구를 그냥 무시한다.

발견 3. 진짜 비용 폭탄은 모델이 아니었다

이게 이번 실험에서 가장 값진 발견이다. 하루에 5달러가 녹은 주범은 모델 등급이 아니라 웹검색이었다.

프롬프트에 "상위 5~8개 키워드를 각각 웹검색으로 조사하라"고 시켰더니, 모델은 글 한 편에 평균 13회 검색했다. 그리고 여기서 요금이 세 겹으로 붙는다.

• 검색 호출료 — OpenAI 웹검색 도구는 1,000회당 10달러, 즉 회당 1센트씩 붙는다.
• 검색 결과가 입력 토큰으로 재과금 — 검색해온 웹페이지 내용이 통째로 다음 요청의 입력에 들어간다. 글 한 편당 입력이 약 69,000토큰까지 부풀었다. 웹검색 없던 시절엔 3~5천 토큰이었다.
• 그 거대한 입력을 최고가 모델이 처리 — 입력 단가가 비싼 모델이라 곱하기가 크게 작동한다.

실제로 비용을 뜯어보니 전체의 절반 이상이 입력 토큰이었다. 출력(글 자체)보다 읽어들인 검색 결과에 더 많은 돈을 낸 것이다. 모델만 낮추고 검색을 그대로 두면 절감 효과는 반쪽이다.

발견 4. json_schema를 안 쓰면 싼 모델을 못 쓴다

gpt-5.4-mini의 첫 시도는 아예 실패했다. 반환된 JSON이 4,763번째 문자에서 깨져 파싱이 안 됐다.

코드를 열어보니 원인이 있었다. 프롬프트로 "JSON 형식으로 답해줘"라고 부탁만 하고 있었다. 모델이 잘 지켜주길 기대하는 구조였다. gpt-5.5는 우연히 잘 지켰고, gpt-5.4-mini는 긴 한글 문자열 중간에서 형식을 깨뜨렸다.

OpenAI Responses API는 json_schema로 응답 형식을 강제하는 기능을 제공한다. strict: true로 스키마를 지정하면 모델이 그 형태를 벗어날 수 없다. 이걸 적용하자 gpt-5.4-mini도 안정적으로 동작했다. 이 결함 하나 때문에 "비싼 모델만 쓸 수 있는 상태"에 갇혀 있었던 셈이다.

결론: gpt-5.6-luna가 이겼다

최종 선택은 gpt-5.6-luna였다. 3,983자에 14문단, 요구한 분량과 깊이를 모두 충족했고, 문체 금지어는 0건이었다. 근거를 못 찾은 항목에는 "확인된 근거가 없고 추정입니다"라고 정직하게 밝혔다. gpt-5.5보다 1,400자 짧지만, 그 차이는 대체로 늘려 쓴 분량이었다.

그리고 비용은 편당 0.72달러에서 0.11달러로 떨어졌다. 검색 횟수를 4회로 제한하고 출력 토큰 상한을 낮춘 효과까지 합쳐서다. 월 30편이면 21달러에서 3달러가 된다.

배운 것

• 품질 문제를 돈으로 풀려 하지 말 것. 우리 봇의 글이 형편없었던 진짜 이유는 모델이 싸구려여서가 아니라, 눈을 가려놓고(웹검색 없음) 짧게 쓰라고 시켰기(프롬프트) 때문이다. 그 둘을 고치자 gpt-5.5의 1/7 가격인 gpt-5.6-luna로도 충분했다.
• 문체는 프롬프트의 몫이다. gpt-5.5도 "CSV에서 잡혔습니다"라고 쓴다. 누구에게 쓰는 글인지(독자인가 의뢰인인가)를 명시하지 않으면 모델은 알아서 판단하지 않는다.
• 도구 사용은 이중·삼중으로 과금된다. OpenAI 웹검색은 호출료뿐 아니라 결과가 입력 토큰으로 되돌아온다. 도구를 켤 때는 횟수 상한을 반드시 걸어야 한다.
• json_schema를 쓰지 않으면 모델 선택지가 좁아진다. 형식을 강제하지 않으면 "형식을 잘 지키는 비싼 모델"에 종속된다.
• gpt-5.4-mini는 멍청한 게 아니라 짧다. 이해력은 충분한데 지구력이 없다. 작업 성격에 따라 그게 장점일 수도 있다.
• 테스트 1회가 곧 요금이다. 비싼 설정으로 여러 번 실험하는 것 자체가 돈이다. 비교는 이미 만들어둔 결과물을 기준으로 삼고, 새로 뽑는 건 한 번에 하나씩.