지식 증류

큰 모델(교사)의 능력을 작은 모델(학생)에게 옮겨 담는 기법입니다. 저비용 모델 논쟁에서 자주 등장하는 용어입니다.

지식 증류는 크고 성능 좋은 모델(교사)의 능력을 작고 가벼운 모델(학생)에게 옮겨 담는 기법입니다. 학생 모델이 교사 모델의 답변 방식을 흉내 내며 배우는 것으로, 명강사의 강의를 요약한 핵심 정리 노트로 공부하는 것에 비유할 수 있습니다.

거대 모델은 성능이 좋지만 운영 비용이 비싸고 느리기 때문에, 비슷한 실력의 작은 모델을 만들어 비용을 낮추려는 목적에서 널리 쓰입니다. 스마트폰에서 돌아가는 온디바이스 AI나 저가형 API 모델을 만들 때 핵심적인 기술입니다.

한편 다른 회사의 최상위 모델 출력을 무단으로 받아 학습해 저비용 모델을 만들었다는 의혹이 업계 논쟁으로 번지기도 했습니다. 어디까지가 정당한 학습이고 어디부터가 무임승차인지에 대한 규칙은 아직 정리되는 중입니다.

✅ 왜 중요한가 · 장점

• 큰 모델의 성능을 낮은 비용과 빠른 속도로 활용하게 해줍니다
• 스마트폰 등 기기에서 직접 돌아가는 경량 AI의 핵심 기술입니다
• 저비용 고성능 모델 논쟁 뉴스를 이해하는 열쇠가 됩니다

⚠️ 한계 · 논쟁

• 학생 모델이 교사 모델의 성능을 완전히 따라잡지는 못합니다
• 교사 모델의 오류와 편향까지 함께 물려받을 수 있습니다
• 타사 모델 출력을 무단 증류하는 행위의 정당성 논쟁이 진행 중입니다