AI 모델 비교, 벤치마크 1위가 답이 아닌 이유 — 클로드·GPT·키미 선택 기준

AI 모델 비교, 벤치마크 1위가 답이 아닌 이유 — 클로드·GPT·키미 선택 기준

7월 한 달 사이에 프런티어 모델이 연달아 쏟아졌습니다. OpenAI가 GPT-5.6을 솔·테라·루나 세 등급으로 정식 공개했고, 중국 문샷AI는 2.8조 파라미터짜리 키미 K3를 오픈웨이트로 내놨습니다. 앤스로픽의 클로드 페이블5는 종합 성능 평가에서 여전히 선두를 지키고 있습니다. 이쯤 되면 자연스럽게 드는 질문이 있습니다. "그래서 뭘 써야 하나?" 저는 블로그 글 작성부터 이미지 생성, 워드프레스 자동 발행까지 도는 파이프라인을 직접 만들어 매일 돌리고 있는데, 이 AI 모델 비교를 하면서 배운 것이 하나 있습니다. 벤치마크 1위 모델이 내 작업의 1위는 아니라는 것입니다. 성능표가 알려주지 않는 선택 기준을 정리해 드립니다.

이 글의 근거를 먼저 밝힙니다. 클로드는 제가 자동화 파이프라인에서 매일 쓰는 모델이라 직접 경험 기반이고, GPT-5.6과 키미 K3는 공개된 발표 자료와 벤치마크 결과 기반입니다. 써보지 않은 것을 써본 것처럼 쓰지 않겠습니다.

세 모델은 각각 어떤 물건일까?

먼저 비교 대상의 정체를 정리하겠습니다. 셋은 같은 종류의 물건이 아닙니다.

모델	포지션	특징
클로드 페이블5 (앤스로픽)	최상위 폐쇄형	가장 어려운 추론과 장시간 자율 작업이 강점. 오퍼스 4.8이 한 단계 아래 실무 등급
GPT-5.6 (OpenAI)	3등급 폐쇄형	솔(최상위)·테라(균형)·루나(경량)로 나눠, 작업 난이도에 맞춰 등급을 고르는 구조
키미 K3 (문샷AI)	최대 규모 오픈웨이트	2.8조 파라미터, 100만 토큰 컨텍스트. 가중치를 공개해 자체 서버 구동 가능

여기서 이미 첫 번째 갈림길이 나옵니다. 앞의 둘은 API로만 쓰는 폐쇄형이고, 키미 K3는 가중치를 내려받아 내 서버에 올릴 수 있는 오픈웨이트입니다. 이건 성능 점수와 전혀 다른 축의 차이입니다.

벤치마크는 무엇을 말하고 무엇을 숨길까?

공개된 평가 결과부터 보겠습니다. 실제 직업 44종의 업무를 재현한 종합 평가에서는 클로드 페이블5가 1,815점으로 1위, GPT-5.6 솔이 1,747.8점으로 2위, 키미 K3가 1,687점으로 3위였습니다(각 모델의 최고 성능 설정 기준). 순위만 보면 답이 나온 것 같습니다.

그런데 같은 시점에, 프런트엔드 코드 작성 능력을 겨루는 다른 순위표에서는 키미 K3가 1위에 올라 클로드 페이블5를 앞질렀습니다. 종합 3위 모델이 특정 영역에서는 1위인 겁니다. 이게 벤치마크의 본질입니다. 종합 점수는 평균이고, 평균은 내가 실제로 시키는 그 작업을 대표하지 않습니다.

제 경험에서도 똑같은 일이 있었습니다. 워드프레스 영어 블로그용 실사 사진은 이미지 모델 쪽에서 저비용 옵션이 충분히 잘 만들어 줍니다. 그런데 같은 모델에 한글이 들어간 인포그래픽을 시켰더니, "환율은 적일까, 방패일까?"라는 문구가 "환술으 작얼카, 방펴열카?"로 나왔습니다. 종합 성능이 아니라 한글 렌더링이라는 한 가지 축에서 갈린 결과입니다. 그래서 지금 제 파이프라인은 영어 무텍스트 사진과 한글 인포그래픽을 아예 다른 모델로 나눠서 만듭니다.

그렇다면 실제로 무엇을 봐야 할까?

순위표를 덮고 나면, 선택을 실제로 가르는 기준은 네 가지로 좁혀집니다.

기준 1 — 작업의 성격

긴 코드를 여러 파일에 걸쳐 수정하는 작업과, 짧은 글을 하나 요약하는 작업은 요구하는 능력이 다릅니다. 전자는 맥락을 오래 유지하는 힘이 필요하고, 후자는 속도와 비용이 중요합니다. 순위표 1위는 대개 전자를 기준으로 매겨집니다.

기준 2 — 컨텍스트 길이

한 번에 얼마나 많은 내용을 넣을 수 있는가입니다. 세 모델 모두 100만 토큰급을 지원하지만, 이건 상한선일 뿐입니다. 실제로는 긴 문맥을 넣었을 때 앞부분을 얼마나 잊지 않는가가 갈리고, 그건 순위표에 잘 드러나지 않습니다.

기준 3 — 비용 구조

여기가 가장 실질적입니다. 100만 토큰당 단가를 나란히 놓으면 이렇습니다.

모델	입력 (100만 토큰)	출력 (100만 토큰)
클로드 페이블5	$10	$50
GPT-5.6 솔	$5	$30
클로드 오퍼스 4.8	$5	$25
GPT-5.6 테라	$2.5	$15
클로드 소네트5	$3	$15
GPT-5.6 루나	$1	$6
클로드 하이쿠 4.5	$1	$5

최상위와 경량 등급 사이에 열 배 가까운 격차가 있습니다. 그런데 많은 작업은 경량 등급으로도 충분합니다. 모든 요청을 최상위 모델로 보내는 것은, 편의점 갈 때마다 택시를 부르는 것과 같습니다.

기준 4 — 폐쇄형이냐 오픈웨이트냐

키미 K3가 오픈웨이트라는 사실은 성능 점수와 완전히 다른 축의 장점입니다. 데이터를 외부 API로 보낼 수 없는 조직이거나, 사용량이 많아 API 요금이 부담되는 경우 내 서버에서 돌린다는 선택지 자체가 값어치를 합니다. 반대로 서버를 직접 운영할 여력이 없다면 이 장점은 0이 됩니다.

그래서 어떻게 나눠 쓰면 될까?

네 기준을 상황별로 접으면 이렇게 정리됩니다.

이런 작업이면	이런 등급을	이유
복잡한 코드 수정, 장시간 자율 작업	최상위 등급	여기서만 격차가 실제로 벌어짐
일반적인 글 작성, 요약, 분석	중간 등급	품질 대비 비용이 가장 합리적인 구간
분류, 태깅, 단순 변환	경량 등급	속도가 빨라 파이프라인 전체가 빨라짐
데이터 외부 반출 불가, 대량 처리	오픈웨이트	성능보다 통제권이 우선하는 경우
한글 텍스트가 들어간 결과물	한글 검증된 모델	종합 점수와 무관하게 갈리는 영역

핵심은 하나를 고르는 게 아니라 나누는 것입니다. 제가 바이브코딩으로 만든 자동화 파이프라인도 하나의 모델로 돌아가지 않습니다. 글 쓰는 모델, 이미지 만드는 모델, 발행 스크립트를 짜는 모델이 각각 다릅니다. 그리고 이 분기를 만드는 데 필요한 건 대단한 개발 지식이 아니라 "이런 경우엔 저 모델을 부르게 해줘"라는 설명 한 줄입니다.

자주 묻는 질문

AI 모델은 그냥 벤치마크 1위를 쓰면 되지 않나요?

벤치마크는 평균 성적일 뿐입니다. 실제로는 작업 성격, 컨텍스트 길이, 비용 구조, 오픈웨이트 여부가 선택을 가릅니다. 한글 인포그래픽처럼 특정 영역에서는 종합 1위 모델이 오히려 못 하는 경우도 있습니다.

가장 비싼 모델을 쓰면 결과가 제일 좋은가요?

작업 난이도에 따라 다릅니다. 단순 분류나 요약은 저가 모델로도 충분하고, 오히려 응답이 빨라 전체 파이프라인 효율이 올라갑니다. 어려운 추론과 긴 코드 작업에만 최상위 모델을 쓰는 것이 비용 대비 합리적입니다.

오픈웨이트 모델은 왜 중요한가요?

가중치를 내려받아 자체 서버에서 돌릴 수 있다는 뜻입니다. 데이터를 외부로 보낼 수 없는 환경이거나, 사용량이 많아 API 비용이 부담되는 경우 성능 점수와는 다른 축의 장점이 됩니다.

비개발자도 여러 모델을 나눠 쓸 수 있나요?

가능합니다. 작업별로 어떤 모델을 부를지 정해두면 되고, 이 분기 자체를 AI에게 만들어 달라고 시킬 수 있습니다. 코드를 몰라도 흐름만 설명하면 되는 영역입니다.

참고 자료

• OpenAI (2026), "GPT-5.6" 및 "Previewing GPT-5.6 Sol", openai.com — 솔·테라·루나 등급 구조와 가격
• Anthropic (2026), 모델 개요 및 가격 문서, platform.claude.com — 페이블5·오퍼스 4.8·소네트5·하이쿠 4.5 단가
• Moonshot AI (2026), 키미 K3 기술 문서 — 2.8조 파라미터 오픈웨이트, 100만 토큰 컨텍스트
• GDPval-AA v2 / Arena Frontend Code 리더보드 (2026) — 종합 및 영역별 모델 순위

자가 진단 — 나에게 맞는 모델을 고르는 4가지 질문

결국 남의 순위표가 아니라 내 작업이 기준입니다. 아래 네 가지에 답해보시면 방향이 잡힙니다.

1. 내가 시키는 작업 중 진짜 어려운 건 몇 퍼센트인가? 대부분이 단순 작업이라면 최상위 등급은 낭비입니다.
2. 결과물에 한글 텍스트가 들어가는가? 들어간다면 종합 점수와 별개로 한글 품질을 따로 확인해야 합니다.
3. 내 데이터를 외부로 보내도 되는가? 안 된다면 오픈웨이트가 유일한 선택지일 수 있습니다.
4. 지금 한 모델에 전부 몰아주고 있지는 않은가? 작업별로 나누는 것만으로 비용이 크게 줄어듭니다.

이 네 가지에 답을 하고 나면, 다음 질문은 "그래서 그걸 어떻게 나눠서 돌리지?"입니다. 저는 20년간 IT 기획자로 일하며 개발자에게 부탁만 하던 사람이었지만, 지금은 작업마다 다른 모델을 호출하는 자동 발행 시스템을 직접 만들어 매일 돌리고 있습니다. 모델을 고르는 것부터 실제로 돌아가는 파이프라인을 만드는 것까지, 여러분의 작업에 맞게 1:1로 함께 설계해 드립니다.

→ 크몽에서 만나기: 비개발자 AI 바이브코딩 1:1 코칭 — 서비스 런칭까지