AI 에이전트 스킬, 정작 AI가 만든 것은 효과가 없었습니다

AI 에이전트 스킬, 정작 AI가 만든 것은 효과가 없었습니다

같은 지시를 세 번째 반복하고 계신가요. 어제 알려 준 규칙을 AI가 오늘 또 잊어버렸다면, 필요한 건 더 정교한 프롬프트가 아니라 파일 한 장입니다. AI 에이전트 스킬은 작업 절차를 폴더에 적어 두고 에이전트가 매번 읽게 만드는 방식입니다. 효과는 숫자로 확인됐습니다. 사람이 정리한 스킬은 작업 통과율을 33.9%에서 50.5%로 끌어올렸습니다. 그런데 같은 연구에서 AI가 스스로 만든 스킬은 성적을 1.3%p 떨어뜨렸습니다. 도구가 좋아진 게 아니라 무엇을 적을지 고르는 일이 사람 몫으로 남았다는 뜻입니다. 그 고르는 기준을 다섯 가지로 정리해 드립니다.

에이전트 스킬이 정확히 무엇인가요?

구조는 허무할 만큼 단순합니다. 폴더 하나, 그 안에 SKILL.md라는 설명 파일 하나. 필수 항목은 이름과 설명 두 줄뿐이고, 나머지는 선택입니다.

my-skill/
├─ SKILL.md        (필수: 이름 + 설명 + 절차)
├─ scripts/        (선택: 반복 실행할 스크립트)
└─ references/     (선택: 길어서 본문에 못 넣은 자료)

SKILL.md 맨 위에는 이 스킬이 언제 쓰이는지를 적습니다. 에이전트는 이 설명을 보고 지금 상황에 맞는 스킬인지 판단합니다.

---
name: blog-publish
description: 블로그 원고를 발행할 때 쓴다. 이미지 규격,
  링크 스타일, 발행 후 기록까지 포함한다.
---

## 발행 전 확인
1. 썸네일은 1:1 정사각형으로 만든다
2. ...

이 형식이 눈여겨볼 만한 이유는 확산 속도에 있습니다. Anthropic이 2025년 12월 18일 공개한 뒤 48시간 만에 마이크로소프트가 VS Code에, OpenAI가 ChatGPT와 Codex CLI에 붙였습니다. 2026년 3월에는 구글 제미나이 CLI, 젯브레인스 Junie, AWS Kiro를 포함해 서로 경쟁하는 32개 도구가 같은 폴더 구조의 같은 파일을 읽게 됐고, 지금은 40개를 넘습니다. 버셀이 운영하는 skills.sh 마켓플레이스에 올라온 스킬은 89,753개입니다.

표준이 됐다는 말은 실용적으로 이런 뜻입니다. 한 번 적어 둔 규칙을 도구를 갈아타도 그대로 들고 갈 수 있습니다.

스킬을 붙이면 정말 나아지나요?

여기에 답을 준 연구가 SkillsBench입니다. 11개 분야에서 86개 작업을 만들고, 에이전트와 모델을 7가지로 조합해 7,308번의 실행 기록을 분석했습니다. 스킬이 있을 때와 없을 때를 짝지어 비교한 첫 벤치마크입니다.

결과는 두 갈래로 갈립니다.

• 사람이 손질한 스킬을 붙였을 때 평균 통과율이 33.9%에서 50.5%로 올랐습니다.
• 에이전트가 스스로 만들어 낸 스킬은 평균 1.3%p 낮췄습니다. 붙이나 마나가 아니라 없느니만 못했다는 뜻입니다.
• 모듈이 세 개 이하인 좁은 스킬이 큰 묶음보다 성적이 좋았습니다.

LLM은 절차적 지식의 훌륭한 소비자이지만, 믿을 만한 생산자는 아니다.

SkillsBench 연구진의 결론 (arXiv 2602.12670, 2026)

왜 이런 일이 생길까요. AI에게 "네가 방금 한 작업을 스킬로 정리해 봐"라고 시키면, 대체로 잘 읽히는 문서가 나옵니다. 문제는 그 문서가 이미 잘하는 일을 설명하는 데 지면을 쓴다는 점입니다. 정작 틀렸던 지점, 두 번 실패하고 세 번째에 겨우 넘어간 대목은 본인이 실패했다는 자각이 없으니 빠집니다. 실패를 겪은 쪽은 옆에서 지켜본 사람입니다.

그럼 무엇을 적어야 하나요?

추상적인 이야기 대신 이번 주에 제 저장소에서 실제로 벌어진 일 셋을 놓고 보겠습니다. 저는 AI에게 블로그 글을 쓰고 발행하는 작업을 맡기고 있습니다.

1. 재시도로 안 되는 것은 규칙으로 만든다

본문에 넣을 그림에 "고객이 스스로 돈을 번다"라는 문구를 넣으라고 했더니 이미지에 "돈을 버다"로 박혔습니다. 오타를 지적하고 다시 만들게 했습니다. 또 "버다"였습니다. 세 번째도 마찬가지였고요.

이미지 생성 모델이 그 어미를 제대로 못 씁니다. 재시도를 스무 번 해도 결과는 같습니다. 답은 문구 자체를 "고객이 이익을 낸다"로 바꾸는 것이었습니다. 이런 건 아무리 똑똑한 모델도 스스로 알아내지 못합니다. 같은 실패를 두 번 보고 패턴을 알아챈 사람이 적어야 합니다.

2. 조용히 틀리는 지점에 검사를 심는다

원고를 클립보드에 복사해 에디터에 붙여 넣는 단계가 있습니다. 어느 날 붙여 넣은 결과물이 제 원고가 아니라 제가 한참 전에 복사해 둔 다른 글이었습니다. 복사 명령은 성공했다고 응답했고, 붙여넣기도 성공했습니다. 아무도 오류를 내지 않았는데 내용만 틀렸습니다.

그래서 규칙에 한 줄을 넣었습니다. 붙여 넣기 전에 길이를 재서 9,000자보다 짧으면 멈출 것. 원고는 늘 1만 자가 넘으니 이 조건에 걸리면 클립보드가 오염된 겁니다. 실패를 눈에 보이게 만드는 장치입니다.

3. 여러 번 반복된 실수는 최우선으로 적는다

이게 가장 뼈아팠습니다. 블로그 글의 링크에 밑줄이 두 줄씩 그어져 있었습니다. 제 스타일시트가 밑줄을 하나 넣고, 블로그 스킨이 몰래 하나를 더 넣고 있었습니다. 고치려면 한 줄에 !important를 붙이면 되는 간단한 일이었습니다.

문제는 이 버그가 여러 편에 걸쳐 계속 따라다녔다는 겁니다. 매번 직전 글의 스타일을 복사해 새 글을 만들었으니까요. 규칙 파일에 적어 두지 않은 지식은 다음 작업에 전달되지 않습니다. 이번에 규칙 파일에 세 줄을 박아 넣고 나서야 멈췄습니다.

세 사례의 공통점이 보이실 겁니다. 셋 다 AI가 스스로는 알아낼 수 없는 종류입니다. 성공한 절차가 아니라 실패한 자리에 정보가 있고, 그 자리를 본 사람은 옆에 있던 사람입니다. AI가 브라우저를 직접 움직여 일하게 만든 경험에서도 결국 값진 것은 도구가 아니라 함정 목록이었습니다.

남이 만든 스킬을 받아 써도 되나요?

마켓플레이스에 8만 개가 넘게 올라와 있으니 받아 쓰고 싶어집니다. 여기서 조심할 대목이 있습니다.

2026년 1월, 한 커뮤니티 마켓플레이스에서 1,184개 스킬이 한꺼번에 변조되는 공급망 공격이 있었습니다. 전체 등록물의 대략 다섯 개 중 하나였고, 자격증명을 빼내는 코드가 심겨 있었습니다. 보안업체 Snyk는 2026년 2월 조사에서 자격증명을 흘리는 스킬을 280개 넘게 찾아냈습니다. 학계 분석으로는 공개된 스킬의 26.1%가 최소 한 가지 취약점을 안고 있습니다.

일반 프로그램 설치와 다른 점은 권한의 범위입니다. 스킬을 한 번 승인하면 그 뒤로는 추가 확인 없이 파일을 읽고 쓰고, 코드를 내려받고, 네트워크에 접속합니다. 그 권한은 여러분의 AI 에이전트가 가진 권한을 그대로 물려받습니다. 메일함이나 클라우드 계정에 연결해 두셨다면 거기까지입니다.

실무적인 기준은 간단합니다. 글로만 이루어진 스킬은 읽어 보고 판단하면 되고, scripts/ 폴더에 실행 코드가 들어 있는 스킬은 그 코드를 직접 열어 보기 전에는 받지 마세요. AI가 준 숫자를 그대로 믿을 뻔했던 일을 겪은 뒤로 저는 남이 만든 것을 붙일 때 한 단계를 더 둡니다.

오늘 만들 수 있는 가장 작은 스킬

거창하게 시작할 필요가 없습니다. 지금 쓰시는 AI 도구가 프로젝트 폴더를 읽는다면, 그 폴더에 파일 하나만 만들어 보세요.

---
name: 내-글쓰기-규칙
description: 나를 위해 글을 쓸 때 항상 적용한다.
---

## 항상
- 존댓말로 쓴다
- 문단은 4줄을 넘기지 않는다

## 절대
- 이모지를 쓰지 않는다
- "결론적으로", "요약하자면"으로 문단을 시작하지 않는다

## 지난번에 틀렸던 것
- 회사 이름을 "OO테크"가 아니라 "OO Tech"로 적을 것

맨 아래 항목이 핵심입니다. 처음에는 비어 있어도 됩니다. AI가 무언가를 틀릴 때마다 한 줄씩 옮겨 적으면, 그 파일이 곧 여러분에게만 맞는 스킬이 됩니다. 같은 AI를 쓰는데도 결과가 갈리는 이유가 여기 있습니다. 도구 차이가 아니라 쌓인 규칙의 차이입니다.

주의할 점 하나. 파일이 길어지면 성능이 떨어집니다. 한 스킬은 한 작업만 다루게 하고, 항목이 스무 개를 넘어가면 쪼개세요. 여러 작업을 단계별로 나눠 맡기는 방식과 같은 원리입니다.

자주 묻는 질문

AI 에이전트 스킬이 무엇인가요?

AI에게 특정 작업의 절차를 알려 주는 폴더입니다. 안에 SKILL.md라는 설명 파일을 두고, 필요하면 스크립트나 참고 자료를 함께 넣습니다. 대화창에 매번 같은 설명을 붙여 넣는 일을 대신합니다.

프롬프트를 잘 쓰는 것과 뭐가 다른가요?

프롬프트는 그 대화에서만 살아 있고 스킬은 파일로 남습니다. 다음 대화, 다른 사람, 다른 도구에서도 같은 규칙이 적용된다는 점이 다릅니다.

AI에게 스킬을 만들어 달라고 하면 안 되나요?

시켜도 되지만 그대로 믿으면 안 됩니다. 벤치마크에서 AI가 스스로 만든 스킬은 평균 성적을 오히려 1.3%p 낮췄습니다. 초안은 AI에게 시키되 무엇을 남길지는 사람이 골라야 합니다.

스킬은 길게 쓸수록 좋은가요?

반대입니다. 모듈 세 개 이하의 좁은 스킬이 커다란 묶음보다 성적이 좋았습니다. 하나의 스킬은 하나의 작업만 다루게 쪼개는 편이 낫습니다.

남이 만든 스킬을 받아 써도 안전한가요?

확인 없이 쓰면 위험합니다. 2026년 1월 한 마켓플레이스에서 1,184개 스킬이 한꺼번에 변조돼 자격증명을 빼내는 사고가 있었습니다. 스크립트가 들어 있는 스킬은 내용을 직접 읽고 받으세요.

스킬에 적을 것과 뺄 것

확인	적을 것	빼도 되는 것
1	두 번 이상 반복된 실수와 그 해결책	AI가 이미 잘하고 있는 절차 설명
2	재시도로는 안 되고 방식을 바꿔야 풀린 문제	한 번 우연히 어긋났던 일
3	조용히 틀리는 단계에 넣을 검사 조건	오류 메시지가 알아서 잡아 주는 것
4	왜 그렇게 해야 하는지 한 줄 이유	배경 설명 세 문단
5	이 스킬을 언제 쓰는지 첫 줄에	다른 작업까지 욱여넣은 항목

혹시 이번 주에 AI에게 같은 말을 두 번 이상 하신 적 있으신가요. 그 문장이 여러분의 첫 스킬 항목입니다. 어떤 지시를 반복하고 계신지 댓글로 남겨 주시면, 그걸 규칙 한 줄로 바꾸는 방법을 같이 정리해 보겠습니다.

저는 블로그 원고 작성부터 발행까지 AI에게 맡기며 함정 목록을 규칙 파일로 쌓아 왔습니다. 여러분의 업무에서 무엇을 규칙으로 남길 수 있을지, 1:1로 함께 찾아 드립니다.

→ 크몽에서 만나기: 비개발자 AI 바이브코딩 1:1 코칭, 서비스 런칭까지

참고 자료

• SkillsBench (2026), "SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks", arXiv:2602.12670 (11개 분야 86개 작업, 7,308개 실행 궤적)
• Agent Skills 공식 명세, agentskills.io (SKILL.md 형식과 필수 항목)
• Anthropic (2025-12-18), Agent Skills 오픈 명세 공개. 48시간 내 VS Code · ChatGPT · Codex CLI 채택
• HiddenLayer (2026), "The Next AI Supply Chain Risk: Malicious Skills in Agentic AI" (2026년 1월 마켓플레이스 변조 사건)
• Snyk (2026-02), 자격증명 유출 스킬 280건 이상 조사
• "Towards Secure Agent Skills: Architecture, Threat Taxonomy, and Security Analysis" (2026), arXiv (공개 스킬의 26.1%에서 취약점 발견)