스킬 88개를 깔아봤어요 — 에이전트가 더 똑똑해지진 않았습니다

요즘 AI 도구 쪽에서 제일 뜨거운 단어를 하나 고르라면 "스킬"인 것 같아요. 에이전트에게 절차서를 쥐여주는 방식이요. 좋은 스킬 모음이 공유되고, 유튜브마다 "이 스킬 5개는 꼭 깔아라"라는 제목이 붙어요. 저도 그 흐름 속에 있었어요. 어느 날 세어보니 제 에이전트에 스킬이 88개 깔려 있더라고요.

직접 만든 것과 공개 묶음으로 설치한 것을 합친 숫자예요. 그런데 이상했어요. 88개를 깔았는데, 체감이 그만큼 좋아지지 않았어요. 어떤 구간에서는 오히려 나빠졌어요.

서랍과 작업대

원인을 찾다가 알게 된 게 있어요. 스킬은 공짜가 아니에요. 에이전트는 매번 "지금 이 요청에 어떤 스킬을 쓸까"를 골라야 하는데, 선택지가 88개면 그 고르기 자체가 일이 돼요. 비슷한 스킬이 두 개 있으면 엉뚱한 쪽이 발동되기도 하고, 아예 아무것도 발동 안 되기도 해요. 저는 동기화 사고로 복제된 스킬 파일 하나가 원본을 조용히 비활성화시킨 걸 한참 뒤에 발견하고 나서야, 이 관리 문제를 심각하게 받아들였어요. 그동안 그 스킬은 있는 줄 알았는데 없는 상태였던 거예요.

서랍이 많다고 정리가 잘 되는 게 아니라는 것과 비슷해요. 서랍이 많으면 "어느 서랍이었지"가 새로운 문제로 태어나죠. 도구는 작업대 위에 있는 몇 개가 일을 하지, 서랍 속 80개가 하는 게 아니었어요.

지우기 위해 재기 시작했어요

그래서 방향을 바꿨어요. 모으는 쪽에서 재는 쪽으로요.

한 달에 한 번, 스킬마다 실제 발동 횟수를 세요. 그리고 판정을 내려요. 유지할 것, 비슷한 것끼리 합칠 것, 설명을 재작성할 것, 지울 것. 다만 발동 횟수는 판결이 아니라 감사를 시작하는 신호예요. 한 달간 한 번도 안 불린 반복 업무용 스킬은 정리 후보에 올라가요. 장애 복구처럼 드물지만 실패 비용이 큰 스킬은 예외로 따로 남기고요. 언젠가 쓸 것 같아서 남겨두고 싶은 마음이 매번 들지만, 그 "언젠가"는 대부분 안 와요. 필요해지면 그때 다시 만들면 되고, 다시 만드는 비용은 생각보다 작아요.

이 감사를 돌리고 나서 알게 된 숫자가 하나 있어요. 자주 불리는 스킬은 소수였고, 나머지는 발동 0회의 긴 꼬리였어요. 적어도 제 일상 작업의 품질은 그 소수가 감당하고 있었던 거예요.

만들기 전에 묻는 질문

지금은 스킬을 새로 만들기 전에 세 가지를 물어요.

하나, 이게 반복되는 일인가. 한 번 하고 말 일이면 그냥 그 자리에서 시키면 돼요. 절차서는 반복에만 값을 해요.

둘, 이미 있는 스킬과 겹치지 않는가. 발동 조건 설명이 겹치면 엉뚱한 쪽이 선택되는 일이 늘어요. 새로 만드는 것보다 기존 것을 고치는 게 나은 경우가 많았어요.

셋, 판단이 들어가는가. 단순 명령 몇 줄이면 스킬로 만들 필요가 없어요. 도메인 지식과 판단 기준이 들어갈 때만 문서로 만들 가치가 생기는 것 같아요.

스킬 생태계가 커질수록 큐레이션이 실력이 되는 흐름은 당분간 계속될 거예요. 좋은 에이전트는 스킬이 많은 에이전트가 아니라, 안 쓰는 스킬이 없는 에이전트예요. 88개를 깔아본 사람의 결론입니다.