AI 자기개선과 작업 체계 — 하네스·루프·작업방식·스킬로 AI 에이전트를 운영하는 법

1. 왜 AI에게 "작업 체계"가 필요한가

AI 코딩 에이전트(Claude Code, Codex 등)를 오래 쓰다 보면 비슷한 지적을 여러 번 하게 됩니다. "결과를 보기 전에 기준부터 정하라", "기억 말고 파일을 보고 이어 가라", "숫자는 원자료와 대조하라" 같은 말들입니다. 매번 대화로 고쳐 주면 그 세션에서는 나아지지만, 다음 세션이 되면 다시 처음으로 돌아갑니다.

이 글은 그 문제를 구조로 해결하려는 작업 체계를 정리한 것입니다. 핵심은 한 문장으로 요약됩니다.

실제 결과에서 교정을 모으고, 사용자가 채택한 개선을 절차와 검사에 반영한 뒤, 다음 작업에서 효과를 측정한다.

자기개선의 기본 순환. 같은 종류의 교정이 2회, 심각한 교정은 1회만 나와도 개선 제안 대상이 되고, 반영 여부는 반드시 사용자가 결정한다

순환은 여섯 단계입니다. 작업을 실행하고, 사용자가 고쳐 준 내용을 교정 기록으로 남기고, 쌓인 교정에서 개선 제안을 만듭니다. 제안을 받아들일지는 AI가 아니라 사용자가 결정합니다. 채택하면 절차와 검사에 반영하고, 거절하면 사유를 기록하고, 보류하면 대기 상태로 둡니다. 반영한 뒤에는 회귀 검사를 돌리고, 다음 작업에서 정말 좋아졌는지 측정합니다.

용어를 먼저 정리합니다

이 체계에는 비슷해 보이는 말이 네 개 나옵니다. 구분 기준은 다음과 같습니다.

2. 자기개선 하네스 — 공용 틀과 프로젝트 맞춤 틀

하네스는 AI가 일하는 전체 틀입니다. 공용 틀 하나를 여러 프로젝트에 설치하고, 프로젝트마다 필요한 만큼 강화해서 씁니다. 여기에 주장·코드·다중 모델 작업을 검증하는 별도 하네스가 붙습니다.

보유 하네스의 관계. harness-kit(공용 틀 v1.0.0)을 강화학습 프로젝트에 맞춘 것이 Pub RL 7층 하네스(v14)이고, 검증용으로 Philosophy 계열 두 가지와 Orchestra가 있다

• harness-kit — 여러 프로젝트에 공통으로 설치하는 자가 개선 작업 틀입니다. 실행 전 가드, 회귀 검사, 인계, 회고, 근거 검토자와 기본 문서 양식을 포함합니다.
• Pub RL 7층 하네스 — harness-kit을 강화학습 프로젝트에 맞춘 구조입니다. 프로젝트 문서 버전은 v14, 공용 틀 버전은 1.0.0입니다.
• Philosophy Skill — 정의와 전제를 명확히 하고 주장별 근거, 반론, 불확실성을 점검하는 주장 검증 하네스입니다.
• Philosophy Skill for Code — 기존 코드가 왜 그렇게 짜였는지, API 실물이 어떤지, 오류를 재현할 수 있는지, 테스트와 독립 리뷰를 거쳤는지 점검하는 코드 검증 하네스입니다.
• Orchestra — 여러 모델의 계획, 담당 범위, 작업, 통합 검증과 독립 검토를 관리합니다. 명시적인 승인 검토에서는 증거 고정과 정책 판정 관문을 추가합니다.

Pub RL의 7개 층

프로젝트 하네스는 일곱 개 층으로 나뉩니다. 위쪽은 오래 유지되는 사실과 절차이고, 아래로 갈수록 실제 실행과 판정에 가까워집니다.

Pub RL 7층 하네스. 사실·절차·도구 위에 실행 직전 가드와 근거 검토자를 두고, 마지막으로 완료 조건을 작업 전에 고정한다

1. 사실과 불변 규칙 — CLAUDE.md와 진입 문서에서 오래 쓰는 사실, 보호 규칙, 읽을 순서를 관리합니다.
2. 반복 절차 — rl-experiment, handoff, retro, cause-split 스킬로 반복 작업을 수행합니다.
3. 공용 도구와 자료 — 원인 몫 계산, 프로젝트 색인, 통계 함수 등 이미 있는 도구를 재사용합니다.
4. 행동 규칙 — project.json과 guard.py가 실행 직전에 정해진 규칙을 확인합니다.
5. 근거 검토자 — evidence-reviewer가 보고서의 주장을 원자료, 사전 판정 기준과 대조합니다.
6. 추론 강도 — 메인 세션은 사용자 설정을 유지하고, 근거 검토자는 정해진 강도로 검토합니다.
7. 완료 조건 — 산출물, 수락 기준, 작업 범위와 중단 조건을 작업 전에 정합니다.

지금까지 쌓인 기록

확인 시점(2026-11-11)의 Pub RL에는 다음 기록이 남아 있습니다.

Pub RL 운영 기록. 교정 기록 79건에서 개선 제안 25건이 나왔고, 그중 21건이 채택되었다

교정 기록 79건, 개선 제안 25건, 작업 측정 기록 38건이 있고, 제안은 채택 21건, 거절 3건, 대기 1건입니다. 가드 시험 사례는 24개, 형식과 절차 검사 설정은 21개입니다. 이 정리를 하면서 검사를 다시 돌리지는 않았습니다.

기록 수는 운영 이력을 보여 줄 뿐입니다. 개선 효과는 사용자 교정, 재작업, 검토 지적과 실패가 다음 작업에서 실제로 줄었는지로 따로 확인합니다.

3. 작업을 이어 주는 8개의 루프

루프는 한 번의 결과를 다음 작업으로 되돌려 쓰는 순환입니다. 목적에 따라 여덟 가지를 운영합니다.

8개 루프의 단계. 개선(1·2), 검토와 회귀(3·4), 자산화와 인계(5·6), 독립 비판(7·8) 네 묶음으로 색을 나눴다

1. 자가 개선 루프 — 작업 → 교정 기록 → 개선 제안 → 사용자 결정 → 적용 → 회귀 검사 → 다음 작업에서 효과 측정. 근거와 결과는 lessons.jsonl, proposals, metrics.jsonl에 남깁니다.
2. 강화학습 실험 루프 — 시작 점검 → 작업 브리프 → 판정 기준 고정 → 사용자 확인 → 실행 → 판정 → 검토 1회 → 기록과 회고. 결과를 보기 전에 비교 조건과 수락 기준을 정하는 것이 핵심입니다.
3. 평가자와 개선자 루프 — 결과물 제작 → 원자료 대조 → 지적 반영 → 수락 기준 확인. 검토 의견을 실제 결과물 수정으로 연결합니다.
4. 회귀 자산 루프 — 실패나 사례 포착(capture) → 검사 실행(run) → 재사용 검사로 승격(promote). Solver v2에 별도로 구현돼 있습니다. 회귀 검사를 통과했다고 솔버 전략이 인증된 것은 아니라는 점을 구분합니다.
5. 스킬과 도구 자산화 루프 — 기존 스킬 탐색 → 프로젝트에 맞춤화 → 사용 → 잘된 절차를 스킬화 → 공용 도구 재사용 → 색인 갱신. 실패뿐 아니라 반복해서 잘된 방법도 재사용 자산으로 남깁니다.
6. 인계와 재개 루프 — 실제 파일과 프로세스 확인 → 진행 노트 6칸 기록 → 다음 세션에서 산출물 확인 → 다음 한 걸음부터 재개. 끝난 일을 다시 시작하지 않도록 현재 상태를 파일에 남깁니다.
7. 독립 비판 루프 — 주장이나 코드 변경 전달 → 별도 검토자 비판 → 수용·부분수용·거부 기록 → 필요하면 제한된 재검토. Philosophy 계열 스킬의 모드에 따라 검토 횟수가 달라집니다.
8. Orchestra 검토 루프 — 계획 → 담당 범위 배정 → 작업 → 통합 검증 → 증거 고정 → 독립 검토 → 정책 판정. 일반 자문과 명시적 승인 검토는 다른 수준으로 운영합니다.

4. 실제 작업방식 — AI가 지키는 열두 가지 원칙

루프가 "무엇을 되돌려 쓰는가"라면, 작업방식은 "매 작업을 어떻게 하는가"입니다. 실제로 적용하고 있는 원칙은 다음과 같습니다.

보고도 정해진 방식이 있습니다. 결론을 먼저 쓰고, 실제로 확인한 것과 확인하지 않은 것을 구분해서 한국어로 간결하게 적습니다.

등록된 보조 작업자

"난도별 작업자 배정" 원칙을 위해 성격이 다른 보조 작업자(에이전트)를 미리 정의해 두었습니다.

난도별 보조 작업자. 왼쪽의 기계적 작업일수록 가벼운 작업자, 오른쪽의 깊은 분석과 계획일수록 무거운 작업자에게 맡긴다

• task-worker — 기계적인 작업
• sonnet-coder — 일반 구현
• sonnet-medium-worker — 조사와 정리
• opus-coder / opus-analyst — 구현과 깊은 분석
• token-director-fable / token-worker-opus — 계획과 제한된 작업 범위

Orchestra에는 Luna와 Terra의 읽기·쓰기 프로필이 따로 있습니다. 이 항목들은 스킬과 별개인 에이전트 정의이며, 설치돼 있다고 해서 모두 현재 세션에서 호출할 수 있다는 뜻은 아닙니다.

5. 자기개선과 개발 운영 스킬

스킬은 작업별로 재사용하는 절차입니다. 앞 절에도 같은 이름이 나오는 것은 역할이 겹치기 때문입니다. 예를 들어 harness-kit은 전체 틀의 이름이면서, 그 틀을 설치하고 점검하는 스킬의 이름이기도 합니다.

자기개선·개발 운영 스킬 20개를 용도별로 묶은 지도

6. 분야별 보유 스킬

운영 스킬 외에도 결과물을 만드는 분야별 스킬을 갖추고 있습니다. 같은 이름의 설치 위치와 플러그인 접두어는 생략했습니다.

분야별 보유 스킬. 디자인·3D(파랑), 이미지·영상·음성(주황), 문서·자료(초록), 사이트·운영(회색)

• UI와 웹 디자인 — frontend-design, impeccable, ui-ux-pro-max. 화면 구성, 디자인 개선과 사용성 점검에 씁니다.
• 3D 웹 — threejs-webgl. Three.js 장면과 웹 3D 구현에 씁니다.
• 이미지와 로고 — imagegen, gpt-image-2-style-library, geo-logo. 이미지 생성, 스타일 선택과 로고 제작에 씁니다.
• 영상 제작 — hyperframes, general-video, product-launch-video, website-to-hyperframes. 일반 영상, 홍보 영상과 웹사이트 기반 영상을 만듭니다.
• 영상 세부 작업 — hyperframes-core/animation/keyframes/creative/audio/cli/registry, gsap, media-use. 구성, 움직임, 소리, 렌더링과 미디어를 다룹니다.
• 음성 — transcribe. 녹음과 영상의 말을 텍스트로 옮깁니다.
• 문서·표·발표 — documents, pdf, spreadsheets, Presentations, excel-live-control. 문서, PDF, 스프레드시트, 발표 자료와 열린 Excel을 다룹니다.
• Google 문서 작업 — google-drive, google-docs, google-sheets, google-slides, google-drive-comments. 연결된 Google 파일과 댓글을 다룹니다.
• 블로그와 자료 수집 — blog-writer, naver-blog-collector, naver-real-estate-collector. 블로그 작성과 공개 자료 수집에 씁니다.
• 웹사이트 제작과 호스팅 — sites, sites-remix, website-builder. 사이트를 만들거나 수정하고 호스팅합니다.
• Higgsfield 작업 — higgsfield. Higgsfield 명령과 지정 작업 경로를 안내합니다.
• 페이지와 자동화 관리 — write-page, maintain-space, organize-space, manage-schedules. 페이지 내용, 공간 구조와 예약 작업을 관리합니다.
• 환경과 도구 운영 — computer-use, cloud-desktop, cloud-environment-runtime, openai-docs, plugin-management, open-defense-factory. 앱 조작, 실행 환경, 공식 문서, 플러그인과 보안 도구를 다룹니다.
• 설명과 시각화 — visualize. 구조와 관계를 시각 자료나 상호작용 도구로 설명합니다.
• ChatGPT 펫 — create-pet, pets, update-pet. ChatGPT 작업 모드의 펫을 만들고 관리합니다.

7. 적용 범위와 확인 근거

"있다"는 네 가지 서로 다른 상태입니다

이 정리에서 가장 조심한 부분은 보유와 작동을 구분하는 것입니다. 설치 파일이 존재하는 것, 현재 세션에 스킬이 노출되는 것, 도구가 연결된 것, 실제 실행에 성공한 것은 각각 별도 상태입니다. 이 글은 보유와 설정을 정리한 목록이며, 모든 스킬의 연결과 실행 성공을 시험하지는 않았습니다.

설치 ≠ 노출 ≠ 연결 ≠ 실행 성공. 아래는 실제로 단계가 갈린 사례

• Pub RL 실행 전 가드는 .claude/settings.json에 연결돼 있습니다. 문서상 활성 상태이며 해당 프로젝트에서 시작한 Claude Code 세션을 대상으로 합니다. Codex 세션에서 같은 가드 훅이 실행되는지는 확인하지 않았습니다.
• Ponytail은 Claude 전역 지침에 코드 작업 시 먼저 적용하도록 적혀 있습니다. 설치 형태는 스킬 파일이며 플러그인 훅은 설치하지 않았습니다. 프로젝트 가드레일과 동결 규칙이 우선합니다.
• insane-review와 typesafe는 Claude 플러그인 설치 및 활성 설정을 확인했습니다. worklog와 clawd-progress는 설치 기록은 있지만 활성 설정이 꺼져 있습니다. REA 스킬은 파일이 있다는 것만으로 서버 연결까지 확인할 수는 없습니다.

주요 확인 파일

정리의 근거가 된 파일은 다음과 같습니다. (홈 디렉터리는 ~로 줄였습니다.)

마치며

AI 에이전트를 "똑똑한 도구"로만 쓰면 매 세션이 처음부터 시작됩니다. 교정을 기록으로, 기록을 제안으로, 채택된 제안을 절차와 검사로 바꾸는 하네스를 두면 사람이 한 번 한 지적이 다음 작업의 기본값이 됩니다. 다만 기록이 쌓였다는 것과 실제로 나아졌다는 것은 다른 이야기이므로, 효과는 다음 작업의 교정·재작업·실패 감소로 따로 측정합니다.

출처

신동현님, 「AI 자기개선과 작업 체계 — 보유 하네스와 루프 작업방식 스킬 정리」 (2026-11-11 기준 문서)를 AI LAB 게시용으로 재구성했습니다. 본문의 그림은 원문 내용을 바탕으로 새로 그렸습니다.