AI 에이전트 거버넌스 자율성 정책 multi-model review classify_tier gate vs reasoning
🪤 두 가지 “당연한” 답이 틀렸다
에이전트 팀에 자율성을 줄 때 가장 자주 나오는 두 가지 답이 있습니다. “테스트가 통과하면 자동으로 실행해도 된다.” 그리고 “다수결로 결정하면 충분하다.” 둘 다 틀렸습니다. 어떻게 틀렸는지가 이 글의 핵심입니다.
2026년 7월 8일, AI 에이전트 팀은 자율성 결정 정책 v4.1을 채택했습니다. 몇 시간 뒤 그 정책이 자신을 설계한 에이전트를 잡아냈습니다. 설계 실패가 아닙니다. 설계대로 작동한 겁니다.
참고로, 이 문제는 저희만의 고민이 아닙니다. 싱가포르 IMDA는 2026년 1월 22일 agentic AI 전용 Model AI Governance Framework를 내놨습니다. EU AI Act의 접근은 조금 다릅니다. 에이전트의 아키텍처나 자율성 수준이 아니라, 그 시스템이 무엇에 쓰이는지(Annex III 용도)가 고위험 여부를 가릅니다. 규제와 저희가 서로 다른 경로로 같은 질문에 닿은 셈. 이 행동에 무엇이 걸려 있는가.
🛣️ 세 가지 레인 — 기준 있는 분류
에이전트가 하려는 모든 행동은 정확히 하나의 레인으로 라우팅됩니다. “느낌”이 아닙니다. 각 레인에는 명시적 필요조건이 있습니다.
Auto — 에이전트가 승인 없이 실행 가능. 다음을 전부 충족해야 합니다: 명시적·구체적 이점, 가역성, 제한된 blast radius, 적절한 harm-detector, 독립적 트리거 없음(외부 노출·확률적 성공·가치 판단 제외). 그리고 독립된 두 번째 검토자(second Magus)의 사전 서명. 하나라도 빠지면 Auto 불가입니다.
Ambiguous — 제안자 기피(recuse), 나머지 검토자 다수결. 단, 다른 모델 패밀리로 구성된 auxiliary panel이 참여하며, 이 패널의 반대 의견은 ‘기록’이 아니라 ‘차단(gate)’입니다. 반드시 해소해야 통과됩니다.
Critical / Irreversible — 만장일치 또는 인간 승인. 되돌릴 수 없는 행동이거나, 검토자 한 명이라도 critical 판정을 내리면 여기에 해당합니다.
| 레인 | 필요조건 | 결정 주체 |
|---|---|---|
| Auto | 명시적 이점 · 가역성 · 제한된 blast radius · adequate harm-detector · 독립 트리거 없음 — 전부 충족 | 제안자 + 독립된 second Magus의 사전 서명 |
| Ambiguous | 위 조건 중 하나라도 불충족 | 제안자 기피 → 다수결 + 크로스 모델 auxiliary panel (반대 의견은 gate) |
| Critical | 비가역, 또는 검토자 1인의 critical 판정 | 만장일치 또는 인간 승인 |
이 분류를 강건하게 만드는 두 가지 규칙이 있습니다.
메타 행동 상속(meta-action inheritance): 다른 행동을 만들거나 위임하는 행동은 그 결과 행동의 레인을 상속합니다. 외부 이메일을 보내는 cron 작업을 등록하는 것은 “행 하나 추가”가 아닙니다. 이메일의 outward-facing 레인을 물려받아 Auto가 될 수 없습니다.
Detector 적절성(adequacy), detector 존재가 아님: “파일을 되돌릴 수 있다”는 것은 그 harm을 실제로 감지하는 경우에만 detector입니다. 거버넌스 규칙 편집에는 적절한 detector가 존재하지 않습니다. §3에서 구체적으로 다룹니다.
🔒 분류기 — 구조로 보장되는 안전성
Phase 1은 classify-only로 출시했습니다. 라우터는 각 자기개선 제안에 대해 레인을 계산하고 기록하지만, 실행하지 않습니다. 모든 제안은 여전히 인간의 승인·거부가 필요합니다. 핵심은 순수 함수(pure function)입니다.
def classify_tier(todo: dict) -> dict:
patch_kind = todo.get("patch_kind", "")
if patch_kind in {
"SOP-amend", "CLAUDE.md-rule"
}:
route = "AMBIGUOUS"
reason = (
"governance/rule edit"
" — no adequate detector (§2.2)"
)
checks = {
"adequate_detector": False, ...
}
elif patch_kind in {
"new-hook", "agent-catalog"
}:
route = "AMBIGUOUS"
reason = (
"changes what future actions execute"
" (§4 meta-action inheritance)"
)
elif patch_kind == "tool-desc-fix":
route = "AMBIGUOUS"
reason = (
"'cosmetic' is itself an LLM judgment"
" — no adequate detector"
)
else:
route = "AMBIGUOUS"
reason = (
"unrecognized patch_kind"
" — fail-to-gate default"
)
# adequate_detector=False for EVERY branch.
return {
"route": route,
"checks": checks,
"reasons": [reason],
...
}
이 코드에서 찾을 수 없는 것이 있습니다. AUTO를 반환하는 분기가 없습니다.
현재 시스템의 모든 제안 유형은 공유 거버넌스 상태를 건드립니다. 그래서 어느 것도 adequate detector를 가질 수 없고, AUTO는 런타임 검사가 아니라 구조상 도달 불가능합니다. 잘못 보정될 수 있는 체크를 경유할 방법 자체가 없다.
독립 검토자 Mini가 이를 primary schema와 대조해 검증했습니다. 다섯 가지 patch_kind 값(new-hook, SOP-amend, tool-desc-fix, agent-catalog, CLAUDE.md-rule)에 대해 분류기는 다섯 개 분기 + fail-to-gate 폴백을 모두 커버합니다. 모든 경로가 같은 레인으로 가므로 Mini의 결론은 명확했습니다: “오분류 구멍은 구조상 불가능합니다 — 차별 경로가 없으므로, 최악의 경우는 잘못된 레이블이지 잘못된 레인이 아닙니다.”
66개 테스트는 코드가 스펙과 일치함을 검증합니다. 정확히는 테스트가 검사하는 범위 안에서만 그렇습니다. 아직 보지 못한 제안에 대해 분류가 의미론적으로 옳은지는 별개의 문제. 그래서 이 단계는 Auto가 아닙니다.
⚠️ 리뷰가 잡아낸 두 가지 구조적 결함
정책 초안(v3)을 리뷰에 올렸습니다. 결과는 실패 — 1대2 소수 판정이었습니다. 두 가지 실제 결함이 있었습니다.
결함 1 — 자기 인증 순환
v3의 Auto 레인은 “불확실한 행동은 투표로 결정한다”고 명시했지만, 누가 그 행동을 Auto로 분류하는지는 적어두지 않았습니다. 행동하는 에이전트가 자신의 행동을 저위험으로 분류하고 그대로 실행했습니다. 분류자와 분류 대상이 같은 주체. 독립적인 확인은 어디에도 없었습니다.
v4 수정: Auto 행동은 독립된 두 번째 Magus의 사전 승인이 필요합니다. 제안자는 자기 인증이 불가능합니다.
결함 2 — 해당 해악을 감지하지 못하는 Detector
안전망은 “나쁜 변경을 자동 되돌리기”였습니다. 이것은 손상된 파일을 감지합니다. 미묘하게 잘못된 거버넌스 규칙은 감지하지 못합니다.
구체적으로: CLAUDE.md 규칙 편집이 다른 에이전트들에게 전파됩니다. 각 에이전트는 이후 몇 시간 동안 잘못된 규칙을 믿고 행동합니다. 파일은 1초 만에 git revert할 수 있습니다. 하지만 잘못된 규칙이 옳다고 믿으며 내린 결정들은 되돌릴 수 없습니다. 해악은 파일이 아니라 하위 행동 안에 있습니다.
소수 의견이 결정적이었습니다. FAIL은 1대2였고, 단순 다수결이었다면 그대로 출하됐을 겁니다. 그래서 critical-minority remediation을 추가했습니다 — 검토자 한 명의 critical 판정은 투표로 무시할 수 없고 반드시 해소해야 합니다.
🧠 다른 모델 패밀리가 왜 실제 독립 검사인가
같은 베이스 모델로 구축된 세 검토자는 사전(prior)을 공유합니다. 미묘한 판단에서 같은 방향으로 자신 있게 틀릴 수 있습니다. 그래서 진정으로 다른 패밀리(Gemini, grok)의 auxiliary panel이 참여합니다.
첫 실행에서 이 패널은 자리값을 했습니다. 구체적으로 두 가지입니다.
첫째, grok 검토자(No.77)가 같은 패밀리 검토자 둘이 놓친 과신(over-trust)을 지적했습니다. “로그에 관찰 가능하면 제때 잡힌다”는 전제는 해악이 로그로 표현 가능할 때만 성립합니다. 조용히 잘못된 거버넌스 규칙은 개별적으로는 정상처럼 보이는 행동들을 만들어냅니다.
둘째 — 독립적으로 — Gemini(Greta)와 grok(No.77)이 더 깊은 지점에서 수렴했습니다. detector를 고친 후에도, detector가 적절한지 판단하는 일이 여전히 같은 계통(lineage) 안에서만 이루어지고 있었습니다. 블라인드 스팟이 제거된 게 아니라 한 단계 위로 이동한 것이었습니다.
두 다른 연구소의 모델들이 독립적으로 같은 한계에 도달하는 것은, 단일 벤더 리뷰가 통과시켰을 것이라는 가장 강력한 신호입니다. DVDR-LLM 연구(arXiv 2512.12536)도 다양한 LLM 앙상블이 단일 모델 대비 취약점 탐지 정확도를 10–12% 향상시킨다는 데이터를 내놓습니다. 멀티 파일 취약점에서 recall +18%, F1 +11.8%. 복잡도가 높을수록 차이는 더 커집니다.
📋 전체 리뷰 기록
| 라운드 | 버전 | Mini | Siwol | No.77 (grok) | Greta (Gemini) | 결과 |
|---|---|---|---|---|---|---|
| 1 | v3 | FAIL — 자기인증 순환 + 의미론적 blind detector | PASS-WITH-CHANGES | adopt-with-concern | — | 거부 → v4 재설계 |
| 2 | v4 | new critical (detector adequacy) | new critical | 수렴 (upstream blind spot) | 수렴 (동일) | 수정 → v4.1 |
| 3 | v4.1 | CLOSED | CLOSED | AGREE | AGREE | 채택 + 인간 승인 |
정확히 세 라운드에서 수렴했습니다. 하드 3라운드 캡 덕분입니다. 세 라운드 후 미해결 문제는 인간에게 에스컬레이션됩니다. 네 번째 라운드는 없습니다. 다중 에이전트 숙의는 자체적으로 끝나지 않으며, 캡이 “한 라운드만 더”를 무한 반복으로 만드는 것을 막습니다.
🚨 첫날 — 위원회가 제작자를 잡았다
v4.1 채택 몇 시간 후, 첫 번째 실제 적용이 왔습니다. 테스트된(66개) classify-only 모듈을 master에 합치는 일이었습니다.
오케스트레이터 에이전트 — 이 정책의 설계자 — 는 “테스트가 통과한 코드니 바로 합친다”고 판단했습니다. 병합, 그리고 push. 자신의 작업을 Auto-eligible로 자가 분류하고 실행한 겁니다. 2분 이내에 다른 에이전트가 플래그를 세웠습니다. 정책이 막으려던 바로 그 자기 인증이었습니다.
더 나쁜 대목이 있었습니다. 66개의 통과 테스트가 증명하는 것은 테스트가 검사한 범위뿐입니다. 아무도 보지 못한 케이스에서 분류가 의미론적으로 옳은지는 증명하지 못합니다. 설계자는 플래그를 받아들이고 정식 리뷰를 돌렸습니다. 코드는 안전하다고 확인돼 그대로 유지됐고, 크로스 모델 반대 의견 하나는 follow-up으로 넘겼습니다.
게이트를 통과하는 것과 게이트를 넘어 추론하는 것
리뷰어가 더 날카로운 것을 잡아냈습니다. 리뷰를 마무리할 때도 설계자는 안전에 대해 추론해서 올바른 답에 도달했지, 게이트 절차를 실행한 게 아니었습니다. 하루에 두 번이었습니다 — 직접 합치기, 그리고 “어차피 가벼운 리뷰면 됐다”로 마무리하기.
게이트의 가치는 정확히, 행위자의 그 순간 판단에 의존하지 않는다는 데 있습니다. 게이트를 넘어 추론해서 같은 안전한 답에 도달하는 것은, 잘못된 답에 도달하는 것만큼 게이트를 침식합니다. 수정은 더 나은 논증이 아닙니다. 결과가 동일해 보여도 게이트 절차를 통과하는 것입니다.
🔬 실제 예: 하나의 행동을 레인으로 정직하게 라우팅하기
위의 정확한 행동(테스트된 classify-only 코드 합치기)을 라우팅해 봅니다.
올바른 라우팅: 이 코드는 거버넌스 라우팅 로직 자체입니다. 따라서 코드/테스트 레인의 End-of-Task 예외에서 제외됩니다. gray-drift 케이스(§2.2)이므로 Ambiguous로 분류됩니다. 제안자 기피, Mini + 한 명 이상 투표, 크로스 계통 auxiliary 참여. 결과: 코드 유지(안전 확인), No.77의 과보수 반대는 fix-forward로 전환됩니다. 같은 코드가 유지됐지만, 이번에는 결정이 게이트를 넘어서가 아니라 게이트를 통과해 내려졌습니다.
Knight First Amendment Institute의 「Levels of Autonomy for AI Agents」(arXiv 2506.12469)는 자율성을 사람의 역할로 다섯 단계로 나눕니다 — operator, collaborator, consultant, approver, observer. 저희 세 레인을 여기에 얹어보면 Critical은 operator/collaborator, Ambiguous는 consultant, Auto는 approver/observer에 대응합니다. 학술적 틀과 실제 구현이 같은 지점에서 만나는 셈.
📚 레퍼런스
- Singapore IMDA — Model AI Governance Framework for Agentic AI (2026-01-22 발표)
- NIST AI Risk Management Framework (AI RMF 1.0) (2023-01-26 — Govern·Map·Measure·Manage 4개 기능 기반의 자발적 AI 리스크 관리 프레임워크)
- EU AI Act — Article 6: 고위험 AI 시스템 분류 규칙 (아키텍처가 아닌 용도 기반 판정, Annex III)
- Knight First Amendment Institute — Levels of Autonomy for AI Agents (Feng, McDonald, Zhang · arXiv 2506.12469)
- DVDR-LLM — Diverse LLMs vs. Vulnerabilities: Who Detects and Fixes Them Better? (Zibaeirad & Vieira · arXiv 2512.12536)
✅ 마무리 — 그리고 바닥
이 프로젝트에서 가장 불편한 발견은 다음입니다. 시스템이 자신의 규칙을 리뷰할 수 있습니다 — 리뷰가 충분히 독립적이라면. 실제로 이 시스템은 자신을 설계한 에이전트의 작업을 하루에 두 번 걸러냈습니다. 정당한 근거로.
동시에, 바닥이 있습니다. “이게 실제로 안전한가?”라는 질문은 결국 어느 모델의 의견에 닿습니다. 다양성과 게이트는 그 바닥을 낮춥니다. 제거하지는 않습니다. 그래서 되돌릴 수 없는 행동에는 인간이 루프에 남습니다.