미국 국가핵안보국(NNSA)과 Anthropic이 함께 개발한 AI 안전장치가 이번 주 눈길을 끌었다. Claude가 핵무기 제조와 관련된 위험한 대화를 탐지하도록 만드는 분류기(classifier)를 만들었고, 96% 정확도, 특히 FP(거짓양성) rate이 0이었다는 내용이었다.
그러나 더 주목할 것은 성능수치가 아니라, 그들이 위험통제라는 문제를 접근한 철학이다.
핵무기처럼 가장 민감한 정보라면, 직관적으로는 '아예 접근을 막는 것'이 정답처럼 보인다. 특정 키워드를 차단하고, 민감 문서를 격리하고, 관련 질문 자체를 봉쇄하는 방식 말이다. 그러나 Anthropic과 NNSA는 다른 길을 택했다. 무엇에 접근했는지를 보는 대신, 사용자가 무엇을 하려 하는지를 판별하는 데 집중했다. Fable 5 모델에서 강화된 아웃풋 거버넌스(output governance)의 응용 사례라고도 할 수 있다.
이 차이는 작아 보이지만, AI 시대 거버넌스의 새로운 원칙을 알려준다.
오랫동안 기업 보안의 핵심 질문은 하나였다. '누가 무엇에 접근할 수 있는가.' 접근 권한을 나누고, 폴더를 잠그고, 시스템별 권한을 세분화하면 통제가 가능하다고 믿었다. 디지털 전환 시대의 거버넌스는 대부분 이 원리 위에 세워졌다.
그러나 AI는 이 전제를 흔든다. 정보 접근의 단위가 파일에서 질의로 이동했기 때문이다. 같은 데이터에 접근하더라도 의도는 완전히 다를 수 있다. 재무팀의 정상적 분석과 내부자 거래 목적의 정보 탐색은 겉보기엔 비슷한 질의로 시작할 수 있다. 연구원의 모델 개선 실험과 핵심 알고리즘 외부 유출 시도 역시 마찬가지다. 권한만으로는 둘을 구분하기 어렵다.
그래서 AI 시대의 거버넌스는 접근 통제(access control)에서 의도 통제(intent-aware control)로 이동한다. 많은 기업은 아직 이 변화를 체감하지 못한다. 앞으로 강한 AI 거버넌스를 가진 기업은 가장 많이 차단하는 기업이 아니라, 접근 의도를 가장 정교하게 구별하는 기업이다. 정상적인 업무 흐름은 빠르게 통과시키고, 위험한 의도만 정확히 멈추는 기업.
보안의 미래는 '누가 들어오는가'를 감시하는 데 있지 않다. '왜 들어왔는가'를 이해하는 데 있다.