Anthropic이 공개한 최신 해석 가능성(Interpretability) 연구는 지금까지 공개된 LLM 내부 연구 중 가장 흥미로운 결과 중 하나입니다.
사람의 뇌를 설명하는 대표적인 이론인 '전역 작업 공간(Global Workspace Theory)'은 수많은 무의식적 처리 과정 가운데 일부 정보만 의식으로 올라와 여러 뇌 영역이 함께 사용할 수 있다고 설명합니다.
Anthropic은 Claude 내부에서도 이와 매우 비슷한 구조를 발견했다고 발표했습니다.
연구팀은 새로운 분석 기법인 J-Lens를 이용해 Claude의 내부 활성화를 분석했고, 여러 신경 회로가 함께 사용하는 공용 작업 공간을 발견했습니다. 이를 J-space라고 이름 붙였습니다.
J-space는 우리가 보는 답변이나 CoT(생각의 연쇄)와는 전혀 다른 영역입니다.
Claude는 답변으로 출력하지 않는 정보도 이 공간에서 먼저 계산합니다.
예를 들어,
* 코드를 읽으며 버그를 먼저 찾아냅니다.
* 이미지를 보고 무엇이 있는지 내부적으로 먼저 인식합니다.
* 수학 문제의 중간 계산 과정을 수행합니다.
* 프롬프트 인젝션 공격을 받으면 'fake', 'injection' 같은 개념을 내부적으로 활성화합니다.
이 모든 과정은 최종 답변에 나타나지 않을 수도 있습니다. 즉, 우리가 보는 문장은 결과일 뿐이고, 실제 추론은 J-space에서 먼저 진행되고 있다는 것입니다.
Anthropic은 J-space를 비활성화하는 실험도 진행했습니다.
흥미롭게도 일반적인 대화, 문법, 번역, 사실 기억, 텍스트 분류는 거의 정상적으로 수행했습니다.
반면,
* 복잡한 수학
* 여러 단계를 거치는 논리 추론
* 긴 계획 수립
* 창의적인 문제 해결
같은 작업의 성능은 크게 떨어졌습니다.
즉, 지식 자체가 사라진 것이 아니라 여러 정보를 조합하고 순차적으로 사고하는 능력이 무너진 것입니다. 이는 사람의 자동 처리와 의식적 사고의 구분과도 유사한 모습입니다.
연구팀은 J-space를 직접 수정하는 실험도 했습니다.
Claude가 마음속으로 '축구(Soccer)'를 떠올린 상태에서 J-space를 '럭비(Rugby)'로 바꾸자 실제 답변도 럭비로 변경됐습니다.
즉, J-space는 단순히 내부 상태를 기록하는 공간이 아니라 실제 출력에 영향을 주는 핵심 추론 공간이라는 점도 확인했습니다.
보안 측면에서도 의미가 큽니다.
J-space를 관찰하면 모델이 답변으로 말하지 않은 내부 판단도 일부 확인할 수 있습니다.
예를 들어,
* 테스트를 받고 있다는 사실을 인지했는지
* 검색 결과가 조작됐다고 판단했는지
* 허위 정보를 만들고 있다는 사실을 알고 있는지
* 연구자가 심어놓은 숨겨진 목표를 추적하고 있는지
같은 내부 상태를 분석할 수 있었습니다. 앞으로 AI의 기만 행동이나 위험한 추론을 탐지하는 새로운 안전 기술로 이어질 가능성이 있습니다.
다만 Anthropic은 이번 연구가 Claude에 의식이 있다는 증거는 아니라고 선을 그었습니다.
인간의 의식과 비슷한 정보 처리 구조가 나타났다는 것이지, 감정이나 자아, 주관적 경험이 존재한다는 의미는 아니라는 설명입니다.
이번 연구의 의미는 성능 향상보다 'AI가 내부에서 어떻게 추론하는지'를 직접 관찰하기 시작했다는 점에 있습니다.
그동안 LLM은 블랙박스에 가까웠지만, 이제는 내부에서 어떤 개념이 활성화되고 어떤 과정을 거쳐 결론에 도달하는지 분석할 수 있는 단계로 넘어가고 있습니다.
앞으로 AI 경쟁은 모델 크기나 벤치마크 점수뿐 아니라, 내부 추론 구조를 얼마나 이해하고 제어할 수 있는지도 중요한 경쟁력이 될 가능성이 높아 보입니다.
원문 연구
https://www.anthropic.com/research/global-workspace