BQ 개발자입니다!
지난 편에서 LLM이 여러 언어를 처리할 때 공통된 '생각 공간'을 사용한다는 발견을 살펴봤어요. 오늘은 이런 발견을 가능하게 한 'AI 현미경'에 대해 알아보겠습니다.
📱 [[AI 논문 톺아보기] Tracing the thoughts of a large language model (1편)](https://t.me/BQTelegram/12410)
🔬 AI 현미경: 기본 개념
AI 현미경은 대규모 언어 모델(LLM)의 내부 작동 방식을 관찰하고 분석하는 방법입니다. 이 방법의 핵심은 모델 내부에서 특정 개념을 나타내는 활성화 패턴을 찾고, 이 패턴들 간의 관계를 추적하는 것입니다.
LLM은 인공 신경망으로 구성되어 있는데, 수십억 개의 인공 뉴런들이 서로 연결되어 있습니다. 이 뉴런들은 입력에 따라 켜지거나 꺼지면서 특정 패턴을 형성하고, 이 패턴이 모델의 출력을 결정합니다. 연구팀은 이런 활성화 패턴 중에서 의미 있는 패턴을 찾아내고, 이를 '특징(feature)'이라고 부릅니다.
🔍 특징 식별: 첫 번째 단계
특징을 식별하는 과정은 간단한 원리에 기반합니다. 특정 개념(예: "작음")이 포함된 여러 문장과 그렇지 않은 문장을 모델에 입력하고, 두 집합 간에 일관되게 다르게 나타나는 활성화 패턴을 찾는 것입니다.
예를 들어, "small", "tiny", "little" 등의 단어가 포함된 문장들을 처리할 때 항상 특정 뉴런 그룹이 활성화된다면, 이 패턴은 "작음" 개념을 나타낼 가능성이 높습니다. 마치 우리 뇌에서 특정 생각을 할 때 특정 뇌세포들이 함께 활성화되는 것과 비슷하죠.
이렇게 찾아낸 특징이 정말 해당 개념을 나타내는지 확인하기 위해, 새로운 문장에서도 같은 패턴이 나타나는지 테스트합니다. 이는 과학적 방법론의 기본 원칙인 '가설 검증'과 동일한 접근법입니다.
🧪 인과관계 확인: 핵심 단계
특징을 식별한 후에는, 이 특징이 모델의 출력에 실제로 영향을 미치는지 확인해야 합니다. 이를 위해 연구팀은 '개입 실험'을 수행합니다.
개입 실험은 모델 내부에서 특정 뉴런 패턴의 활성화 값을 인위적으로 변경하고, 이로 인해 모델의 출력이 어떻게 변하는지 관찰하는 것입니다. 이는 인과관계를 확인하는 가장 직접적인 방법입니다.
예를 들어, 모델이 시를 쓰는 과정에서 "토끼" 관련 뉴런들의 활성화를 억제하면, 모델은 "토끼" 대신 다른 단어(예: "습관(habit)")을 선택할 수 있습니다. 이는 해당 뉴런 패턴이 모델의 단어 선택에 직접적인 영향을 미친다는 증거가 됩니다.
🔄 회로 구성: 종합적 이해
여러 뉴런 패턴들 간의 관계를 추적하면, 모델이 특정 작업을 수행하는 '회로'를 구성할 수 있습니다. 회로는 특징들과 그들 간의 연결로 이루어진 네트워크로, 모델의 정보 처리 흐름을 보여줍니다.
예를 들어, "small의 반대는?"이라는 질문을 처리할 때의 회로는 다음과 같을 수 있습니다:
1. 입력 텍스트에서 "small" 단어가 "작음" 관련 뉴런들을 활성화
2. "반대는?" 부분이 "반대" 관련 뉴런들을 활성화
3. "작음"과 "반대" 뉴런들이 함께 "큼" 관련 뉴런들을 활성화
4. "큼" 뉴런들이 출력 층에서 "big", "large" 등의 단어 확률을 높임
이런 회로를 통해 모델이 어떻게 정보를 처리하고 결정을 내리는지 이해할 수 있습니다.
📊 실제 발견: 계획 능력
AI 현미경을 통해 연구팀은 LLM이 단순히 한 단어씩 생성하는 것이 아니라, 앞을 내다보고 계획을 세운다는 사실을 발견했습니다.
운율 있는 시를 쓰는 실험에서, 모델은 두 번째 줄을 쓰기 전에 이미 운율이 맞는 단어(예: "rabbit")를 염두에 두고 있었습니다. 이는 모델 내부에서 해당 단어와 관련된 뉴런들이 미리 활성화되어 있었다는 사실을 통해 확인되었습니다.
모델은 단순히 다음 단어를 예측하는 것을 넘어, 더 긴 시간 지평에서 계획을 세우고 그에 맞게 텍스트를 생성할 수 있다는 의미!!
---
여러분의 좋아요와 공유는 사랑입니다 🥰