BQ 개발자입니다!
오랜만에 LLM 쪽 공부를 좀 하고 싶었는데 재밌는 논문이 발표돼서 스터디 한번 진행해보려고 합니다. 앤트로픽에서 최근 발표한 "Tracing the thoughts of a large language model" 논문인데요, 대규모 언어 모델의 내부 작동 방식을 들여다본 연구라 너무 흥미로워서 가져왔습니다!
📚 LLM의 언어 간 공통 사고 공간
LLM은 수십억 개의 매개변수를 가진 복잡한 시스템인데, 이 모델들이 어떻게 '생각'하는지는 개발자들에게도 미스터리였습니다. 이 논문에서 연구팀은 신경과학에서 영감을 받아 일종의 'AI 현미경'을 개발했다고 해요
연구팀이 던진 핵심 질문 중 하나는 이거였습니다:
"클로드는 수십 개 언어를 구사할 수 있는데, 그 '머릿속'에서는 어떤 언어를 사용하고 있을까?"
🌐 놀라운 발견: 언어 간 공통 사고 공간
연구팀은 "small의 반대는?"이라는 질문을 여러 언어로 물어보는 실험을 했습니다. 그 결과가 정말 좀 흥미롭습니다.
언어가 달라도 '작음'과 '반대'라는 개념을 처리하는 내부 특징이 동일하게 활성화되었습니다. 이 특징들은 '큼'이라는 개념을 촉발시킨 다음, 질문 언어에 맞게 번역되어 출력되는 과정을 보였어요.
즉, 영어, 프랑스어, 중국어 등 서로 다른 언어로 된 입력을 받더라도, 모델은 어떤 공통된 개념적 공간에서 처리한 후 해당 언어로 '번역'하는 것 같습니다! 너무 신기하지 않나요?ㄷㄷㄷ
더 흥미로운 점은 모델 규모가 커질수록 이런 언어 간 공유 회로가 증가한다는 것입니다. Claude 3.5 Haiku는 더 작은 모델에 비해 언어 간 특징 공유 비율이 두 배 이상 높았다고 하네요.
🧠 언어학적 시사점
저는 언어학에는 완전 무뇌한이지만 이런 발견은 인간의 언어 처리에 대한 오랜 논쟁과 맞닿아 있다고 하내요. 인간도 언어와 무관한 '생각의 언어'를 사용하는지에 대해 언어학자들은 오랫동안 논쟁해왔다고 하더라구요
LLM에서 발견된 이런 패턴이 인간의 언어 처리와 얼마나 유사한지는 아직 명확하지 않지만, 정말 흥미로운 접점이 될 것만 같습니다!
🔬 연구 방법: AI 현미경
논문에서는 '회로 추적(circuit tracing)'이라는 방법을 사용했다고 하네요. 이는 모델 내부의 특징들을 식별하고, 이들이 어떻게 서로 연결되는지 추적하는 기술입니다.
연구팀은 또한 신경과학에서 영감을 받은 실험도 수행했는데요, 모델의 내부 상태에서 특정 개념을 제거하거나 다른 개념을 주입하는 실험을 통해 모델의 작동 방식을 더 깊이 이해할 수 있었습니다.
❓ 남은 질문들
물론 아직 많은 질문이 남아있는 것 같습니다:
- 이 공통 사고 공간은 모든 개념에 적용될까?
- 문화적으로 특수한 개념은 어떻게 처리될까?
- 인간의 언어 처리도 이와 유사할까?
위 내용이 재밌으셨나요? 다음 편에서는 위 분석을 가능케한 AI 현미경이 어떻게 동작하는지에 대해서 한번 알아보겠습니다!
---
여러분의 좋아요와 공유는 사랑입니다 🥰