프론티어 랩들이 지능을 더 좋게 그리고 싸게 만드는 동안 현업에서 필요한 복잡하고 귀찮은 업무들의 갭을 스타트업들이 메우는 게 가능하다. 우리의 일상에는 아직도 디지털화되어 있지 않고 정답이 없는 문제들이 많기 때문에 이런 분야일수록 AI로 고도화하기 어렵다.
#파트 1: 지능의 상품화
Q: 첫 번째 아이디어인 '지능이 상품화되고 있다'는 점에 대해 더 자세히 설명해 주실 수 있나요?
A: AI 발전에는 두 단계가 있습니다. 첫 번째는 '최전선을 밀어붙이는(pushing the frontier)' 단계로, AI가 아직 잘하지 못하는 새로운 능력을 개척하는 시기입니다. MMLU와 같은 벤치마크에서 수년에 걸쳐 성능이 점진적으로 향상되는 것을 볼 수 있습니다.
두 번째 단계는 '상품화(commoditization)'입니다. 일단 어떤 능력이 달성되면, 그 수준의 지능에 접근하는 비용은 시간이 지남에 따라 감소합니다. 예를 들어, MMLU에서 특정 성능을 얻기 위한 비용(달러 기준)은 매년 꾸준히 하락해 왔습니다. 이 추세는 계속될 것입니다.
Q: '적응형 컴퓨팅(adaptive compute)'에 대해 언급하셨는데, 이 개념이 지능의 지속적인 상품화에 왜 중요한가요?
A: 비용 감소 추세는 계속될 것입니다. 왜냐하면 딥러닝 역사상 처음으로 적응형 컴퓨팅이 제대로 작동하기 때문입니다. 이전에는 문제의 난이도와 상관없이("캘리포니아의 주도는 어디인가?" 같은 쉬운 문제든, 어려운 경시 수학 문제든) 고정된 양의 컴퓨팅 자원을 사용했습니다.
이제는 과업의 난이도에 따라 사용되는 컴퓨팅 양을 조절할 수 있습니다. 이는 Q*(큐스타)에서 보여준 바 있는데, 테스트 시간에 컴퓨팅 사용량을 늘리자 수학 문제 해결 능력이 향상되었습니다. 이는 모든 과업에 대해 모델 크기를 계속 키울 필요가 없다는 의미입니다. 매우 쉬운 과업의 경우, 최소한의 저렴한 컴퓨팅만 사용하여 해당 과업의 비용을 거의 0에 가깝게 만들 수 있습니다.
Q: 지능의 상품화가 정보 접근성에 어떤 영향을 미쳤나요?
A: 공개된 정보를 찾는 데 걸리는 시간이 극적으로 줄었습니다.
- 인터넷 이전 시대: 1983년 부산의 인구를 찾으려면 도서관에서 몇 시간을 보내야 했을 겁니다.
- 인터넷 시대: 웹사이트를 검색하고 둘러보는 데 몇 분이 걸렸을 겁니다.
- 챗봇 시대: 답은 거의 즉각적으로 나옵니다.
"1983년 부산에서 결혼한 커플은 몇 쌍인가?"와 같은 더 어려운 질문의 경우, 시간 절약 효과는 더욱 극적입니다. 인터넷 이전에는 몇 주간의 여행과 조사가 필요했을 수 있습니다. AI 에이전트를 사용하면 한국의 KOSIS와 같은 복잡한 데이터베이스를 탐색하여 몇 분 안에 답을 찾을 수 있습니다. OpenAI의 Operator는 이미 이 작업을 수행할 수 있습니다. 이 추세는 1983년 아시아 인구 상위 30개 도시를 결혼 건수 순으로 정렬하는 것과 같은 훨씬 더 복잡한 질문에도 적용됩니다.
Q: 지능과 지식이 저렴한 상품이 되는 것의 핵심적인 시사점은 무엇인가요?
A: 몇 가지 주요 시사점이 있습니다.
1. 분야의 민주화: 이전에는 임의의 지식 장벽으로 막혀 있던 분야들이 개방될 것입니다. 코딩과 개인 건강이 좋은 예입니다. 이제 꽤 훌륭한 의사가 제공할 수 있는 수준의 정보를 ChatGPT에서 얻을 수 있습니다.
2. 사적 정보의 상대적 가치 상승: 공개 정보가 거의 무료가 됨에 따라, 비공개 정보나 내부자 정보(예: 시장에 나오지 않은 매물)의 상대적 가치가 더 높아집니다.
3. 마찰 없는 개인화된 접근: 결국 우리는 정보에 마찰 없이 접근하게 될 것입니다. 모두를 위한 공공 인터넷 대신, 정보가 정확히 필요한 방식으로 제공되는 개인화된 인터넷을 갖게 될 것입니다.
---
#파트 2: 검증자의 법칙
Q: 두 번째 핵심 아이디어인 '검증자의 법칙'은 무엇인가요?
A: 이는 컴퓨터 과학에서 흔한 개념인 '검증의 비대칭성'에 기반합니다. 어떤 과업들은 해결책을 찾는 것보다 해결책을 검증하는 것이 훨씬 쉽습니다.
- 검증은 쉽지만 생성은 어려운 경우: 스도쿠, 트위터 코드 작성.
- 대칭적인 경우: 일부 경시 수학 문제는 푸는 것만큼 검증하는 것도 어렵습니다.
- 검증은 어렵지만 생성은 쉬운 경우: 사실 기반 에세이 작성(그럴듯한 주장을 하기는 쉽지만 사실 확인은 지루합니다), 새로운 다이어트법 만들기("오직 들소 고기만 먹는 다이어트가 최고"라고 주장하는 데는 10초면 되지만, 이를 검증하는 데는 수년간의 연구가 필요합니다).
수학 문제의 정답지나 코딩 문제의 테스트 케이스와 같이 특권적인 정보를 제공함으로써 과업의 검증 가능성을 높일 수 있습니다.
Q: '검증자의 법칙'과 '검증 가능성'의 개념을 어떻게 공식적으로 정의하시나요?
A: 검증자의 법칙(또는 규칙)은 다음과 같습니다: AI가 특정 과업을 해결하도록 훈련시키는 능력은 그 과업이 얼마나 쉽게 검증 가능한지에 비례한다. 이는 해결 가능하고 쉽게 검증할 수 있는 모든 과업은 결국 AI에 의해 정복될 것이라는 점을 시사합니다.
저는 '검증 가능성'을 다음 다섯 가지의 함수로 정의합니다:
1. 객관적 진실: 명확한 정답/오답이 있는가?
2. 속도: 검증이 얼마나 빠른가?
3. 확장성: 백만 개의 제안된 응답을 한 번에 검증할 수 있는가?
4. 적은 노이즈: 매번 동일한 검증 결과를 얻는가?
5. 연속적인 보상: 단순히 통과/실패가 아니라 품질의 스펙트럼(예: 점수)을 얻는가?
Q: 딥마인드의 AlphaDevolve를 훌륭한 예로 드셨는데, 이 원리를 어떻게 활용하나요?
A: AlphaDevolve는 완벽한 예시입니다. 스마트한 알고리즘과 대규모 컴퓨팅을 사용하여 검증 비대칭성이 높은 과업을 해결합니다. 그 과정은 다음과 같습니다.
1. 샘플링(Sample): 대규모 언어 모델을 사용하여 문제에 대한 많은 후보 해결책을 생성합니다.
2. 평가(Grade): 계산적이고 객관적인 검증기를 사용하여 모든 후보를 평가합니다.
3. 진화(Evolve): 가장 높은 점수를 받은 해결책을 다음 샘플링 라운드를 위한 영감으로 모델에 다시 제공합니다.
이 과정을 반복함으로써 과업 수행 능력은 지속적으로 향상됩니다. 그들은 훈련과 테스트가 동일한 문제, 즉 특정 문제에 대한 단 하나의 최상의 답을 원하는 문제를 선택함으로써 일반화 문제를 영리하게 회피했습니다.
Q: '검증자의 법칙'이 AI의 미래에 미치는 시사점은 무엇인가요?
A:
1. 자동화 순서: 가장 먼저 완전히 자동화될 과업은 검증이 아주 쉬운 과업들일 것입니다.
2. 새로운 사업 기회: 현재 측정하기 어려운 것들을 측정하는 방법을 만들어내는 것이 중요하고 성장하는 분야가 될 것입니다. 무언가를 효과적으로 측정할 수 있게 되면, AI를 사용하여 그것을 최적화할 수 있습니다.
---
#파트 3: 지능의 들쭉날쭉한 경계
Q: 마지막으로 '지능의 들쭉날쭉한 경계'에 대해 말씀하셨는데, 무슨 의미인가요?
A: 저는 AI의 능력이 매끄럽고 균일한 전선이 아니라 '들쭉날쭉한 경계'라고 생각합니다. AI가 뛰어난 정점(peak, 예: 어려운 수학 문제, 일부 코딩)이 있고, 실패하는 이상한 계곡(valley, 예: 오랫동안 ChatGPT는 9.11이 9.9보다 크다고 생각했거나, 틀링깃어 같은 희귀 언어를 구사하는 것)이 있습니다. AI가 갑자기 모든 것을 한 번에 잘하게 되는 일은 없을 것입니다. 대신, 각 과업은 고유한 속성에 따라 다른 발전 속도를 보일 것입니다.