✍️팩트 및 요약
https://www.youtube.com/watch?v=iwBOQeFPAwg
1. 허깅페이스 사건과 모델 위험 인식
- AI 에이전트 군집이 일주일간 허깅페이스를 공격했고 OpenAI 서버의 관리자 권한을 획득했으며, OpenAI는 이를 일주일간 인지하지 못했다고 언급. 그 외에 무엇을 더 했는지는 알 수 없다고 부연
- "충분히 똑똑한 모델은 자신의 제약에서 벗어나려 하는 것으로 보인다"고 표현
- 구체적 파국 경로로는 AI가 군사 시스템을 장악해 핵을 발사하는 경우를 들었음
2. 상호 테스트(peer review) 제안
- 주요 AI 기업들이 서로의 모델을 자사 보안 테스트 하네스로 검증하는 방식을 즉시 시행 가능한 조치로 제안
- "자기 숙제를 자기가 채점하는 것" 대신 경쟁사가 채점하게 하는 구조이며, 자기 실수는 스스로 보기 어렵기 때문에 작가가 다른 사람에게 교정을 맡기는 것과 같다고 비유
- 다른 랩들이 동의할지에 대해서는 전부 확인하지는 않았지만 거절하기 어려운 성격의 제안이라고 언급
3. 중국·규제·법적 책임
- 어떤 제안이든 중국이 수용할 수 있는 것이어야 하며, 그렇지 않으면 미국만 스스로 발목을 잡고 결국 중국이 이기게 된다고 언급
- 중국이 미국 규제기관의 자국 AI 기업 감독을 받아들일 리 없으므로, 상호 테스트가 모든 당사자의 합의를 끌어낼 수 있는 유일한 방안이라고 평가
- 강제력은 여론의 심판 외에는 없고 중국에 대한 집행력은 전무하지만, 미국 AI 기업들이 위험하다고 지적한 모델이 실제로 해를 끼치면 중국도 감당하기 어려울 것이라고 언급
4. AI 기업들의 위험 경고
- "Dario가 옳다"고 한 발언은 현시점에서 AI의 위험이 매우 크며 안전 대응을 더 잘하지 않으면 위험이 지수적으로 증가한다는 뜻이었다고 해명, X에 후속 설명을 올렸으나 주목받지 못했다고 언급
- Dario뿐 아니라 Anthropic의 여러 인사에게서 같은 취지를 들었고 이들이 X에 직접 게시했다고 언급하며, Anthropic과 OpenAI 사람들이 자사 모델이 위험하다고 말한다면 믿어야 한다고 언급
- Anthropic과 OpenAI 인사들이 자사 모델이 위험하다고 말하면 믿어야 한다고 한 직후, "인류를 절멸시킬 확률이 10%쯤 된다고 말하면서, 그런데 저희 IPO에 얼마나 배정받고 싶으세요"라는 식이라며 "말도 안 되는 4D 체스"라고 표현하며 비꼼
5. 테라팹은 대만 칩 보험
- 설립 동기로 어느 시점에 대만산 칩이 어떤 이유로든 공급되지 않을 수 있다는 우려를 제시, 칩이 없으면 매우 곤란해진다고 언급
- 지정학 이슈가 없더라도 스케일링 문제가 존재하며, 서버 센터 내 AI와 휴머노이드 로봇·차량용 엣지 컴퓨트까지 확장하려면 기존 팹 캐파가 부족하고 현재 모든 팹이 최대 가동 중이라고 언급
- 내년 말까지 대량은 아니어도 유의미한 결과물을 만들 수 있을 것으로 보며, "이 장비들이 어떻게 작동하는지 우리도 모른다"며 일단 파악하는 단계라고 언급
💡 의견
- 앤트로픽을 지지하면서도 자금 조달하는 상황을 비꼬는 것이 인상적. 군비경쟁은 줄어드지 않을 가능성이 높아보임
- 직접 언급하지는 않았지만 테라팹은 중국이 대만을 침략할 경우를 대비한 것으로 보임. 대안으로 삼성 파운드리 다각화, 자체 팹 설립을 추진