AI 신뢰 문제는 긍정적인 마케팅이 부족해서가 아니라, 업계가 아직 약속한 사회적 성과를 보여주지 못했기 때문이다. 다만 AI의 권력 집중과 위험을 줄이기 위한 규칙은 여전히 필요하다. - Dario Amodei, Anthropic CEO
규제가 반드시 AI 권력을 집중시키는 것은 아니다 (원문)
규제하면 소수 기업과 정치인에게 권력이 집중되고, 규제하지 않으면 AI가 널리 분산된다’는 구도부터 잘못되었다.
- 규제는 내용에 따라 대기업의 권력을 강화할 수도, 오히려 제한할 수도 있다.
- 객관적이고 공정한 제도는 권력을 특정 인물이 아닌 규칙과 원칙에 귀속시킬 수 있다.
- 법원이 때로는 엘리트적이고 답답해 보여도 군중재판보다 약자를 잘 보호하는 것과 비슷하다.
Anthropic이 지지한 규제안도 의도적으로 프런티어 기업에 더 무겁게 적용되도록 설계되었다.
- 캘리포니아 SB53은 일정 매출·훈련비 이하 기업을 규제 대상에서 제외
- 프런티어 모델에는 더 엄격한 사전 테스트 적용
- 추격 중인 작은 기업과 오픈웨이트 모델에는 상대적으로 넓은 버퍼 제공
- 최상위 모델의 발전 속도만 조절하고 후발주자의 추격은 막지 않는 방식
AI는 규제 때문이 아니라 스케일링 법칙과 막대한 컴퓨팅 자원 때문에 구조적으로 권력을 집중시키는 기술이다. 오픈웨이트도 도움이 되지만, 결국 많은 칩과 컴퓨팅을 가진 기업에 힘이 쏠리므로 충분한 해법은 아니고 생각된다. 따라서 적절한 규칙으로 이런 쏠림 현상을 방지해야한다.
1. 사이버·생물학·정렬 위험 관리
2. 프런티어 AI 기업의 권력 제한
3. 오픈웨이트 생태계의 공간 보장과 별도 위험 관리
또 최근 미국 정부가 검토 중인 것으로 알려진 ‘프런티어 모델 배포 전 테스트, 프런티어에 가까워진 오픈웨이트 모델 테스트’ 방향과 Demis Hassabis의 FINRA형 AI 감독기구 구상에도 긍정적이다.
AI의 문제는 부정적 메시지가 아니라 아직 보여준 성과가 없다는 것 (원문)
AI 위험만 과도하게 강조했다는 비판에도 동의하지 않는다.
- 위험과 혜택에 관한 대형 에세이를 각각 하나씩 썼다.
- 인터뷰에서도 위험뿐 아니라 혜택과 해결책을 함께 이야기한다.
- 다만 SNS에서는 관심이 쏠리는 부정적인 짧은 클립만 더 많이 퍼진다.
「Machines of Loving Grace」를 쓴 이유도 AI 업계가 기술의 긍정적 가능성을 충분히 보여주지 못한다고 생각했기 때문이다. 특히 AI가 생물학과 의료를 가속하면 5~10년 안에 대부분의 인간 질병을 치료할 가능성이 있다. 동시에 AI가 만든 신약이 기존 FDA 절차 때문에 지연되지 않도록 심사 과정도 개선해야 할 것이다.
대중이 AI를 부정적으로 보는 근본 원인은 위험을 많이 말해서가 아니라 '신뢰의 위기'라고 생각한다.
- 사람들은 기업·정부·테크 업계가 자신들을 이용하려 한다고 의심한다.
- “AI가 암을 치료한다”는 홍보 문구도 이제는 상투적이고 기만적으로 들린다.
- 화려한 캠페인으로는 이 불신을 해결할 수 없다.
- 신뢰를 얻는 유일한 방법은 실제로 암을 치료하는 등 약속한 결과를 보여주는 것이다.
“Anthropic을 포함한 AI 기업에 대한 가장 정확한 비판은 아직 세상에 약속한 큰 혜택을 실현하지 못했다는 것”이라고 생각한다. Anthropic이 생물학·의료 분야의 노력을 빠르게 확대하고 있으며 수개월 내 초기 신호, 향후 수년 내 큰 결과를 낼 수 있길 기대하고 있다.
두 글을 통해서 Anthropic의 포지션을 꽤 선명하게 보여주는것 같네요.
- 규제: 후발주자를 막는 규제가 아니라 프런티어 기업 스스로를 더 강하게 제약하는 규칙
- 오픈웨이트: 분산에 도움이 되지만 컴퓨팅 권력 집중을 해결하는 만능 해법은 아님
- 대중 신뢰: 긍정적 PR이 아니라 실제 의료·과학 성과로 회복해야 함
- 커뮤니케이션: 성과가 나오기 전까지는 공허한 약속 대신 위험을 솔직히 말하겠다는 입장
“AI가 암을 치료할 것이라고 홍보하는 것보다 실제로 암을 치료해야 한다.”