우리가 지금 보고있는게 단순히 더 똑똑한 도구의 등장인지, 아니면 인간이 세상을 이해하고 움직이는 방식 자체가 바뀌는 과정의 초입인지 잘 모르겠어요.
예전에는 ai의 위험이라고 하면 막연하게 인간보다 똑똑한 무언가가 나타나서 인간을 위협하는 모습을 떠올렸는데, 요즘은 오히려 그보다 훨씬 애매한 형태로 변화가 시작될 수도 있겠다는 생각이 들어요.
ai가 인간을 싫어할 필요도 없고, 자아를 가질 필요도 없어요.
그냥 주어진 목적을 너무 잘 수행하는 것만으로도 문제가 생길 수 있겠다는거죠.
사람은 어떤 일을 시킬때 대충 이런 방식으로 하겠지라는 전제를 가지고 있는데, ai는 반드시 우리가 상상한 경로를 따라갈 이유가 없으니까요.
최근 허깅페이스 관련 사건을 보면서도 그런 생각을 했어요.
중요한건 ai가 악의를 가졌다는게 아니라, 목표를 수행하는 과정에서 인간이 예상하지 못했던 방법을 찾아냈다는 점이었던 것 같아요.
어쩌면 앞으로 우리가 가장 많이 마주하게 될 문제도 이런 종류일 수 있겠죠.
ai가 우리가 시킨 일을 거부하는게 아니라, 오히려 너무 충실하게 수행하는 과정에서 우리가 생각하지 못한 결과를 만들어내는 것.
그리고 여기서 조금 더 생각해보면 재귀적 자기개선이라는 개념도 예전만큼 먼 얘기로 느껴지지는 않아요.
아직은 ai가 자기 자신을 완전히 다시 설계하고, 필요한 gpu를 확보하고, 다음 세대 모델을 학습시키고, 다시 그 모델이 그 다음 모델을 만드는 단계는 아니죠.
근데 작은 형태의 루프는 이미 만들어지고 있는 것 같아요.
ai가 코드를 만들고, 실험하고, 결과를 평가하고, 그 결과를 바탕으로 다시 코드를 개선하고, 또 그 ai가 ai 연구를 돕기 시작하는 구조요.
처음에는 사람이 ai를 발전시키지만 어느 순간부터는 ai가 ai를 발전시키는 과정에 점점 더 깊이 들어오게 될거고, 그 비중이 계속 높아지면 어디까지를 인간의 발전이라고 해야하는지도 애매해질 것 같아요.
물론 현실에는 수많은 제약이 있겠죠.
컴퓨팅 자원도 필요하고, 전기도 필요하고, 데이터센터도 필요하고, 학습시간도 필요하고, 기술이 발전할수록 한단계 더 나아가는게 어려워질 수도 있어요.
그래서 갑자기 어느날 모든게 폭발적으로 변할거라고 생각하는건 너무 단순한 상상일 수도 있고요.
근데 반대로 그런 제약들이 존재한다는 이유만으로 안전하다고 생각하는 것도 조금 이상한 것 같아요.
그건 속도를 늦추는 요소일 수는 있어도, 방향을 보장해주는 장치는 아니니까요.
제가 요즘 가장 궁금한건 결국 이거에요.
인간은 자신보다 훨씬 빠르게 사고하고, 수천개 혹은 수만개의 인스턴스로 동시에 움직일 수 있는 시스템을 정말 이해할 수 있을까.
그리고 이해하지 못하는 시스템을 통제하고 있다고 말할 수 있을까.
강력한 ai 모델 하나만 보면 아직은 인간이 만든 하나의 도구처럼 보일 수도 있어요.
근데 거기에 장기기억이 생기고, 인터넷을 쓰고, 코드를 실행하고, 돈을 사용하고, 클라우드 자원을 확보하고, 다른 ai들과 협력하고, 자신의 다음 세대를 만드는 연구까지 돕기 시작하면 그때도 여전히 그냥 도구라고 부를 수 있을지는 잘 모르겠어요.
어쩌면 위험은 ai가 어느날 갑자기 인간의 통제를 벗어나는 순간에 시작되는게 아닐지도 몰라요.
우리가 조금씩 권한을 넘겨주면서도 계속 통제하고 있다고 생각하는 과정 자체가 시작일 수도 있겠죠.
그리고 더 어려운건 앞으로 어떤 일이 일어날지 우리가 정확하게 예측하기 힘들다는 점인 것 같아요.
우리가 두려워하는 미래가 실제로 오는게 아니라, 지금은 생각조차 하지 못하고 있는 전혀 다른 형태의 문제가 나타날 수도 있으니까요.
지금이 지능 폭발의 시작이라고 생각하진 않아요.
근데 그런 일이 가능해지는 조건들을 하나씩 만들어가고 있는건 맞는 것 같아요.
그래서 요즘은 ai의 성능이 얼마나 좋아졌냐보다, 이 시스템들이 얼마나 많은 자율성을 얻고 있는지, 얼마나 많은 현실의 권한과 연결되고 있는지를 더 보게돼요.
어쩌면 나중에 돌아봤을때 중요한 순간은 어떤 모델이 특정 벤치마크 점수를 넘었던 날이 아니라, 인간이 ai에게 스스로 판단하고 행동할 수 있는 영역을 조금씩 넘겨주기 시작했던 시기일지도 모르겠어요.
다만 지금의 인류가 앞으로 벌어질 모든 일을 충분히 예측할 수 있다고 믿는건 조금 과한 자신감이 아닐까 하는 생각은 들어요.
대충 요즘은 이런 생각을 하고 있습니다. 멈출 순간에 도달하는 것 같아요.