어느날 쥐들이 모여서 고양이 목에 방울을 달자고 했습니다.
쥐들은 방울의 모양을 설계하고, 방울에 야광페인트를 칠하고, 방울을 달 일정을 정하고, 회의도 하고 분주했습니다.
이걸 지켜보던 늙은 쥐가 “그래서 어떻게 가서 달건데?” 라고 묻자 아무도 대답하지 못했다고 합니다.
아주 어렵고 중요한 일에는 보통 한두개의 성공기점이 있어서 그거 망하면 나머지는 전부 가짜노동인데 사람들이 그걸 간과함
--
오늘 레전드 화제가된 앤쓰로픽 퇴사트윗 (hilbertspaess)가 뭐 ai가 인류 죽일거같다 어쩌구 이게 딱 그 이야기입니다.
반도체 만들고, 모델키우고, 강화학습하고, 벤치맥싱하고... => 방울 모양이나 열심히 고민하는 지엽적인 행위들
AI가 거짓말 안하고 사람안죽이고 철학적인 결정을 예측가능하게 하는법 (정렬) => 방울을 다는 법.
아무리 뭐 학습열심히하고 지롤염병해도 “제일 중요한 스텝”이거 해결 못하면 이 몇경원짜리 노력이 쓰레기 내지는 인류자폭버튼이 된다는 겁니다.
똑똑한 사람들이 흔히 반복하는 실수의 패턴 => 자기가 만드는걸 너무 복잡하게 만들어서 실패가 드러나지 않게하기
지금 LLM에서 똑같은 일이 일어나고 있고요.
--
라는 주장의 철학적인 글인데..
매우 맞는말이고 논리적으로 동감이되지만
난 그런거 상관안쓴다
선형충 out 싹다 개선시켜
https://www.lesswrong.com/posts/SwYBLQvo8MddDcCwz/cat-belling-problems