영상의 주제는 "상용 AI 서비스 쓰지 말고 셀프 호스팅해라" 입니다. 영상 초반에는 LLM을 로컬 환경에서 띄워서 사용하면 확실히 프라이버시 문제도 많이 해소할 수 있고, 응답 속도도 훨씬 빠르다 등등 셀프 호스팅 시 여러 장점들에 대해 설명해줍니다.
영상 후반부는 ct에서 바이럴이 되고있는데, 퓨디파이가 직접 챗봇 64개를 로컬 환경에 띄워놓고, 투표 시스템을 도입해서 의사결정을 하도록 하는 일종의 군집(swarm)을 만들었기 때문입니다. 퓨디파이가 요 군집에 성능이 좋지 않으면 삭제해버리겠다고 프롬프트를 넣었더니 서로 공모하는 모습을 보였다고 하네요. 그 외에도 소형 모델의 성능이 생각보다 좋았다는 등 재밌는 점들이 많은 영상이었지만, 글이 너무 길어지고 있군요..
무튼 저도 이거 보고 모델 한번 직접 띄워서 써볼까 싶기도 했고, 탈중앙 모델들도 충분히 수요를 갖게 되지 않을까 하는 일말의 희망도 봤습니다. swarms 차트도 한번 봤는데 큰 반응은 없네요. 영상 재밌으니 심심할때 한번 보셔도 좋을 것 같습니다.
https://www.youtube.com/watch?v=qw4fDU18RcU&t=1104s