AI 찍먹해보면서 느끼는 단상(뇌피셜임, 전공자 아님)

• 프론티어 모델들에서는 사실상 사전학습에 넣을 만한 데이터는 다 들어갔음. 보편적인 문법이나 단순 지식에 대해서는 아무도 불만을 제기하지 않음(오히려 x약같은 엄한 지식 못꺼내게 막는중). 하다못해 구글이 파산한 항공사를 사서 내부문서 꺼내서 학습데이터로 먹이는 세상
• 모델 체급(파라미터 수)이 높으면 지능이 대부분 높지만(ex: Fable) 체급이 낮아도 사후학습(SFT, RLHF 등) 특히 상위모델 증류로 꽤 많이 따라갈 수 있음. 특히 요즘 초거대 모델들은 아직 undertrain 되어서 사후학습으로 마이너버전 올릴때마다 지능이 확확 올라가는게 체감됨(DSv4, Qwen3.8 27B)
• 사람말을 따라하는 앵무새가 아니라 진짜로 의미있는 일을 하는 인공지능이 되려면 지정된 작업을 적당히 긴 시간동안(=여러 스텝에 걸쳐서) 수행하는 능력이 필요했는데 Qwen3.8 27B 정도면 아주 훌륭하게 이걸 해내고 있음. 단순지식은 프론티어보다 비교적 떨어질지라도(당연한게 얘 양자화하면 13.5GB임) 사후학습으로 이런식의 일머리를 집어넣는건 충분히 가능하다는걸 보여줌
• 프론티어 LLM들의 지능수준은 이제 슬슬 일반적인 사용자들이 원하는 수준을 쉽게 달성할 수 있는 정도에 도달함(GPT-5.6 Luna 정도면 진짜 하루종일 fast 모드로 써도 월 10만원 구독제로 가능. 인간이랑 컴퓨터 주고 어느 사무작업이든 배틀시키면 무조건 인간이 짐). 요즘 관심사는 이렇게 적절한 수준의 모델을 엄청나게 저렴하게 제공하거나(DeepSeek이 매우 선방하는 중), 아예 전략무기 수준의 초지능을 만들어서 달려나가는(OpenAI의 Astra, Anthropic의 Mythos 2 Preview) 두가지로 분화되는 듯(물론 DeepSeek도 초지능 만들고 싶을거임...)
• 곁다리로, Bonsai 가 Qwen3.6 27B를 1-bit 수준으로 양자화해서 저번달에 배포했는데 로컬 인퍼런스에 사족을 못 쓰는 애플이 관심을 보였던 적이 있음. 3.8 27B는 얼마나 잘될까 궁금(Qwen3.6 27B 가 유달리 양자화에 강했는데 이게 undertrain 의 증거라고 보는 의견도 있었기 때문에 마냥 낙관적으로는 생각하지 않음)