그렇다면 요새 제 최근 인생 소비 기준 잠깐 놓아줘야하나의 최우선순위인 Claude를 구독해지하면 Opus6이 나오지 않을까요?

어제 정말 월급 전 약간의 현금이 필요하여 BTC를 살짝 팔았는데 제가 제물이었나봐요

순서가 많이 흥미롭네요.

탑3가 Claude > GPT > Grok

그리고 바로 뒤에 Kimi, Qwen, Muse (Meta), DeepSeek

그리고 한국에 Motif가 잘하는 것 같고, 그외에도 독파모 Upstage, SK, LG 등 한국이 Mistral 보다 잘해졌으며 전체적으로 위상이 꽤 높아지는 중.

아직 갈 길이 멀지만 그래도 한국 화이팅

입추가 지나니 날씨가 정말 좋네요.

다들 이번 주도 화이팅입니다🙂

제프 딘의 필모를 보니 동기부여가 되었습니다....

구글의 수석과학자 제프 딘 퇴사. 구글 사번 30번, 1999년 입사, 그 이후 구글의 AI를 포함한 수 많은 역사를 써내려온 레전드 개발자.

이후 새로운 창업은 ML/Science/Engineering을 AI를 통한 자동화를 목표로 한 회사 DiscoveryLoop.

진짜 말도 안되는 건 초기 팀원이 구글에서 남긴 역사적인 기록들...진짜 GOAT of GOAT

> Between us, we have pioneered massive scale computing and led the creation of critical infrastructure, products, and foundational AI advances that the world relies on, including multiple generations of Google Search, Google Ads, Google News, Google Translate, Google File System, MapReduce, BigTable, Spanner, TensorFlow, Pathways, TPUs, AlphaChip, AlphaStar, AlphaCode, AlphaFold, Gemini, model distillation, mixture-of-experts model architectures, word2vec, sequence-to-sequence models, chain of thought reasoning, neural architecture search, and multiple generations of Large Language Models (LLMs) among others.

근래 아침과 저녁 틈틈히 Kaggle에서 열심히 AI 대회를 참여해보고 있습니다. 특히나 밤에 Loop을 돌리고 대략 아침 7.5시~9시 사이에 결과를 해석하는 루틴을 보내고 있습니다.

Kaggle을 다시 시작한 이유는 단순합니다. 오랜만에 다시 AI를 에이전트 레벨이 아닌 코드 레벨에서 탐구하는 경험이 필요하다고 느꼈습니다. (1) 회사에서 주워듣는 여러 AI 방법론 (주로 RL 테크닉) 테스트와 (2) 제가 기존에 알고 있던 AI 방법론과 그 변천사 등 이제는 짧은 시간 내에 학습과 동시에 실험 돌리며 전체적인 저만의 AI를 바라보는 해상도를 높이고 있습니다. Kaggle과 같이 제한적인 환경이 빠른 이론 학습과 적절한 참교육에는 매우 도움이 된다고 느껴지네요.

Kaggle에는 크게 3가지 유형의 대회가 있습니다. (1) Metric 기반의 대회 (2) 시뮬레이션 기반의 경쟁 (2~4인 PvP) (3) 해커톤. 원래는 시뮬레이션에 큰 관심이 없다 지난 시뮬레이션 대회 우승 솔루션이 단순한 PPO를 기반으로 2인/4인 전략을 사용했길래 관심이 생겨 시작해보고 있습니다. 그 중에서 Kaggle에서 자체적으로 진행한 Farming 시뮬레이션 PvP 대회가 한창 진행중인데 어쩌다보니 제가 생각한 전략이 맞아 대회 초반에 1등을 찍어보았습니다. 물론 이런 시뮬레이션 대회의 경우 상대방의 데이터를 통해 전략을 훔칠 수도, 또는 counter 전략을 만들 수도 있어 오래가기는 힘들 수 있습니다만 그래도 1등을 찍어보니 동기부여도 되고 기분이 좋네요.

AI4S에서도 여러 방면으로 느낀 바지만 많은 이들이 AI가 딸깍이라고 함에도 실험, 아니 시뮬레이션조차도 돌려보기 전까지는 "딸깍"의 결과물로 승부보기가 매우 어렵다는 것을 체감하고 있습니다. 그렇기에 지금은 AI가 제안해준 방법론을 바탕으로 그대로 믿는 것보다 정답을 위한 tree search에서 scalable하게 탐색할 수 있게 본인의 인프라를 구축하는 것이 중요하다는 것이 지금의 제 생각입니다.

특히나 이 과정에서 본인의 실패 경험을 포함한 실험 노트 작성 등의 단순한 테크닉도 있지만, 가장 핵심은 주기적으로 빠지는 local maxima를 벗어나기 위한 Human-in-the-loop 혹은 /goal 내의 명시적 방법론으로 해결해야하는데 이것이야 말로 여전히 작성자의 도메인 지식이 중요하다는 것을 체감하고 있습니다. 관련하여 RSI에 대한 생각도 여러가지로 하는데 이게 실제로 되는 방법에 대해서는 저도 여러가지 실험을 해봐야 알 것 같네요.

결론적으로 AI를 더 깊이 알고 싶은데 이론만으로는 답답하고 풀고 싶은 명확한 문제를 찾는 과정에서 무엇을 해보면 좋을까?라고 생각하는 분들은 Kaggle 대회 참여해보는 것을 추천합니다. :)

주말에 Kaggle에서 보인 익숙한 이름🤔 Pokemon TCG 강화학습 공부하기 재밌고 좋네요.

이번에 국장을 배아파하면서 관전한 입장에서

매수 타이밍은 꽤 있었으나 단기적으로는 희망회로에서 스스로 잘 팔았을까 하면 저는 못팔았을 것 같아요. 제 기존 성향 상 추매하다가 평단가 아래로 온 상황이 아니었을까 싶네요.

매매는 다를 수 있으나 투자는 장기전이자 어느 정도의 분산이 중요하다는 것을 또 새기게 되네요

저는 비트로 탈탈잃어 현금이 없긴 하지만, 하이닉스 이번 아래꼬리쯤 오면 그래도 매수 고민해봅니다.

그 전까지는 투자 신경안쓰고 향후 3년 이후의 미래 근로소득을 위해 갈고 닦는 게 저에게 더 득되는 선택이라는 믿음으로 사는 중입니다.

opus5가 fable5보다 가볍고 빠르고, 특히 성능은 체감도 비슷한 것 같고 이전 sonnet 4.5에서 느꼈던 알잘딱갈센스러운 부분도 있어서 좋네요. 다만 ai들의 문체가 점점 slop스럽게 가고 있어서 이건 이제 개인화된 스킬이 필수로 느껴지네요.

현재 codex/claude 합쳐서 3-4개 정도 구독을 유지하고 있으며 다음과 같은 상태입니다.

grok과 중국 선진 모델도 사용해봐야 하는데 아직 개인적인 작업에 쓸 일이 별로 없네요