Kaggle을 다시 시작한 이유는 단순합니다. 오랜만에 다시 AI를 에이전트 레벨이 아닌 코드 레벨에서 탐구하는 경험이 필요하다고 느꼈습니다. (1) 회사에서 주워듣는 여러 AI 방법론 (주로 RL 테크닉) 테스트와 (2) 제가 기존에 알고 있던 AI 방법론과 그 변천사 등 이제는 짧은 시간 내에 학습과 동시에 실험 돌리며 전체적인 저만의 AI를 바라보는 해상도를 높이고 있습니다. Kaggle과 같이 제한적인 환경이 빠른 이론 학습과 적절한 참교육에는 매우 도움이 된다고 느껴지네요.
Kaggle에는 크게 3가지 유형의 대회가 있습니다. (1) Metric 기반의 대회 (2) 시뮬레이션 기반의 경쟁 (2~4인 PvP) (3) 해커톤. 원래는 시뮬레이션에 큰 관심이 없다 지난 시뮬레이션 대회 우승 솔루션이 단순한 PPO를 기반으로 2인/4인 전략을 사용했길래 관심이 생겨 시작해보고 있습니다. 그 중에서 Kaggle에서 자체적으로 진행한 Farming 시뮬레이션 PvP 대회가 한창 진행중인데 어쩌다보니 제가 생각한 전략이 맞아 대회 초반에 1등을 찍어보았습니다. 물론 이런 시뮬레이션 대회의 경우 상대방의 데이터를 통해 전략을 훔칠 수도, 또는 counter 전략을 만들 수도 있어 오래가기는 힘들 수 있습니다만 그래도 1등을 찍어보니 동기부여도 되고 기분이 좋네요.
AI4S에서도 여러 방면으로 느낀 바지만 많은 이들이 AI가 딸깍이라고 함에도 실험, 아니 시뮬레이션조차도 돌려보기 전까지는 "딸깍"의 결과물로 승부보기가 매우 어렵다는 것을 체감하고 있습니다. 그렇기에 지금은 AI가 제안해준 방법론을 바탕으로 그대로 믿는 것보다 정답을 위한 tree search에서 scalable하게 탐색할 수 있게 본인의 인프라를 구축하는 것이 중요하다는 것이 지금의 제 생각입니다.
특히나 이 과정에서 본인의 실패 경험을 포함한 실험 노트 작성 등의 단순한 테크닉도 있지만, 가장 핵심은 주기적으로 빠지는 local maxima를 벗어나기 위한 Human-in-the-loop 혹은 /goal 내의 명시적 방법론으로 해결해야하는데 이것이야 말로 여전히 작성자의 도메인 지식이 중요하다는 것을 체감하고 있습니다. 관련하여 RSI에 대한 생각도 여러가지로 하는데 이게 실제로 되는 방법에 대해서는 저도 여러가지 실험을 해봐야 알 것 같네요.
결론적으로 AI를 더 깊이 알고 싶은데 이론만으로는 답답하고 풀고 싶은 명확한 문제를 찾는 과정에서 무엇을 해보면 좋을까?라고 생각하는 분들은 Kaggle 대회 참여해보는 것을 추천합니다. :)