AI 를 오래 쓰다 보면 많은 사람들이 어느 순간 "모델 성능이 부족하다"는 결론에 도달합니다.
오랫동안 끌고 왔던 작업중에는 다음 개선 작업을 지시해도 유지 보수만 하고 더 이상 할게 없다고 말합니다.
그런데 실제로는 모델의 한계보다 사용자의 추상화 수준이 모델의 작업 범위를 제한하는 경우가 더 많습니다.
예를 들어 같은 Claude, 같은 GPT 를 사용해도
초보자는
"이 코드 고쳐줘"
중급자는
"병목 구간 찾아서 리팩토링해줘"
고급자는
"현재 아키텍처의 구조적 한계를 분석하고 운영 비용과 유지보수 비용을 줄이는 방향으로 재설계해줘"
라고 요청합니다.
모델은 같지만 결과물은 전혀 다르게 나옵니다.
AI 는 생각보다 지시받은 범위 안에서는 굉장히 잘 움직입니다. 문제는 사용자가 그 범위를 어디까지 확장할 수 있느냐입니다.
그래서 AI 를 사용할수록 오히려 도메인 지식의 가치가 커집니다.
구현이 병목이던 시대에는 "어떻게 만들지?"가 중요했습니다.
지금은 AI 가 구현을 담당하면서 "무엇을 만들어야 하지?", "어디가 진짜 병목이지?", "다음 단계는 무엇이지?"가 더 중요해졌습니다.
실제로 작업을 하다 보면 반복되는 패턴이 있습니다.
AI 가 작업량을 줄여줍니다.
AI 가 대부분 구현합니다.
어느 순간 더 이상 개선이 안 되는 것처럼 보입니다. (겉으로 보기에는)
그때 새로운 개념이나 지식을 가져오면 AI 가 다시 움직이기 시작합니다. (거의 새로 설계하는 수준일수도 있음)
이 과정을 반복하다 보면 느끼게 됩니다.
AI 시대의 생산성은 모델 성능보다 문제 정의 능력, 추상화 능력, 도메인 지식에 더 크게 좌우됩니다.
요즘 코딩 에이전트를 쓰면서 가장 많이 느끼는 것도 이것입니다.
병목은 토큰도 아니고 모델도 아닙니다.
생각보다 자주, 가장 큰 병목은 사용자가 아직 다음 질문을 모르고 있다는 사실입니다.