[한 줄 요약]
AI 쓰는 방식이 하나씩 시키는 단계에서 여러 AI를 동시에 돌리고 관리하는 단계로 넘어가는 중.이 단계에서 제일 느린 건 사람의 검토와 판단임. 그래서 여러 AI에게 일을 어떻게 나눠 주고 결과를 어떻게 걸러 받는지가 성과를 가르기 시작함
[카파시: 내가 병목이 됐음]
안드레 카파시는 OpenAI 공동창업자이자 전 테슬라 AI 총괄. 올해 5월 앤스로픽에 합류해 사전학습 연구를 맡고 있음
3월 7일 AI가 혼자 머신러닝 실험을 돌리는 오토리서치를 공개. 몇 달 동안 손으로 조정한 GPT-2 학습 설정을 에이전트에게 하룻밤 맡겼더니 20년 경력의 본인이 놓친 개선점을 찾아옴
그 뒤 노 프라이어스 팟캐스트에서 한 말
"지금 나온 도구를 제대로 쓰려면 스스로를 병목에서 빼야 한다. 다음 지시를 내리려고 옆에 붙어 있으면 안 된다"
본인 작업 방식도 공개. 에이전트 여러 개에 20분 정도 걸리는 작업을 하나씩 나눠 주고 결과만 검토함. 하나는 코드를 짜고 하나는 자료를 찾고 하나는 다음 구현 계획을 세우는 식
에이전트가 엉뚱한 결과를 내면 모델 능력보다 내 지시와 설정이 부족했던 탓으로 느낀다고 함. 쓸 수 있는 토큰이 남았는데 에이전트가 놀고 있으면 불안할 정도
단서도 붙임. 결과를 숫자로 잴 수 있는 분야에서 잘 통하고 평가가 애매한 분야에선 아직 약함
4월 세쿼이아 행사에선 한 발 더 나감
에이전트는 아직 인턴 수준이라 감각과 판단과 감독은 사람 몫
그리고 무엇을 만들지 왜 만들지 에이전트를 어떻게 지휘할지 정하는 일에서 본인이 병목이 되고 있다고 털어놓음
"생각은 외주를 줄 수 있어도 이해는 외주를 줄 수 없다"는 말도 남김
[앤스로픽 직원들은 이미 AI 관리자]
10월 16일 앤스로픽 경제연구팀이 자기 회사 직원들을 조사한 보고서를 냄. 근무 기록과 AI 사용 기록과 설문과 캘린더와 채용 평가표까지 분석함
3월 처음으로 AI 에이전트 작업 시간이 직원 근무 시간을 넘음. 8월엔 직원이 직접 돌린 에이전트만 따져도 6배. 엔지니어 1인당 코드 커밋은 6개월 전의 5배
그런데 대화형 작업 시간의 약 80%는 AI가 사람 답을 기다리며 멈춰 있는 시간
비개발 직원도 AI 결과물을 다 읽으려면 주 근무시간 절반 이상이 필요
보고서 표현 그대로 옮기면 사람의 주의력이 에이전트 산출물의 병목이 됨
한 엔지니어 비유가 압권. 아이 돌보기랑 똑같다고 함. 주스 뚜껑 열어 달라는 애랑 손가락 베여 피 나는 애가 똑같은 목소리로 긴급하다고 외치는데 AI들도 그렇다고
다른 엔지니어는 “Claude 군단이 저마다 내 관심을 요구한다”고 표현.4월 설문에선 직원 20%가 직접 일하던 역할이 Claude를 관리하는 역할로 바뀌었다고 답함
[AI 오케스트레이션은 실제로 이렇게 함]
보고서에 나온 관리 업무가 꽤 구체적임
여러 에이전트에게 나눠 줄 작업 명세 쓰기. 한 에이전트 결과를 다른 에이전트가 검토하게 묶기. 작업 흐름을 감시하는 대시보드 만들기
이런 일 비중이 작년 가을 10%에서 올봄 22%로 늘어남
에이전트에게 주는 상시 지침은 2025년 7월 수백 개에서 1년 뒤 8,500개로 늘어남. 같은 설명을 매번 반복하지 않으려고 규칙을 깔아 두는 것
한 엔지니어는 에이전트들이 보내는 요청을 분류해 주는 비서실장 에이전트를 따로 만듦
웹사이트 문구를 쓰던 디자인팀은 문구 작성을 에이전트에게 넘기고 에이전트 지시문과 평가 기준을 쓰는 일로 옮김. 팀장 말로는 "사람 행동을 이끌던 글솜씨를 이제 Claude 행동을 이끄는 데 쓴다"
사람끼리 일하는 방식도 바뀜
회의에서 정한 내용을 기록으로 안 남기면 에이전트가 맥락을 놓침. 그래서 결정을 공개 채널에 남기고 비공개로 처리하는 업무를 줄이는 쪽으로 감
회의 시간은 오히려 1년 전보다 20% 늘어남. 개발자만 봐도 16% 증가. AI가 실무를 맡으니 사람끼리 정하고 합의할 일이 많아진 것
채용도 바뀜
개발 직군 신규 채용 중 주니어 비중이 27%에서 9%로 줄었고 면접 평가에선 특정 기술보다 자율성과 판단력을 보는 비중이 커짐
[아모데이 본인 발언]
2월 드와케시 팟캐스트
앤스로픽엔 코드를 아예 직접 안 쓰는 엔지니어가 있다고 함. 예전에 손으로 짜던 GPU 커널도 이제 Claude가 짠다고
11월 13일 제이미 다이먼 JP모건 회장과의 대담
에이전트 확산을 막는 가장 큰 요인은 능력보다 안전 문제. 앤스로픽 내부 배치도 같은 이유로 속도를 조절 중
"에이전트가 통제 없이 날뛰게 두고 싶지 않다"는 발언도 함
[정리]
카파시 개인 경험과 앤스로픽 회사 데이터가 같은 방향을 가리킴. AI가 일을 처리하는 속도는 이미 사람이 결과를 읽고 판단하는 속도를 넘어섬. 그래서 성과 차이는 여러 AI에게 일을 어떻게 나눠 주고 결과를 어떻게 걸러 받는지에서 나오고 있음
앤스로픽 사례를 보면 방법은 세 가지로 모임
- 무엇을 왜 할지 사람이 분명하게 정해 주기
- 반복되는 설명은 지침으로 깔아 두고 AI끼리 서로 검토하게 하기
- 사람에게는 판단이 꼭 필요한 것만 올라오게 거르기
사람 몫으로 끝까지 남는 건 방향을 정하는 일과 마지막 판단
카파시가 사람 몫으로 꼽은 것도 감각과 판단과 감독이고 앤스로픽 채용에서 비중이 커진 것도 판단력
