목차9개 섹션
AI 에이전트 종류는 이름보다 무엇을 조작하느냐로 나누면 가장 쉽게 이해돼요. 코딩 에이전트는 저장소 파일과 터미널을, 브라우저 에이전트는 웹 화면과 로그인한 계정을, 리서치 에이전트는 검색 결과와 문서를, 영상 생성 에이전트는 장면·음성·음악 같은 미디어를 다뤄요. 다루는 대상이 다르니 필요한 권한도, 실패했을 때 생기는 문제도 달라요. 이 글은 2026년 10월 기준으로 각 회사의 공식 문서를 읽고 네 가지 유형의 작동 방식, 권한, 대표 활용 예와 한계를 정리했어요. 특정 제품의 순위나 가격 비교가 아니라 처음 에이전트를 써 보려는 사람이 어떤 종류를 골라야 하고 무엇을 조심해야 하는지 판단하는 데 초점을 맞췄어요.
AI 에이전트 종류를 나누는 기준: 무엇을 조작하느냐
먼저 에이전트가 무엇인지부터 짚어요. Anthropic은 Building effective agents에서 정해진 코드 경로를 따라 모델과 도구를 엮는 시스템을 워크플로, 모델이 스스로 과정과 도구 사용을 결정하는 시스템을 에이전트로 구분해요. 같은 글은 에이전트가 대개 환경에서 받은 결과를 보고 도구를 반복해서 쓰는 모델이라고 설명해요. 파일을 고친 뒤 테스트 결과를 보고, 웹 페이지를 클릭한 뒤 바뀐 화면을 보고, 검색한 뒤 읽은 내용을 바탕으로 다음 검색어를 정하는 식이에요.
이 반복 구조는 네 유형에 모두 같아요. 차이는 모델이 손을 대는 환경에서 생겨요. 환경이 달라지면 모델에게 보여 주는 정보(코드, 스크린샷, 검색 결과, 생성된 장면)와 허용해야 하는 행동(파일 쓰기, 클릭과 입력, 사이트 접속, 생성 크레딧 사용)이 달라지고, 그 행동이 되돌릴 수 있는지도 달라져요. 그래서 이 글에서는 유형을 나눌 때 다음 세 질문을 함께 봐요.
- 무엇을 보고 판단하나요? 코드와 명령 출력, 웹 화면, 검색된 문서, 생성된 미디어 중 무엇인지 확인해요.
- 무엇을 바꿀 수 있나요? 내 컴퓨터 파일, 로그인한 웹 계정, 아무것도 바꾸지 않는 읽기 전용, 새 결과물 생성 중 어디에 해당하는지 봐요.
- 실수하면 되돌릴 수 있나요? 로컬 파일 수정은 비교적 되돌리기 쉽지만 결제, 예약, 배포, 공개 게시는 되돌리기 어려워요.
한 제품이 여러 유형을 겸하는 경우도 많아요. 코딩 에이전트가 웹 검색을 하고, 리서치 에이전트가 브라우저로 페이지를 열고, 영상 에이전트가 참고 자료를 검색하기도 해요. 그러니 제품 이름보다 지금 켜져 있는 도구와 권한이 무엇인지 보는 습관이 중요해요.
코딩 에이전트: 저장소와 터미널에서 일해요
코딩 에이전트는 프로젝트 폴더의 코드를 읽고, 여러 파일을 고치고, 테스트나 빌드 명령을 실행해 결과를 확인하는 에이전트예요. Claude Code 공식 문서는 작업을 맥락 수집, 행동, 결과 검증의 세 단계를 오가는 반복으로 설명해요. 예를 들어 실패하는 테스트를 고쳐 달라고 하면 테스트를 돌려 오류를 읽고, 관련 파일을 찾아 수정한 뒤 다시 테스트를 돌리는 흐름이에요. 문서가 나열한 기본 도구는 파일 작업, 검색, 명령 실행, 웹 검색, 코드 인텔리전스예요.
권한 범위가 넓은 편이에요. 같은 문서는 Claude Code를 실행한 폴더의 파일, 사용자가 터미널에서 실행할 수 있는 모든 명령, git 상태에 접근한다고 설명해요. 그래서 권한 모드가 중요해요. 수동 모드에서는 파일 수정과 셸 명령 전에 묻고, 편집 허용 모드는 파일 수정과 일반적인 파일 명령을 묻지 않고 실행하며, 계획 모드는 소스 파일을 고치지 않고 탐색과 계획만 해요. 자동 모드는 별도 분류 모델이 위험한 행동을 걸러 내는 방식이에요.
파일 수정은 체크포인트로 되돌릴 수 있지만 데이터베이스, API 호출, 배포처럼 원격 시스템에 영향을 준 행동은 체크포인트로 되돌릴 수 없다고 Claude Code 문서가 설명해요. 운영 서버 키나 결제 API 키가 있는 폴더에서는 허용 명령을 좁혀 두세요.
코딩은 에이전트가 특히 잘 맞는 분야로 꼽혀요. Anthropic은 코드가 자동 테스트로 검증 가능하고, 테스트 결과를 피드백으로 반복할 수 있으며, 결과 품질을 비교적 객관적으로 잴 수 있다는 점을 이유로 들어요. 다만 같은 글에서 테스트가 기능을 확인해 줘도 더 넓은 시스템 요구 사항에 맞는지는 사람의 검토가 여전히 중요하다고 덧붙여요.
브라우저 에이전트: 화면을 보고 클릭하고 입력해요
브라우저 에이전트는 사람처럼 웹 페이지를 열어 읽고, 버튼을 누르고, 양식에 정보를 입력해 작업을 끝내는 에이전트예요. API가 없는 사이트나 로그인해야 보이는 화면을 다룰 수 있다는 점이 핵심이에요. OpenAI의 Computer use 개발 문서는 이 기능을 모델이 브라우저나 데스크톱 화면을 조작해 양식을 채우고 사용자 흐름을 테스트하거나 애플리케이션 작업을 끝내는 것이라고 설명해요. 스크린샷과 마우스·키보드 동작으로 일하는 방식과 페이지 텍스트·컨트롤을 읽는 방식이 있고, 상호작용이 필요 없는 공개 정보라면 웹 검색을 쓰라고 안내해요.
소비자 제품의 예로 ChatGPT 클라우드 브라우저 도움말을 보면 구조가 잘 드러나요. ChatGPT Work가 클라우드의 별도 컴퓨터에서 자체 브라우저를 쓰고, 사용자가 창을 닫아도 작업을 이어 가며, 입력·로그인·확인이 필요하면 멈춰요. 이 기능은 Free·Go를 제외한 유료 요금제의 지원 지역에서 쓸 수 있다고 안내돼 있어요. 식당 예약 가능 여부 확인, 항공편 비교, 공과금 요금제 비교 같은 작업이 예시로 나와요.
- 사이트 접근: 기본값은 새 웹사이트에 들어가기 전에 묻는 방식이에요. 모든 사이트를 항상 허용하는 설정은 권장하지 않는다고 적혀 있어요.
- 중요한 행동: 예약 확정이나 결제처럼 되돌리기 어렵거나 금전·법적 책임이 생기는 행동 전에는 대화창에서 확인을 요청하도록 설계됐어요.
- 로그인: 보안 로그인 양식에 입력한 아이디와 비밀번호는 모델이 볼 수 없고 저장하지 않는다고 설명해요.
- 한계: 웹사이트가 자동화 브라우저 접근을 막으면 작업이 멈출 수 있고, 이 경우 사용자가 브라우저를 넘겨받아 직접 마무리해야 해요.
브라우저 에이전트의 고유한 위험은 화면에 보이는 글자도 지시처럼 읽힐 수 있다는 점이에요. OpenAI 도움말은 프롬프트 주입, 피싱, 의도하지 않은 행동을 테스트하지만 모든 위험을 없애지는 못한다고 밝혀요. 잘못된 사이트를 열었거나 엉뚱한 정보를 쓰면 즉시 멈추고, 결과와 출처를 직접 확인한 뒤 쓰는 것이 기본이에요.
리서치 에이전트: 검색하고 읽고 인용 보고서를 써요
리서치 에이전트는 질문 하나를 받아 여러 번 검색하고, 찾은 문서를 읽고, 내용을 종합해 출처가 달린 보고서를 만드는 에이전트예요. 일반 검색 답변이 몇 개의 결과를 요약하는 데 그친다면, 리서치 에이전트는 계획을 세우고 읽은 내용에 따라 다음 검색 방향을 바꾸는 점이 달라요. OpenAI Academy의 딥 리서치 안내는 여러 출처를 훑어 구조화된 인용 보고서를 만드는 연구용 에이전트라고 소개해요.
권한은 주로 읽기예요. 같은 안내에 따르면 연결 앱은 읽기 전용으로 쓰고, 허용 도메인을 지정해 특정 사이트로 검색을 제한하거나 우선순위를 줄 수 있으며, 실행 중 계획과 진행 상황을 보며 범위를 좁히거나 출처를 추가할 수 있어요. 파일을 지우거나 결제하는 일은 없으니 사고의 크기는 작지만, 위험의 성격이 달라요. 잘못된 내용이 그럴듯한 인용과 함께 정리돼 의사결정에 쓰일 수 있다는 점이에요.
그래서 안내문도 결정이나 외부 공개에 쓰기 전에 근거 원문을 다시 확인하라고 권해요. 인용된 문장이 원문에 실제로 있는지, 발행일이 내가 묻는 시점과 맞는지, 약한 근거와 서로 다른 주장이 어디인지 표시해 달라고 처음부터 요청하면 검토가 쉬워져요. 비공개 사내 자료를 연결할 때는 접근 권한이 있는 자료만 연결하고 조직의 데이터 처리 규칙을 따라야 해요.
영상 생성 에이전트: 기획부터 장면 조립까지 맡아요
한 줄 지시로 짧은 다큐나 광고 영상이 나왔다는 사례가 주목받으면서 영상 생성 에이전트에 대한 관심도 커졌어요. 일반 영상 생성 모델이 프롬프트 하나로 클립 하나를 만든다면, 영상 생성 에이전트는 제작 과정을 여러 단계로 나눠 스스로 진행해요. Runway가 2026년 5월 발표한 Runway Agent는 사용자가 원하는 영상을 설명하면 콘셉트와 스토리 흐름, 시각적 방향을 제안하고, 대화로 방향을 다듬은 뒤 여러 장면과 내레이션·대사·음악을 조립해 영상을 만든다고 설명해요. 참고 이미지, 화면 비율, 길이, 오디오 설정을 입력할 수 있고 마지막 조정은 타임라인 편집기에서 사용자가 해요.
이 유형은 내 파일이나 계정을 바꾸지 않는 대신 새 결과물을 많이 만들어 내는 것이 핵심 권한이에요. 그래서 따져 볼 점도 달라요. 첫째, 장면을 여러 번 다시 만들수록 생성량이 늘어 크레딧이나 요금이 빠르게 쌓일 수 있으니 요금 구조를 먼저 확인해요. 둘째, 실존 인물의 얼굴·목소리, 상표, 다른 사람의 저작물을 참고 자료로 넣는 일은 결과물을 공개할 때 법적 문제가 될 수 있어요. 셋째, 다큐 형식이라도 내레이션 속 사실관계는 모델이 만든 것이므로 따로 검증해야 해요. 영상을 공개할 때 AI 생성물임을 밝혀야 하는 플랫폼 규칙도 확인해요.
AI 에이전트 종류별 권한과 위험 비교

네 유형을 같은 기준으로 놓으면 차이가 분명해져요. 아래 표는 2026년 10월 기준 공식 문서에 나온 일반 구조를 정리한 것이며, 개별 제품의 설정에 따라 달라질 수 있어요.
코딩 에이전트
- 주로 보는 것
- 코드, 명령 출력, 테스트 결과
- 주로 바꾸는 것
- 로컬 파일, 실행 명령
- 대표 활용
- 버그 수정, 리팩터링, 테스트 작성
- 되돌리기 어려운 실수
- 배포, 데이터베이스 변경, 외부 API 호출
브라우저 에이전트
- 주로 보는 것
- 웹 화면, 페이지 텍스트
- 주로 바꾸는 것
- 로그인 계정의 양식·버튼
- 대표 활용
- 예약 준비, 요금 비교, 반복 입력
- 되돌리기 어려운 실수
- 결제, 예약 확정, 개인정보 전송
리서치 에이전트
- 주로 보는 것
- 검색 결과, 문서, 연결 앱
- 주로 바꾸는 것
- 대부분 읽기 전용
- 대표 활용
- 시장 조사, 경쟁사 비교, 규정 요약
- 되돌리기 어려운 실수
- 틀린 결론을 근거 삼은 의사결정
영상 생성 에이전트
- 주로 보는 것
- 지시문, 참고 이미지, 생성 장면
- 주로 바꾸는 것
- 새 영상·음성·음악 생성
- 대표 활용
- 광고, 소셜 영상, 사전 시각화
- 되돌리기 어려운 실수
- 크레딧 소모, 초상권·저작권 문제 있는 공개
표에서 보듯 위험은 에이전트의 똑똑함보다 권한의 범위와 되돌릴 수 있는지에 따라 커져요. Anthropic도 에이전트는 자율성 때문에 비용이 커지고 오류가 누적될 수 있으니 샌드박스 환경에서 충분히 시험하고 안전장치를 두라고 권해요. 가장 단순한 방법으로 충분하다면 에이전트를 쓰지 않는 것도 선택지라고 말해요.
나에게 맞는 에이전트 고르는 순서
- 1
결과물을 먼저 정해요
고쳐진 코드, 끝난 웹 작업, 인용 보고서, 완성 영상 중 무엇이 필요한지 정하면 유형이 대부분 정해져요. 결과물이 문서 한 장이라면 리서치 에이전트, 반복되는 웹 입력이라면 브라우저 에이전트가 맞아요.
- 2
필요한 최소 권한만 켜요
읽기만으로 끝나는 일에 쓰기 권한을 주지 않아요. 브라우저는 사이트별 허용을, 코딩 도구는 허용 명령 목록을, 리서치는 허용 도메인을 활용해 범위를 좁혀요.
- 3
사람이 확인할 지점을 정해요
결제, 예약 확정, 배포, 공개 게시처럼 되돌리기 어려운 단계 앞에서 반드시 멈추게 해요. 공식 문서들도 이런 행동 전에는 확인을 받도록 설계돼 있어요.
- 4
결과를 실제 상태로 검증해요
에이전트의 마지막 답변만 믿지 말고 테스트 결과, 실제 예약 화면, 인용 원문, 완성 영상을 직접 확인해요. 비용과 소요 시간도 기록해 두면 다음 작업에서 비교하기 쉬워요.
에이전트 소식은 빠르게 바뀌어요. 새 제품이 나올 때마다 이 네 가지 기준으로 무엇을 보고, 무엇을 바꾸고, 무엇을 되돌릴 수 없는지 적어 보면 과장된 소개에 휩쓸리지 않고 판단할 수 있어요. 더따리의 AI 텔레그램 트렌드와 블로그 트렌드에서는 요즘 어떤 에이전트 이야기가 많이 오가는지 흐름을 살펴볼 수 있어요. 화제가 된 사례를 발견하면 원문 공지와 공식 문서를 함께 확인하세요.
정리하면, 코딩 에이전트는 검증 가능한 코드 작업에, 브라우저 에이전트는 API가 없는 웹 작업에, 리서치 에이전트는 흩어진 자료를 모으는 일에, 영상 생성 에이전트는 기획과 제작을 한 번에 시작하는 일에 맞아요. 어떤 종류든 권한은 좁게 시작하고, 되돌리기 어려운 행동 앞에서는 사람이 확인하며, 결과는 실제 상태로 검증하는 세 가지 원칙이 공통이에요.



