AI 에이전트 비용과 권한 경계 | AI Agent Cost and Permission Boundaries

핵심 답변: 이번 주 AI 에이전트 운영에서 바로 바꿀 일은 “더 큰 모델로 교체할까?”가 아니라, 반복 작업을 작은 모델에 분리하고 각 실행의 입력·도구 호출·비용을 다시 남기는 일입니다. 10월 7일 Anthropic은 고빈도 작업용 Claude Haiku 5.5를 발표했고, 같은 날 OpenAI는 ChatGPT의 GPT-6 및 대화 안의 상호작용 UI를 넓혔습니다. 10월 9일 OpenAI가 공개한 Asana 사례는 브라우저 에이전트의 비용이 모델 이름보다 히스토리 캐시와 스크린샷 정리 정책에 크게 좌우될 수 있음을 보여 줍니다.

실무에서 에이전트는 이제 “코드를 한 번 잘 써 주는 도구”보다, 이슈를 읽고 저장소를 조사하고 테스트를 돌린 뒤 PR 초안을 만드는 작업 흐름에 가깝습니다. 그래서 모델의 벤치마크 숫자를 그대로 보고 구매 결정을 내리면 곤란합니다. 내 저장소의 권한, 프롬프트 길이, 실패한 도구 호출, 사람의 리뷰 대기 시간이 합쳐져 실제 비용과 위험이 되기 때문입니다.

이번 글은 새 모델 발표를 나열하지 않습니다. 팀이 다음 배포 전에 어떤 작업을 작은 하위 에이전트로 떼어 내고, 어떤 작업은 사람 승인과 큰 모델에 남겨야 하는지, 그리고 측정값을 어떻게 남길지를 개발 현장에서 확인하는 순서로 정리합니다.

무슨 일이 있었나

OpenAI는 2026년 10월 7일 GPT-6와 Intelligent UI를 ChatGPT에 확대한다고 발표했습니다. 답변에 텍스트뿐 아니라 버튼, 폼, 차트 같은 상호작용 요소를 조합할 수 있다는 발표이며, 이 변경은 해당 ChatGPT 경험에 관한 것입니다. 발표문도 Work와 Codex를 구동하는 모델이 이 업데이트로 바뀌는 것은 아니라고 구분합니다. 제품 화면의 변화를 API나 코딩 에이전트의 동작 변화로 단정하지 않는 이유입니다.

Anthropic은 같은 날 Claude Haiku 5.5를 고빈도·비용 민감 작업용으로 공개했습니다. 요약, 압축, 분류, 데이터베이스 질의와 코딩 작업의 하위 에이전트를 주요 용도로 들었고, effort 설정도 제공합니다. 또한 Python·TypeScript SDK의 컴퓨터 사용 및 브라우저 사용 지원을 베타로 업데이트한다고 밝혔습니다. 베타 도구는 편리하지만 곧바로 프로덕션 권한을 주라는 뜻은 아닙니다.

10월 9일 OpenAI가 공개한 Asana의 브라우저 에이전트 실험은 더 구체적입니다. 공개 사례에서 팀은 144회 실행으로 히스토리 캐시, 텍스트 보존량, 스크린샷 삭제 방식을 비교했습니다. 최적 구성은 추정 모델 비용 0.47달러, 약 4분이었으며 원래 Model B 구성보다 76배 저렴하고 5배 빨랐다고 합니다. 이는 특정 제품의 보편 성능표가 아니라, 실제 워크플로를 통제 실험한 결과로 읽어야 합니다.

왜 중요한가

AI 에이전트의 병목은 추론 품질 하나가 아닙니다. 긴 페이지와 이미지를 매 단계 다시 넣으면 입력 토큰이 늘고, 중간 상태를 지나치게 잘라 내면 이미 읽은 화면을 다시 탐색합니다. 반대로 모든 문맥을 영구 보관하면 비용뿐 아니라 고객 정보가 모델 입력에 머무는 시간이 길어집니다. 아키텍처 관점에서는 작업 상태를 어디에 저장하고, 어떤 정보는 요약해 넘기며, 어떤 정보는 서버에서만 조회할지가 핵심입니다.

작은 모델의 강점도 이 지점에서 드러납니다. PR 템플릿 채우기, 실패 로그 분류, 문서에서 특정 필드 찾기처럼 경계가 명확한 일은 작은 하위 에이전트가 잘 맡을 수 있습니다. 반면 권한 변경, 결제, 삭제, 보안 패치의 최종 판단은 모델 비용이 낮다고 위임할 일이 아닙니다. 모델 라우팅은 성능 최적화가 아니라 승인 경로를 설계하는 일입니다.

작업을 ‘하위 에이전트 계약’으로 쪼개기

먼저 한 번의 거대한 “이슈를 고쳐 줘” 요청을 없애 보세요. 예를 들어 저장소 조사 에이전트에는 읽기 전용 git 명령과 파일 경로만, 테스트 에이전트에는 임시 브랜치와 테스트 명령만, PR 작성 에이전트에는 diff와 테스트 결과만 넘깁니다. Haiku 5.5처럼 빠른 모델은 이 중 반복 횟수가 많은 조사·분류에 맞습니다. 큰 모델이 최종 패치를 제안하더라도, 하위 에이전트의 출력 스키마를 {files, evidence, uncertainty}처럼 고정하면 리뷰어가 근거를 추적하기 쉬워집니다.

적용 조건은 실패해도 되돌릴 수 있는 읽기·분류·초안 작업일 때입니다. 검증은 샘플 이슈 20개를 골라 사람이 만든 정답과 파일 경로 정확도, 누락률, 평균 지연 시간을 함께 비교하는 것입니다. 단순히 ‘답이 그럴듯한가’만 보면 자동화 품질을 과대평가하기 쉽습니다.

캐시를 켜기 전에 입력의 수명을 정하기

Asana 사례의 핵심은 캐시를 무조건 늘리라는 말이 아닙니다. 고정된 지시문과 도구 정의뿐 아니라 계속 자라는 브라우징 히스토리를 어떻게 안정적으로 유지할지가 결과를 바꿨다는 점입니다. 페이지 텍스트나 스크린샷을 매 턴 조금씩 고치면 캐시 적중이 어려워지고, 너무 공격적으로 지우면 에이전트가 같은 페이지를 재방문합니다.

실제 서비스에서는 server/api/agent/run.post.ts에서 실행 ID별로 입력 토큰, 캐시 읽기 비율, 도구 재시도 횟수, 스크린샷 바이트를 남기세요. 개인정보나 원문은 기본 로그에 넣지 말고 해시·길이·분류만 저장합니다. 48시간짜리 실험이라면 히스토리 예산과 이미지 정리 주기를 하나씩만 바꾸고, 성공률과 비용을 함께 보아야 합니다. 비용이 내려가도 고객 화면을 잘못 읽는 비율이 늘면 채택할 이유가 없습니다.

브라우저 도구는 권한이 아니라 증거부터 제한하기

컴퓨터 사용과 브라우저 사용은 에이전트가 외부 상태를 바꿀 수 있게 만듭니다. 테스트 계정이라도 저장된 세션, 다운로드 파일, 관리자 페이지가 연결될 수 있습니다. 따라서 도구 계정은 사람 계정과 분리하고, 도메인 allowlist, 다운로드 차단, 결제·삭제 화면 중단 규칙을 둡니다. 비밀값은 프롬프트로 주지 말고 서버 측 단기 토큰으로 주입하며, 도구가 보낸 요청과 응답 요약은 감사 로그로 남겨야 합니다.

PR에서 브라우저 에이전트를 쓰려면 CI에서 우선 실행하세요. 고정된 데모 데이터로 로그인 후 읽기, 폼 입력 직전 중단, 예상 DOM 텍스트 비교까지를 테스트로 만들고, 실제 제출 버튼은 사람 승인 뒤에만 허용합니다. 이 경계가 있어야 ‘브라우저를 잘 쓴다’는 발표를 운영 자동화로 안전하게 옮길 수 있습니다.

대화형 UI 결과물은 제품 계약으로 다루기

GPT-6 Intelligent UI는 사용자가 대화 안에서 폼과 차트를 만나는 방향을 보여 줍니다. 하지만 개발자가 자신의 서비스에 비슷한 기능을 만들 때는 모델이 만든 UI를 신뢰 경계 밖의 제안으로 봐야 합니다. 서버는 허용된 컴포넌트 이름, JSON 스키마, 액션 목록만 받아 렌더링하고, 임의 HTML·외부 URL·권한 있는 액션을 그대로 실행하지 않아야 합니다.

예를 들어 모델이 ‘배포 요약 카드’를 제안하더라도 프런트엔드는 DeploymentSummary와 TestResult 같은 등록된 컴포넌트만 렌더링합니다. 액션은 POST /api/deploy/approve가 아니라 먼저 미리보기 토큰을 만들고, 사람이 승인한 뒤 서버가 권한을 다시 검사하도록 만드세요. UI가 풍부해질수록 접근성, 모바일 레이아웃, 실패 시 텍스트 대체 화면도 함께 테스트해야 합니다.

팀 리뷰를 ‘모델 평가’와 분리하기

새 모델을 시험하는 PR은 기능 PR과 섞지 않는 편이 좋습니다. 모델 버전, 시스템 지시문 버전, 도구 목록, 평가 데이터셋 커밋, 비용 상한을 별도 설정으로 기록하세요. 평가자가 출력만 보고 점수를 매기면 과거 실행과 비교할 수 없습니다. 실행 trace의 링크, 테스트 로그, 사람이 고친 부분을 리뷰 템플릿에 붙이면 다음 교체 때도 같은 기준을 재사용할 수 있습니다.

특히 공급사가 제시한 속도·비용 수치는 유용한 출발점이지 서비스 수준 협약이 아닙니다. 트래픽이 몰리는 시간, 한국어 문서, 내부 라이브러리, 실패한 API 호출이 섞인 환경에서 p95 지연 시간과 작업 완료율을 따로 재야 합니다. 모델을 바꾼 뒤에는 일주일 동안 폴백 횟수와 사람 재작업 시간을 관찰하세요.

개발자 실행 계획

docs/agent-contracts.md에 조사·테스트·PR 작성 작업의 입력, 허용 도구, 출력 스키마를 한 페이지로 적습니다.
server/api/agent/run.post.ts에 실행 ID, 모델, 입력 길이, 캐시 비율, 도구 재시도, 성공 여부를 비밀값 없이 기록합니다.
최근 이슈 20개로 읽기 전용 하위 에이전트의 정확도와 누락률 기준선을 만듭니다.
히스토리 예산, 스크린샷 보존 정책, 모델만 각각 바꾸는 실험 브랜치를 만듭니다.
브라우저 도구 계정을 별도 생성하고 도메인 allowlist·다운로드 차단·제출 전 중단 규칙을 적용합니다.
CI에서 데모 계정으로 로그인, 탐색, 폼 입력 직전 중단까지 회귀 테스트합니다.
PR 템플릿에 모델 버전, trace, 비용 상한, 사람 검토 결과를 필수 항목으로 둡니다.

리스크와 한계

공개 사례의 76배 비용 절감은 Asana의 특정 브라우저 작업과 비교 기준에서 나온 값입니다. 다른 저장소·도구·가격·캐시 정책에 그대로 대입할 수 없습니다. Haiku 5.5의 발표 성능도 자체 평가와 초기 고객 평가를 포함하므로, 팀 데이터로 재현하기 전에는 예산 추정치로만 써야 합니다. GPT-6의 ChatGPT UI 변화 역시 API 출력 형식 보장을 뜻하지 않습니다.

롤백 조건은 명확히 정하세요. 작업 성공률이 기존 대비 3%p 이상 떨어지거나, 보안 정책 위반·권한 없는 외부 호출·p95 지연 시간 급증이 발생하면 모델 라우팅을 이전 설정으로 되돌리고 새 실행을 중지합니다. 토큰 캐시는 데이터 보존 정책과 충돌할 수 있으므로 법무·보안 정책의 보존 기간도 먼저 확인해야 합니다.

FAQ

AI 에이전트에 작은 모델을 바로 붙여도 될까요?

반복적이고 되돌릴 수 있는 조사·분류·요약부터 시작하세요. 코드 병합, 권한 변경, 고객 데이터 전송은 모델 크기와 무관하게 사람 승인과 서버 측 검사를 남겨야 합니다.

에이전트 비용을 가장 먼저 어디서 확인해야 하나요?

모델 단가보다 실행별 입력 크기, 캐시 읽기 비율, 같은 페이지 재방문 횟수, 도구 재시도를 보세요. 이 네 지표가 높으면 모델 교체 전에 워크플로를 고치는 편이 효과적일 수 있습니다.

GPT-6 Intelligent UI를 내 서비스 UI에 그대로 쓸 수 있나요?

발표는 ChatGPT 경험의 기능입니다. 자체 서비스에서는 허용된 컴포넌트와 액션만 서버가 검증해 렌더링하는 구조를 만들고, 공급사 API 문서의 현재 지원 범위를 별도로 확인해야 합니다.

출처 및 추가 읽기

더 깊게 읽기: 실전 가이드

이 리포트는 최근 흐름을 빠르게 파악하기 위한 요약입니다. 실제 프로젝트에 적용할 때는 아래의 기준 글과 함께 확인하면 더 안전합니다.