Huny's Dev Blog
huny.dev

Microsoft Foundry Hosted Agents 프로덕션 아키텍처 해부: 서브넷 IP 공유(/24 6만 세션)·외부 Egress 가드레일·메모리 스냅샷과 BYO-AKS 경계 점검하기

Microsoft Ignite 2026에서 발표된 Foundry Agent Service Hosted Agents의 프로덕션 아키텍처를 분석한다. /24 서브넷 기준 동시 세션을 250개에서 60,000개로 확장한 서브넷 IP 공유(GA), 샌드박스 외부 네트워크 Egress 통제(GA) 및 Korea Central Azure Policy 프리뷰, 사설 CA 신뢰, 메모리 스냅샷의 $HOME 비영속 경계와 가드레일 Fail-Open 방지 검증을 정리한다.

Hun Jang
Hun Jang Nov 20, 2026

Microsoft Foundry Agent Service의 Hosted Agents 프로덕션 아키텍처(서브넷 IP 공유·외부 Egress 가드레일·메모리 스냅샷·프로토콜 및 BYO-AKS) 개념 다이어그램

Microsoft가 Ignite 2026(2026년 11월 18일 공식 발표)에서 엔터프라이즈 환경의 컨테이너 기반 AI 에이전트 런타임인 Foundry Agent Service Hosted Agents의 프로덕션 확장 아키텍처를 공개했다. 이번 업데이트는 파일럿 단계의 에이전트를 실제 기업 사내망과 규제 경계 안으로 배포할 때 가장 큰 걸림돌이었던 서브넷 IP 고갈, 사설 인증서(Private CA) 신뢰, 에이전트 샌드박스 외부의 네트워크 이그레스(Egress) 통제, 장시간 작업 복구(Resilient execution), 콜드 스타트를 줄이는 메모리 스냅샷(Memory snapshots), 그리고 자체 AKS 클러스터 배포(BYO-AKS)와 A2A v1.0 패스스루를 한꺼번에 해결한다.

핵심 아키텍처 판단 기준을 먼저 요약하면, Hosted Agents는 레플리카(Replica) 단위가 아니라 '세션별 VM 격리 샌드박스' 단위로 스케일링·과금되며, 이번에 정식 출시(GA)된 서브넷 IP 공유 덕분에 기존 /24 서브넷 기준 약 250개에 불과하던 동시 세션 상한이 약 60,000개(최소 /27에서도 약 7,500개)로 확장되어 이제는 서브넷 크기가 아니라 리전별 구독 동시 세션 쿼터(기본 1,000~2,000개)가 실질적인 병목이 된다. 단, 콜드 스타트를 단축하는 Memory snapshots(퍼블릭 프리뷰)를 켜면 일반 볼륨 세션과 달리 유휴(Idle) 구간 이후 $HOME과 로컬 파일이 보존되지 않고 초기화 직후 시작점으로 되돌아가며, RAI 정책 기반의 가드레일(rai_config)은 존재하지 않는 정책 ID를 넣거나 invocations 프로토콜에서 invocations_moderation 경로를 누락할 경우 배포 에러 없이 필터링만 무력화(Fail-Open)되므로 반드시 배포 후 차단 테스트를 수행해야 한다. 이 글은 2026년 11월 20일 기준 공식 Microsoft Foundry Blog 발표 원문, Hosted Agents 아키텍처 문서, 가드레일 및 Egress 설정 가이드, Azure Policy Egress 거버넌스 가이드, 그리고 Private CA 연동 문서를 교차 검증해 정리한 내용이며, 실제 Azure 구독 내 과금 부하 테스트는 수행하지 않고 공식 명세의 정량 지표와 설정 계약을 기준으로 설명한다.

1. 서브넷 IP 공유(GA)와 샌드박스 외부 Egress 통제·사설 CA 신뢰

사내 VNet(Bring-Your-Own VNet)에 에이전트를 연결할 때 겪던 가장 즉각적인 인프라 병목과 보안 통제 방식이 근본적으로 바뀌었다.

1.1 서브넷 IP 공유(Shared Subnet IPs, GA): /24 기준 250개 → 60,000개 세션

기존에는 위임된 서브넷(Delegated subnet)에서 실행되는 각 에이전트 세션이 고유한 서브넷 IP를 1개씩 점유했다. 이 때문에 /24 서브넷에서도 동시 세션이 약 250개에 도달하면 IP가 고갈되었다.

  • VM 격리 유지 + IP 다중 공유: 이제 각 세션은 여전히 독립된 VM 격리 샌드박스에서 실행되면서도 서브넷 IP 주소를 공유한다. 별도 신청 없이 전 리전에 기본 활성화되었다. Microsoft Foundry Blog
  • 서브넷 크기별 계획 용량과 실질 상한: 공식 계획 추정치 기준 /24 서브넷은 약 60,000개 동시 세션, 지원되는 최소 크기인 /27 서브넷도 약 7,500개 동시 세션을 수용한다(업그레이드 및 유지보수 여유분을 위해 프로덕션에서는 여전히 /24 이상 권장). 이제 실질적인 상한은 IP 대역이 아니라 구독당 리전별 동시 세션 쿼터(리전에 따라 기본 1,000개 또는 2,000개)다. Foundry limits & quotas

1.2 샌드박스 외부 네트워크 Egress 통제(GA)와 프록시 CA 회전 규칙

에이전트에게 허용된 도구 목록(Tool list)만으로는 네트워크 경계를 대체할 수 없다. 에이전트 코드가 하위 프로세스를 띄우거나 라이브러리가 HTTP 리다이렉트를 따라가며 임의 외부 호스트로 데이터를 유출할 수 있기 때문이다.

  1. 샌드박스 외부 Fail-Closed 프록시와 최대 480개 규칙:
      • 가드레일 설정 가이드에 따르면, 네트워크 이그레스 규칙은 안정 버전인 2026-09-01 RAI 정책 API의 egressPolicy 블록에 최대 480개까지 정의하며(순차 평가, First-match wins), 에이전트 샌드박스 바깥에서 강제된다. 정책을 평가할 수 없는 장애 상황에서는 요청을 차단(Fail-closed)하며, 차단된 호출은 에이전트 내부 클라이언트에 HTTP 403으로 반환된다.
      • 규칙 액션은 Allow, Deny, Rewrite(게이트웨이 리다이렉트)가 정식 출시(GA)되었고, 아웃바운드 요청에 정적 값·관리 ID 토큰(managedIdentityRef)·시크릿 참조(secretRef)로 헤더를 Set/Insert/Remove하는 Transform 액션은 퍼블릭 프리뷰다.
  1. Audit → Enforce 전환 워크플로우와 실행 중 세션 불변성:
      • 처음부터 Enforced로 막으면 패키지 레지스트리의 별도 다운로드 CDN 호스트 등이 누락되어 에이전트가 실패하기 쉽다. 먼저 mode: "Audit"와 defaultAction: "Deny"로 배포해 차단 대상 요청을 허용하면서 Application Insights의 Network egress decision 트레이스로 실제 호출 도메인을 수집한 뒤, mode: "Enforced"로 바꾸고 반드시 새 에이전트 버전을 배포해야 한다(이미 실행 중인 세션은 시작 시점의 정책을 그대로 유지한다).
      • 주의할 점은 Audit 모드가 Deny 액션만 로그로 대체할 뿐, Transform(헤더 변경)과 Rewrite(리다이렉트) 액션은 Audit 모드에서도 실제로 즉시 적용된다는 사실이다.
  1. 약 30일 주기로 회전하는 Egress 프록시 CA와 사설 CA(Private CA) 신뢰:
      • HTTPS 이그레스 검사를 위해 런타임은 샌드박스 신뢰 번들에 인프라별 프록시 CA를 자동 주입하며, 이 프록시 CA는 약 30일마다 회전(Rotate)한다. 따라서 컨테이너 안에서 프록시 CA의 지문이나 공개키를 피닝(Pinning)하거나 디스크에 영구 저장하면 회전 시점에 TLS 연결이 끊어진다. 반드시 SSL_CERT_FILE, REQUESTS_CA_BUNDLE, GRPC_DEFAULT_SSL_ROOTS_FILE_PATH, NODE_EXTRA_CA_CERTS 환경변수가 가리키는 런타임 경로를 그대로 참조해야 한다.
      • 한편 사내 MCP 서버나 내부 게이트웨이의 사설 인증서를 신뢰해야 할 때는 TLS 검증을 끄지 않고 Azure Key Vault에 저장된 CA 인증서를 Foundry 리소스에 1회 등록하는 Private CA trust (퍼블릭 프리뷰)를 사용한다. 단, 현재 프리뷰에서는 원격 빌드(Remote builds)와 상호 TLS(mTLS)에는 사설 CA가 적용되지 않는다.
  1. Korea Central을 포함한 Azure Policy 거버넌스 (퍼블릭 프리뷰):
      • 중앙 보안팀이 구독이나 리소스 그룹 단위로 이그레스 정책 준수를 강제할 수 있는 Azure Policy 거버넌스가 Korea Central(한국 중부), Canada Central, Spain Central 3개 리전에서 먼저 프리뷰를 시작했다. RAI 정책 작성을 검증하는 3개의 컨트롤 플레인 정의(mode: All)와 실제 에이전트 배포를 검증하는 1개의 데이터 플레인 정의(mode: Microsoft.CognitiveServices.Data, 전파 시간 30~60분 소요)를 함께 할당해야 완성된다.

2. 혼동하기 쉬운 5가지 아키텍처 경계와 전체 기능 비교표

Hosted Agents를 설계할 때 문서 곳곳의 경고를 놓치면 프로덕션에서 데이터 유실이나 보안 필터 무력화로 이어질 수 있는 다섯 가지 경계다.

  • 일반 볼륨 세션의 $HOME 영속성과 Memory snapshots의 상태 초기화는 정반대다: 일반 세션은 유휴 타임아웃(2분~240분, 기본 15분)이 지나 컴퓨트가 해제되어도 $HOME과 /files 업로드 파일이 보존되어 다음 요청 시 복원된다(30일 미활동 시 영구 삭제). 반면 무거운 라이브러리 임포트를 건너뛰는 Memory snapshots(퍼블릭 프리뷰)는 에이전트가 준비된 '초기 시작점(Ready-to-run baseline)'을 복원할 뿐 진행 중인 세션을 복원하지 않으므로, 유휴 구간을 지나면 메모리와 $HOME을 포함한 로컬 파일이 모두 사라진다. 스냅샷을 켠 에이전트는 반드시 30일 기본 보존(또는 무기한 설정)을 지원하는 서버 기반 키-값 저장소인 Durable State Store나 외부 스토리지에 상태를 저장해야 한다. Hosted agents — Sessions & Memory snapshots
  • 비동기 Background mode와 장애 복구용 Resilient execution은 해결하는 문제가 다르다: Responses 프로토콜의 background: true는 초기 HTTP 요청이 먼저 반환된 뒤에도 백그라운드에서 작업을 계속하고 폴링·취소를 지원하는 기능이다. 반면 이번에 GA된 Resilient execution은 호스팅 프로세스 자체가 크래시, 재시작, 재배포로 중단되었을 때 핸들러를 재실행(Rerun)하여 작업을 이어가고 재연결된 클라이언트에 스트리밍 출력을 다시 흘려보내는 기능이다. 핸들러가 처음부터 재실행되므로 체크포인트를 중간 저장하고 이메일 발송·결제 같은 외부 부작용이 중복 실행되지 않도록 멱등성(Idempotency)을 직접 보장해야 한다.
  • 가드레일(rai_config) 연결과 실제 콘텐츠 필터링 작동은 별개다 (Fail-Open 함정 2가지): 첫째, rai_policy_name에 전체 ARM 리소스 ID가 아닌 잘못된 이름이나 존재하지 않는 정책 ID를 넣어도 많은 구독에서 에이전트 배포가 에러 없이 active로 성공하지만, 실제로는 아무런 필터링이 적용되지 않는 Fail-Open 상태가 된다. 둘째, 임의 JSON을 받는 invocations 프로토콜에서는 rai_policy_name만 연결하고 invocations_moderation(input_paths, output_paths, stream_selectors)을 선언하지 않으면 플랫폼이 텍스트 위치를 찾지 못해 HTTP 200을 반환하며 모든 요청을 무검열 통과시킨다(또한 2MB 초과 요청 본문은 입력 검열 없이 통과하고, 1MB 초과 버퍼 응답이나 선언하지 않은 response_mode 형태는 HTTP 502로 거부되며, 10,000자 초과 텍스트는 잘려서 검사된다). Add guardrails to a hosted agent
  • 에이전트 런타임 ID(Agent Identity)와 인프라 관리 ID(Project Managed Identity)는 역할이 다르다: 배포 시 자동 생성되는 에이전트별 전용 Microsoft Entra ID(Agent Identity)는 컨테이너가 런타임에 모델 추론, Toolbox 도구, 다운스트림 Azure 리소스를 호출할 때 사용하는 신원이다(대화형 호출 시 사용자 토큰으로 OAuth 2.0 On-Behalf-Of 위임 실행, 자율 백그라운드 호출 시 자체 ID 사용). 반면 프로젝트의 시스템 할당 관리 ID(Project Managed Identity)는 Azure Container Registry에서 이미지를 풀(Pull)하는 등 플랫폼 인프라 작업 전용이며 런타임 코드가 사용하는 ID가 아니다.
  • Managed Hosted Agents와 자체 클러스터 배포(BYO-AKS)는 인프라 제어권과 적용 범위가 다르다: Foundry가 호스팅 인프라를 전부 운영하는 Managed 방식과 달리, 12월 초 퍼블릭 프리뷰 예정인 BYO-AKS는 동일한 Foundry API·azd 워크플로우·엔드포인트를 유지하면서 실제 에이전트 세션을 고객이 운영하는 AKS 클러스터 내 경량 VM(AKS pod sandboxing) 파드로 실행한다. 단, 이번에 발표된 매니지드 이그레스 및 사설 CA 업데이트는 Foundry가 직접 운영하는 Managed Hosted Agents 대상이며 BYO-AKS에서는 고객의 기존 AKS 네트워크·방화벽·레지스트리 정책을 그대로 사용한다.
Ignite 2026 기능 / 구성 축
출시 상태
핵심 아키텍처 스펙 및 정량 한도
실무 설계 경계 및 주의사항 (공식 문서 기준)
Shared Subnet IPs
GA
세션별 VM 샌드박스 격리 유지 + 서브넷 IP 공유; 계획 용량 /24 ≈ 60,000 세션, /27(최소) ≈ 7,500 세션
실제 상한은 구독당 리전 세션 쿼터(기본 1,000~2,000개); 프로덕션은 업그레이드 여유를 위해 /24 이상 권장
Network Egress Controls
GA (Transform은 프리뷰)
RAI 정책(2026-09-01) 당 최대 480개 규칙; 샌드박스 외부 Fail-Closed 강제, 차단 시 HTTP 403
Audit 모드에서도 Transform·Rewrite는 실제 적용됨; 프록시 CA는 약 30일 주기 회전하므로 인증서 피닝 금지
Azure Policy for Egress
퍼블릭 프리뷰
Korea Central, Canada Central, Spain Central 우선 지원; 3개 Control-Plane + 1개 Data-Plane 정의
데이터 플레인 정책 할당 후 전파에 30~60분 소요; 기존 실행 중인 세션은 중단하지 않음 (Prompt 에이전트 미지원)
Private CA Trust
퍼블릭 프리뷰
Azure Key Vault의 사설 CA를 Foundry 리소스에 1회 등록; 프로젝트 내 도구·게이트웨이(약 1분 내) 및 새 세션 자동 신뢰
공인 CA 신뢰 및 호스트명 검증 유지; 단, 원격 빌드(Remote builds)와 상호 TLS(mTLS)는 아직 미지원
Resilient Execution & Idle Timeout
GA
크래시·재배포 후 장기 작업 복구 및 스트리밍 재연결; 유휴 타임아웃 2분~240분(4시간) 설정(기본 15분)
복구 시 핸들러가 재실행되므로 외부 부작용 멱등성 필수; 30일 미활동 시 세션 영구 삭제 (Temporal 연동은 2027년 초 프리뷰)
Memory Snapshots
퍼블릭 프리뷰
Python / .NET 에이전트 버전별 초기화 완료 시점 메모리 캡처로 콜드 스타트 단축
진행 중 세션이 아닌 초기 시작점만 복원하므로 유휴 구간 이후 $HOME·로컬 파일 소멸 → Durable State Store 사용 필수
BYO-AKS & A2A v1.0 Passthrough
퍼블릭 프리뷰 (AKS는 12월 초)
BYO-AKS는 AKS Pod Sandboxing(경량 VM) 기반; A2A v1.0 패스스루는 소형 Python 어댑터로 JSON-RPC 호스팅
A2A 프리뷰는 현재 스트리밍·푸시 알림 미지원; 샌드박스 규격은 0.5vCPU/1GiB, 1vCPU/2GiB, 2vCPU/4GiB(디스크 20GiB 중 20% 시스템 예약)

3. 실전 구성 코드: Bicep Egress 정책과 Python SDK invocations_moderation 연동

3.1 Bicep을 이용한 RAI Egress 가드레일 정의 (2026-09-01 API)

공식 가드레일 설정 가이드에서 가장 놓치기 쉬운 규칙은 이그레스 규칙만 추가하더라도 contentFilters 배열을 반드시 함께 포함해야 한다는 점이다. contentFilters를 생략하면 HTTP 400 (Content filters cannot be null)으로 생성이 실패한다.

3.2 Python SDK(azure-ai-projects>=2.7.0) 배포 및 설정 사전 검증기

컨테이너 내부에서는 업로드 디렉터리($HOME)에 들어온 비신뢰 파일이 파이썬 모듈로 자동 로드되지 않도록 PYTHONNOUSERSITE=1을 설정하고, invocations 프로토콜 사용 시 RaiInvocationModeration으로 검사 경로를 명시해야 한다. 아래 스크립트는 배포 전 설정의 Fail-Open 위험과 디스크·메모리 스냅샷 충돌을 로컬에서 정적으로 검증하는 도구다.

4. 프로덕션 배포 및 운영 점검 체크리스트

VNet 서브넷 크기와 리전 동시 세션 쿼터 분리 산정: 서브넷 IP 공유(GA)로 /27~/24 대역에서 수천~수만 세션을 수용할 수 있게 되었으므로, 실제 목표 동시 접속 수가 구독의 리전별 세션 쿼터(기본 1,000 또는 2,000개)를 넘는다면 배포 전 Azure 지원 티켓으로 쿼터 증설을 먼저 요청한다. Microsoft Foundry Blog

Egress 가드레일 Audit 선행 검증 및 불변 버전 재배포: defaultAction: "Deny"와 mode: "Audit"로 대표 워크로드를 실행해 패키지 매니저·SDK의 리다이렉트 호스트까지 모두 파악한 뒤 Enforced로 전환하고, 기존 실행 중 세션은 정책을 리로드하지 않으므로 반드시 새 에이전트 버전을 생성·배포한다. Add guardrails to a hosted agent

가드레일 Fail-Open 방지 및 스트리밍 차단 이벤트 처리: az rest로 계정에 실제 존재하는 RAI 정책의 전체 ARM ID인지 확인하고, 스트리밍 응답에서는 출력 차단 시에도 초기 HTTP 상태 코드가 200으로 내려간 뒤 SSE event: error("code": "content_filter")로 스트림이 종료되므로 클라이언트 파서에 해당 에러 이벤트 종료 처리를 구현한다.

Memory Snapshots와 Durable State Store 역할 분리: 콜드 스타트 단축을 위해 메모리 스냅샷을 켠 경우 유휴 타임아웃 이후 $HOME이 초기화되므로, 프레임워크 체크포인트(LangGraph, Microsoft Agent Framework 등)와 사용자 상태는 반드시 Durable State Store나 외부 DB에 기록한다. Hosted agents concepts

세션 단위 과금에 맞춘 Right-Sizing 및 PYTHONNOUSERSITE=1 적용: 과금이 레플리카가 아닌 활성 세션 수 × 세션당 CPU/메모리로 계산되므로 Application Insights(Investigate → Performance)에서 피크 사용률이 70%를 크게 밑돌면 0.5 vCPU / 1 GiB 티어로 낮추고, 업로드 파일이 놓이는 $HOME과 신뢰할 수 있는 앱 코드를 분리하기 위해 PYTHONNOUSERSITE=1을 명시한다.

5. 참고 자료 및 공식 출처 (2026-11-20 확인)

확인 기준일: November 20, 2026

English version: Microsoft Foundry Hosted Agents Production Architecture Deep Dive: Shared Subnet IPs (/24 60k Sessions), Out-of-Sandbox Egress Guardrails, Memory Snapshots, and BYO-AKS BoundariesMicrosoft Foundry Hosted Agents Production Architecture Deep Dive: Shared Subnet IPs (/24 60k Sessions), Out-of-Sandbox Egress Guardrails, Memory Snapshots, and BYO-AKS Boundaries

추천 글