OpenAI Responses API Background Completions 아키텍처 해부: 2h(-30%)·8h(-40%) 완료 윈도우·continuation_id 큐 우선순위와 프롬프트 캐싱·Rate Limit 경계 점검하기
2026년 11월 17일 공개 베타로 출시된 OpenAI Responses API Background Completions의 비동기 완료 윈도우(soonest·2h -30%·8h -40%) 아키텍처와 운영 경계를 분석한다. GPT-6.2 세대의 service_tier='flex' 대체 배경, continuation_id 기반 멀티턴 툴 루프 우선순위 큐 유지 조건, service_tier='default'·stream=false 계약, 실시간 트래픽과 분리된 Prompt Caching 풀 격리, Batch API와의 대기열 Rate Limit 풀 공유, ZDR/store=false 임시 암호화 저장 예외 및 로컬 Python 사전 검증 스크립트를 정리한다.
OpenAI Responses API Background Completions 추상 표지 아트워크: 비동기 작업 큐와 2h·8h 시간 윈도우 궤도, 웹훅·멀티턴 연속 처리 흐름을 상징하는 개념 그래픽
OpenAI가 2026년 11월 17일 공개 베타(Public Beta)로 발표한 Responses API Background Completions는 장시간 실행되는 에이전트 워크플로와 대용량 비동기 작업을 HTTP 연결 유지 없이 처리하면서, 완료 시간 목표(completion_window)를 2시간(2h) 또는 8시간(8h)으로 지정해 모델 토큰 단가를 각각 30%·40% 할인받는 실행 모델이다. 기존에 비동기 할인 수단으로 쓰이던 24시간 단일 턴 중심의 Batch API(/v1/batches)나 GPT-6.2 세대부터 지원이 중단되는 동기형 Flex Processing(service_tier: "flex")과 달리, 멀티턴 도구 호출 루프(previous_response_id + continuation_id)를 그대로 유지한 채 후속 턴까지 할인을 이어갈 수 있다는 점이 핵심이다.
핵심 아키텍처 판단 기준을 먼저 요약하면, Responses API의 2h·8h Background Completions는 '단순 JSONL 일괄 처리(Batch API)'와 '실시간 온디맨드 동기 호출' 사이의 중간 계층을 메우는 다중 턴 비동기 큐 아키텍처다. POST /v1/responses 요청에서 background: true와 background_options.completion_window(2h 또는 8h)를 지정하고, background_options.continuation_id를 후속 턴까지 동일하게 재사용하면 로컬 툴·MCP 실행 결과를 previous_response_id로 넘기면서도 큐 우선순위와 30%~40% 토큰 할인을 동시에 유지한다. 다만 할인을 확정 적용하려면 반드시 service_tier: "default"와 stream: false(또는 생략)를 지켜야 하고, 2h·8h 요청은 실시간·soonest 트래픽과 Prompt Caching 풀을 공유하지 않아 캐시 워밍업이 상호 차단되며, Rate Limit은 실시간 풀이 아니라 기존 Batch API의 모델별 Queued Input Tokens 풀을 함께 소모하고, store: false나 ZDR(Zero Data Retention) 환경에서도 비동기 완료 시점까지 요청·응답 상태가 암호화(encrypted at rest)되어 임시 보관된다는 경계를 도입 전 반드시 점검해야 한다. 이 글은 2026년 11월 20일 기준 OpenAI Background Mode 공식 가이드, Webhooks 가이드, Batch API 가이드, Flex Processing 가이드, 그리고 OpenAI API Changelog를 교차 검증해 정리한 내용이며, 실제 상용 트래픽 지연 분포 실측 대신 공식 문서의 파라미터 계약과 로컬 Python 사전 검증 스크립트를 기준으로 설명한다.
1. 비동기 완료 윈도우 아키텍처와 멀티턴 연속성(continuation_id)
기존 Batch API는 사전에 모든 프롬프트를 정적 JSONL 파일(최대 50,000건)로 업로드해야 하므로, 모델이 도구 호출을 요청하면 호스트가 로컬 DB나 MCP 서버를 조회해 결과를 되돌려주는 에이전트 루프에 맞지 않았다. Background Completions는 Responses API의 상태 기반 대화 체인 위에 시간 지연 기반 큐 스케줄링을 결합해 이 한계를 해소한다.
OpenAI Responses API Background Completions 실행 아키텍처: completion_window(soonest·2h·8h) 분기, continuation_id 우선순위 큐, Prompt Caching 풀 격리 및 Batch 공유 Rate Limit 경계
1.1 completion_window(soonest·2h·8h) 분기와 continuation_id 큐 우선순위
- 3가지 완료 윈도우와 적격 모델:
background: true요청 시background_options.completion_window로 실행 지연 허용치와 단가 트랙을 선택한다. 기본값인soonest는 즉시 온디맨드 백그라운드로 실행되며 할인이 없고,2h(2시간 내 완료 목표)는 표준 모델 토큰 단가 대비 30% 할인,8h(8시간 내 완료 목표)는 40% 할인이 적용된다. 할인 윈도우는 현재gpt-6.2-astra,gpt-6.2-sol,gpt-6.1-terra,gpt-6-luna모델군에서 지원되며, 특히gpt-6.2-astra와gpt-6.2-sol에서는 구형service_tier: "flex"가 제거되고2h·8h백그라운드 윈도우가 그 역할을 대체한다.
continuation_id기반 멀티턴 우선순위 유지: 백그라운드 에이전트가 1차 응답에서 함수 호출이나 MCP 툴 실행을 반환하면, 애플리케이션은 도구를 실행한 뒤previous_response_id로 후속 턴을 제출한다. 이때 고객이 직접 발급한 불투명 식별자(opaque identifier)인background_options.continuation_id를 이전 턴과 동일하게 유지하고completion_window·model·service_tier·API 프로젝트가 일치하면, 후속 턴 요청은 백그라운드 스케줄러 내부에서 더 높은 큐 우선순위를 부여받으며 동일한 30%·40% 토큰 할인을 이어받는다.
1.2 Webhooks(response.completed)와 폴링 기반 비동기 툴 루프
- 초기 수락과 상태 전이:
POST /v1/responses에background: true를 전달하면 서버는 긴 HTTP 연결을 유지하지 않고 즉시"status": "queued"와 고유 응답 ID(resp_ID)를 반환한다.
- 웹훅 검증과 멱등성 처리: 장기 실행이나
2h·8h대기열 작업을 주기적으로 폴링하는 대신 OpenAI Webhooks에서response.completed이벤트를 구독하는 것이 표준 패턴이다. 웹훅 수신 서버는OPENAI_WEBHOOK_SECRET으로 서명을 검증하고webhook-id헤더로 중복 전달을 제거한 뒤,GET /v1/responses/{resp_ID}로 최종 출력이나 다음 툴 호출 페이로드를 조회한다.
2. 혼동하기 쉬운 6가지 운영·계약 경계와 실행 모드 비교표
공식 Background Mode·Webhooks·Batch·Flex 가이드를 교차 점검할 때 실무 설계에서 가장 자주 누락하거나 오해하는 경계는 다음 6가지다.
- 1)
service_tier: "default"명시 필수와auto함정:2h·8h할인 윈도우를 적용받으려면 요청에service_tier: "default"(Standard 처리 계층)를 지정해야 한다.gpt-6.2-astra·gpt-6.2-sol에"flex"를 넘기면 미지원 오류로 거부되며,"auto"를 사용하면 서버가 동적으로 Standard 처리를 선택하지 않은 경우 할인이 무효화될 수 있다.
- 2)
stream: true동시 사용 불가:2h·8h완료 윈도우에서는 스트리밍을 켤 수 없으므로(stream: false또는 필드 생략 필수), 진행 상태와 완료 감지는 전적으로 웹훅 또는GET /v1/responses/{resp_ID}폴링 파이프라인으로 전환해야 한다.
- 3) 실시간 트래픽과
2h·8h간 Prompt Caching 풀 격리: Prompt Caching은 기본적으로 활성화되어 반복 프리픽스 비용과 지연을 줄여주지만,2h·8h백그라운드 요청과 일반 대화형(또는soonest) 요청은 캐시 엔트리를 서로 공유하지 않는다. 즉, 야간에8h윈도우로 대량 문서를 돌려도 주간 실시간 유저용 프롬프트 캐시는 워밍업되지 않으며, 반대로 실시간 트래픽이 만든 캐시를2h·8h요청이 재사용하지도 못한다.
- 4) Batch API와 모델별 Queued Input Tokens Rate Limit 풀 공유:
2h·8h백그라운드 요청은 실시간 온디맨드 Rate Limit 풀과는 격리되지만, 기존 Batch API(/v1/batches)와 동일한 Batch/Background Rate Limit 풀(모델별 대기열 입력 토큰 상한)을 공유한다. 따라서 야간 대량 JSONL 배치와8h멀티턴 에이전트 작업을 같은 시간대에 몰아넣으면 모델별 큐 한도에 걸려 작업 수락이 지연·거부될 수 있다.
- 5)
store: false및 ZDR(Zero Data Retention)의 임시 암호화 저장 예외: 조직에 ZDR이 활성화되어 있거나 요청에store: false를 명시하더라도, 비동기 백그라운드 작업이 큐에서 처리되고 이후 웹훅·폴링으로 결과를 회수할 수 있어야 하므로 요청·응답 상태는 완료 시점까지 저장 시 암호화(encrypted at rest)되어 임시 보관된다. ZDR 프로젝트에서도2h·8h윈도우 사용 자체는 허용되지만, 영구 로그·학습 배제와 별개로 비동기 수명 주기 동안 임시 상태가 존재한다는 점을 보안 컴플라이언스 문서에 명시해야 한다.
- 6) 후속 턴 우선순위·할인 연속성 조건:
continuation_id를 넘기더라도 중간 턴에서model을 상위·하위 모델로 바꾸거나(예:gpt-6.2-astra→gpt-6.2-sol),completion_window를8h에서2h로 변경하거나, API 프로젝트가 달라지면 스케줄러의 연속 우선순위 매칭 조건이 깨진다.
| 비교 항목 | Background ( soonest) | Background ( 2h · 8h) | Batch API ( /v1/batches) | Legacy Flex ( service_tier: "flex") |
| 실행 방식 · 연결 | 비동기 큐(즉시 시작 목표), 웹훅·폴링 회수 | 비동기 큐(시간 윈도우 목표), 웹훅·폴링 회수 | JSONL 파일 업로드 기반 일괄 비동기(최대 50,000건) | 동기 HTTP 연결(가변 지연 및 유휴 용량 대기) |
| 완료 목표 · 토큰 할인 | 최단 시간(보장 없음) 할인 0% (표준 단가) | 2h: 30% 할인 8h: 40% 할인 | 24시간 내 완료 목표 표준 대비 50% 할인 | 지연 변동 큼(HTTP 429 가능) Batch 수준(50% 할인) |
| 멀티턴 · 툴 루프 | 지원 ( previous_response_id 체인) | 지원 ( continuation_id로 후속 턴 우선순위·할인 유지) | 미지원 (사전 정의된 정적 단일 턴 요청 묶음) | 단일 요청 기준(에이전트 루프마다 429 재시도 부담) |
| GPT-6.2 지원 여부 | 지원 | 지원 ( gpt-6.2-astra, gpt-6.2-sol, gpt-6.1-terra, gpt-6-luna) | 모델별 Batch 지원 여부 따름 | GPT-6.2 미지원 ( 2h/8h 윈도우로 대체됨) |
| 캐시 풀 · Rate Limit | 일반 대화형 트래픽과 프롬프트 캐시 풀 공유 | 실시간 캐시 풀 격리 Batch/Background 큐 풀 공유 | 실시간 풀과 격리 Batch/Background 큐 풀 공유 | 저우선순위 잉여 용량 풀 사용(가용성 보장 없음) |
| 주요 적합 워크로드 | 장시간 추론·딥 리서치 UX(빠른 완료 필요) | 반나절 문서 분류( 2h)·야간 다중 턴 코드/데이터 감사(8h) | 툴 호출 없는 대규모 오프라인 평가·임베딩·정적 추출 | 구형 모델 기반 동기식 저비용 백필(신규 모델 제외) |
3. 실전 Responses API 연동과 로컬 Python 계약 사전 검증 스크립트
3.1 Responses API 8h 멀티턴 제출 및 Webhook 수명 주기 흐름
POST /v1/responses로 초기 비동기 턴을 큐에 넣고, response.completed 웹훅을 검증해 결과를 조회한 뒤 동일한 continuation_id로 후속 턴을 연결하는 기본 흐름이다.
3.2 Python 표준 라이브러리 기반 Background Completions 사전 검증기
실제 OpenAI API에 대량 야간 에이전트 작업을 던지기 전에, service_tier: "default"·stream: false·적격 모델 계약, GPT-6.2 flex 차단, 멀티턴 continuation_id 및 모델·윈도우 드리프트, 실시간 ↔ 2h/8h 프롬프트 캐시 풀 격리 오해, Batch API와의 공유 Queued Input Tokens 초과, 그리고 ZDR/store: false 임시 암호화 저장 경계를 로컬에서 사전 감사하는 Python 스크립트(verify_openai_background_completions.py)다.
로컬 Python 3 실행 결과, soonest(0%)·2h(30%)·8h(40%)·service_tier: "auto" 미할인 시나리오 계산, GPT-6.2 flex 사용·stream: true·background: false·프롬프트 캐시 공유 오해·continuation_id 누락 등 단일 요청 6건 위반 탐지, ZDR/store: false 임시 저장 안내, 멀티턴 5가지 드리프트 탐지, Batch API와의 공유 Queued Input Tokens 초과 탐지, 그리고 정상 gpt-6.2-astra 8h 멀티턴 워크플로의 무오류 통과(ALL CHECKS PASSED)를 모두 확인했다.
4. 실무 도입 및 운영 점검 체크리스트
service_tier: "default"와 stream: false 고정 및 적격 모델 확인: 2h(-30%)·8h(-40%) 윈도우를 적용할 작업은 적격 모델(gpt-6.2-astra·gpt-6.2-sol·gpt-6.1-terra·gpt-6-luna)인지 확인하고, 요청 빌더에서 service_tier="default"와 stream=False를 강제 검증한다. 기존 flex 파이프라인은 GPT-6.2 업그레이드 시 2h·8h로 이전한다.
멀티턴 에이전트 루프에 continuation_id 고정 전달: 워크플로 실행 단위(예: run_id)를 background_options.continuation_id에 매핑하고, 툴 호출 후속 턴에서 model·completion_window·service_tier·API 프로젝트가 바뀌지 않도록 컨텍스트 불변식을 유지한다.
Webhooks 서명 검증 및 webhook-id 멱등성 처리: 2h·8h 작업에는 장시간 폴링 대신 response.completed 웹훅을 연결하고, OPENAI_WEBHOOK_SECRET 서명 검증과 webhook-id 기반 중복 제거 테이블을 둔다.
Batch API와 2h·8h 대기열 스케줄 분산: 기존 /v1/batches 작업과 2h·8h 에이전트 작업이 모델별 Queued Input Tokens 상한을 공유하므로, 야간 대량 Batch 업로드 시간대와 8h 에이전트 배치 기동 시각을 분산한다.
프롬프트 캐시 예산 및 ZDR 임시 상태 컴플라이언스 분리: 2h·8h 작업이 실시간 트래픽의 프롬프트 캐시를 워밍업하거나 재사용하지 못함을 전제로 캐시 히트율·비용을 산정하고, ZDR·store: false 조직에서는 비동기 완료 시점까지의 임시 암호화 보관 예외를 보안 정책에 반영한다.
5. 참고 자료 및 공식 출처 (2026-11-20 확인)
확인 기준일: November 20, 2026