프롬프트만 바꿨는데 서비스가 망가질 때: AWS AppConfig로 점진 배포하기
AWS AppConfig의 두 AI 설정 프로필로 프롬프트·모델 변경을 나눠 검증하고, 관측 지표와 복구 절차를 정리한다.
프롬프트와 모델 설정이 각각의 배포 단계를 거치는 모습을 표현한 AI 생성 개념 이미지. 실제 제품 화면은 아니다.
코드는 그대로인데 프롬프트 한 줄을 고친 뒤 응답 파서가 줄줄이 실패할 수 있다. 프롬프트도 런타임 설정으로 버전을 남기고, 일부 환경이나 사용자에게 먼저 적용한 뒤 품질을 확인해야 하는 이유다. AWS는 2026년 11월 19일 AppConfig에 모델 호출 설정과 프롬프트 설정 전용 프로필을 추가했다. 모델을 그대로 두고 프롬프트만 바꾸거나, 반대로 기존 프롬프트를 유지하면서 모델을 바꿀 수 있다. AWS 공식 발표
배포 단위를 둘로 나눈다
AWS.AppConfig.AIModelInvocation에는 모델 ID, 최대 토큰 등 추론 파라미터, 메시지와 공급자별 옵션을 담는다. AppConfig는 저장과 배포 때 모델 호출 설정을 스키마에 맞춰 검증한다. 하지만 설정을 공급자 API 형식으로 변환하고 실제 모델을 호출하는 건 애플리케이션의 몫이다. 모델 ID가 해당 리전과 계정에서 사용 가능한지, 출력이 앱의 계약을 만족하는지도 통합 테스트에서 따로 확인한다. 모델 프로필 문서
AWS.AppConfig.AIPrompt는 별도 버전으로 관리하는 텍스트다. 기존 앱이 이미 모델 프로필의 messages에서 시스템 지시문을 읽고 있다면, 분리한 뒤 어느 쪽이 우선인지 앱 코드에서 정한다. 양쪽의 시스템 지시문을 의도 없이 합치면 프롬프트만 바꿨다고 생각했는데 실제 모델 입력은 다를 수 있다. 변수 치환과 필수 변수 검증 역시 애플리케이션에서 처리한다. 프롬프트 프로필 문서
배포 버전과 실행 결과를 함께 기록한다
아래는 AppConfig Agent가 이미 실행 중인 개발 환경에서, 공식 문서의 로컬 엔드포인트 형식으로 배포된 두 설정을 읽는 예다. 이름은 실제 환경에 맞춘다. 이 명령은 모델을 호출하지 않는다.
운영에서는 요청을 처리할 때 실제 사용한 모델 설정 버전과 프롬프트 버전을 함께 기록한다. 원문 프롬프트나 사용자 입력을 로그에 그대로 남기는 대신 버전 식별자와 오류 유형을 남긴다. 우선 기존 모델과 새 프롬프트 조합을 스테이징에서 검증하고, 그 조합만 소규모 운영 배포에 넣는다. 두 프로필의 독립 배포를 원자적인 동시 전환으로 가정하지 않는다. 반드시 한 쌍으로만 작동하는 변경이라면 이전·이후 버전 조합을 모두 검증하거나 앱에서 단일 릴리스 단위로 묶는다.
에러율만 보고 확대하지 않는다
예를 들어 응답이 JSON이어야 한다면 HTTP 200 비율뿐 아니라 JSON 파싱 실패율, 스키마 불일치율, 토큰 사용량과 지연도 새 버전과 이전 버전으로 나눠 본다. 사용자 요청이 적을 때는 표본이 쌓이기 전에 배포 비율을 늘리지 않는다. 조건을 먼저 정해서 CloudWatch 경보를 배포에 연결하고, 테스트 환경에서 실제로 경보가 울렸을 때 이전 설정을 읽는지 확인한다. 자동 롤백은 경보가 감지하는 실패에만 대응한다. 관련성이나 답변 품질처럼 바로 계측하기 어려운 항목은 별도의 평가 입력 세트로 확인한다.
배포 중 자동 롤백과 완료 후 수동 복구는 다르다. AWS 문서상 완료된 배포를 StopDeployment의 AllowRevert로 되돌릴 수 있는 기간은 성공 후 72시간이다. 그 뒤에는 이전 구성을 새로 배포해야 한다. 검증된 이전 버전을 복구 대상으로 남기고, 되돌린 설정이 앱에 반영되는지까지 확인한다. AWS 복구 문서
기능과 제한은 AWS 공식 문서를 기준으로 확인했다. 실제 AWS 배포, 모델 호출, 성능 측정은 하지 않았다.