Langfuse AI Gateway 베타: 키 분리 전에 추적 범위·비용·모델 권한 점검하기

개별 접근 키와 중앙 공급자 자격 증명, 사용량·본문 추적의 선택을 표현한 생성형 이미지. 실제 제품 화면이나 구현 구조도는 아니다.

팀원이 같은 공급자 API 키를 복사해 쓰면 누가 어떤 모델에 비용을 썼는지 나누기 어렵다. 퇴사자 접근을 끊을 때 공유 서비스까지 멈출 수도 있다. Langfuse가 November 4, 2026 공개한 AI Gateway 베타는 공급자 키를 중앙에 두고 개인·서비스용 게이트웨이 키로 호출하게 한다. OpenAI Responses·Chat Completions와 Anthropic Messages의 원래 형식 및 스트리밍을 전달하며, 서로 다른 API 형식으로 번역하지는 않는다. 공식 발표

도입의 출발점은 URL 교체보다 누가 호출할 수 있고, 무엇을 저장하며, 어디까지 비용을 믿을 것인지 정하는 일이다. 아래는 공개 문서에서 확인한 기능과 이를 바탕으로 제안하는 운영 점검이다.

1. 개인 개발과 CI는 키의 수명부터 다르다

사용자 키는 만든 사람에게 속한다. 폐기·만료뿐 아니라 그 사람이 조직을 떠나거나 게이트웨이 권한을 잃어도 작동을 멈춘다. 반면 관리자·소유자가 만드는 서비스 계정 키는 조직에 속해 구성원 변경의 영향을 받지 않는다. CI와 공유 서비스에 개인 키를 넣으면 인사·권한 변경이 배포 장애로 이어질 수 있다. 키 종류와 수명

사용자 키의 trace user는 소유자 이메일이며, 이메일을 알 수 없으면 Langfuse 사용자 ID다. 클라이언트가 덮어쓸 수 없다. 서비스 키는 langfuse-user-id 헤더 등으로 전달한 식별자를 사용할 수 있다. 따라서 서비스 키의 사용자 표시는 애플리케이션이 전달한 값이라는 점을 고려해야 한다.

두 종류 모두 조직의 공급자 자격 증명에서 허용한 모델을 호출할 수 있다. 키를 나누었다고 팀별 모델 권한까지 자동 분리되는 것은 아니다. team 같은 키 메타데이터는 비용 분류에 유용하지만 접근 제어 정책으로 취급하면 안 된다. 인증·사용자 식별 규칙

2. ‘모든 모델 허용’은 앞으로 나올 모델에도 적용된다

모델 허용 범위는 공급자 자격 증명마다 관리한다. 모든 모델을 활성화한 자격 증명은 공급자가 나중에 공개하는 모델도 허용한다. 하나라도 끄면 명시적인 목록으로 바뀌며, 새 모델은 관리자가 켜기 전까지 비활성 상태다. 승인된 모델만 쓰려는 조직이라면 이 차이를 먼저 확인해야 한다. 모델 관리

모델 ID는 credential:model 형태를 사용할 수 있다. 일부 공급자 원래 이름도 지원하지만 접두사가 없으면 가장 오래된 일치 자격 증명으로 라우팅한다. 공급자 계정이 여러 개인 환경에서는 어느 자격 증명이 선택될지 명시하는 편이 검토하기 쉽다. 자격 증명을 이름 변경하면 접두사도 바뀌므로 클라이언트 설정을 함께 확인한다. 모델 ID 규칙

3. USAGE와 FULL은 디버깅 편의 이상의 선택이다

조직 전체에 적용되는 기본 추적 모드는 USAGE다. 입력·출력 본문 없이 사용량, 비용, 모델 정보와 관련 메타데이터를 기록한다. FULL은 여기에 시스템 프롬프트, 도구 정의, 대화·도구 결과와 출력 등을 더한다. 추적을 끄는 NONE은 자체 호스팅에서만 제공된다. 추적 모드

소스 코드나 고객 자료가 프롬프트·도구 결과에 들어간다면 FULL 전환은 별도의 데이터 보존 결정이다. USAGE도 익명 모드는 아니다. 사용자·키·세션 정보 등이 남을 수 있으므로 접근권한과 보존 기간을 검토한다. 또한 입력을 기록하지 않는다고 요청이 공급자에게 전달되지 않는 것은 아니다. Cloud의 추적은 조직의 Langfuse 리전에 저장되고, 모델 요청은 공급자에게 전달된다. 저장 위치와 전달 경계

기존 SDK가 같은 모델 호출을 이미 계측한다면 게이트웨이와 중복 기록될 수 있다. 애플리케이션 상위 span은 유지하되 동일 호출을 두 번 생성으로 기록하지 않도록 점검한다. 기존 추적과 결합

4. 비용 대시보드가 지출 차단 장치는 아니다

현재 공식 로드맵에는 하드 지출 상한, 공급자 간 폴백, PII 삭제와 가드레일 등이 포함돼 있다. 지금 제공되는 기능으로 전제하면 안 된다. 게이트웨이 도입만으로 예산 초과가 차단되거나 민감정보가 자동 제거된다고 설명하지 않는다. 현재 기능과 로드맵

요금도 두 층으로 나뉜다. 공급자의 모델 사용료는 원래 공급자 계정에 청구되고, 게이트웨이가 기록한 generation은 Langfuse의 과금 단위에 포함된다. USAGE를 선택했다는 이유만으로 기록 비용이 없다고 판단할 수는 없다. 게이트웨이 과금 기준

베타 제한 문서는 캐시 쓰기 비용 계산의 알려진 오류도 명시한다. OpenAI cache_write_tokens는 0달러로 계산되고, Anthropic 1시간 캐시 쓰기는 5분 요율로 계산되는 문제가 있다. 실패·취소 요청에서 공급자 사용량이나 제출 비용이 없으면 비용 상세가 비어 있을 수 있으며, 이를 무료 호출로 해석하면 안 된다. 실제 정산과 예산 통제는 공급자 기록 및 별도로 검증한 통제를 함께 사용해야 한다. 알려진 제한

게이트웨이 자체는 자동 재시도·폴백·캐싱을 제공하지 않는다. 다만 Codex 같은 클라이언트는 실패 요청을 재시도하며, 각 시도가 별도 generation으로 기록될 수 있다. 재시도 횟수와 기록 건수를 함께 확인한다. 게이트웨이 제한, Codex의 재시도

5. Codex는 연결 성공과 기능 유지 여부를 따로 본다

공식 가이드는 Codex CLI 0.157 이상과 OPENAI 공급자 자격 증명을 요구하며 0.157.0으로 검증했다고 밝힌다. 설정에서는 게이트웨이의 OpenAI 경로, 키 환경변수, wire_api = "responses"를 사용한다. 리전별 호스트가 다르므로 예제의 EU 주소를 무조건 복사하지 않는다. Codex 연결 가이드, 리전별 첫 요청 안내

게이트웨이는 HTTP SSE를 제공하며 WebSocket 기능은 지원하지 않는다. Codex의 내장 image_gen도 이 사용자 지정 공급자에서는 숨겨진다고 안내한다. 별도 이미지 CLI가 공급자에 직접 호출하면 그 요청은 게이트웨이를 우회한다. 텍스트 한 건이 성공했다는 이유로 기존 작업 전체가 동일하게 동작한다고 보지 않는다. Codex 기능 제한

긴 대화의 저장 한계도 있다. 요청 본문이 5 MiB를 넘으면 입력 기록을 생략하고, 출력은 1 MiB를 넘는 부분이 잘릴 수 있다. 후자는 클라이언트에 전달되는 응답 자체를 자르는 제한이 아니다. 추적이 존재해도 전체 대화가 보존됐다고 단정할 수 없다. 기록 크기 제한

문서에 안내된 베타 요청 한도는 본문 16 MiB, 호출 600초·무진행 120초다. 자체 호스팅에서는 요청 한도를 조정할 수 있다. Cloud에는 조직 전체 키·프로젝트에 걸친 분당 요청 수와 본문 용량 제한도 적용된다. 저장 한계와 요청 실패 조건을 구분해 시험한다. 요청·속도 제한