Huny's Dev Blog
huny.dev

오탐률 1%인데 경보 대부분이 오탐인 이유: 기저율과 정밀도

가상의 장애 탐지 예제로 오탐률과 경보 중 오탐 비율을 구분하고, 기저율이 정밀도에 미치는 영향과 배포 전 검증 절차를 설명한다.

Hun Jang
Hun Jang Nov 21, 2026

드문 실제 신호가 여러 경보에 섞이는 상황을 표현한 AI 생성 개념 이미지. 불빛 개수는 예제 수치가 아니다.

오탐률이 1%라면 경보 100건 중 99건은 실제 장애일까? 그렇지 않다. 오탐률은 정상 상황을 기준으로 계산하고, 경보가 맞을 확률은 울린 경보를 기준으로 계산한다. 실제 장애가 드물면 정상 구간의 1%만 잘못 울려도 경보 대부분이 오탐일 수 있다.

10만 개 관측 구간에서 무슨 일이 생기나

각 구간에 실제 이상 유무가 하나씩 있고 탐지기가 구간마다 경보 여부를 한 번 결정한다고 가정한다. 100,000개 구간 중 실제 이상은 100개(기저율 0.1%)다. 탐지기는 이상 구간의 99%를 잡고, 정상 구간의 1%에서 잘못 울린다.

  • 이상 구간 100개 중 99개에서 경보가 울리고 1개는 누락된다.
  • 정상 구간 99,900개 중 999개에서 경보가 잘못 울린다.
  • 전체 경보는 1,098개다. 그중 실제 이상은 99개이므로 **경보 정밀도는 99 / 1,098 ≈ 9.02%**다. 경보 중 오탐 비율은 약 90.98%다.

세 지표의 분모가 다르다. 재현율은 실제 이상 중 잡은 비율(TP / (TP + FN)), 오탐률은 정상 중 잘못 울린 비율(FP / (FP + TN)), 정밀도는 경보 중 실제 이상 비율(TP / (TP + FP))이다. TP는 맞게 울린 경우, FP는 잘못 울린 경우, FN은 놓친 이상, TN은 울리지 않은 정상이다. Google 분류 지표 안내 · scikit-learn 정밀도 정의

같은 탐지기도 환경에 따라 다르게 보인다

관찰된 경보를 고정해 보면, 실제 이상 가설에서 경보가 나올 확률 99%는 정상 가설에서의 1%보다 99배 크다. 이 우도비 99는 경보라는 증거가 두 가설을 얼마나 다르게 지지하는지 보여 주지만, 실제 장애일 확률이 99%라는 뜻은 아니다. 출발점인 이상 발생 비율도 필요하다.

재현율과 오탐률이 그대로라는 가정에서 기저율만 1%로 올리면, 100,000개 관측 구간에서 맞은 경보 990개와 오탐 990개가 나온다. 정밀도가 50%로 바뀐다. 운영 환경이 달라지면 재현율과 오탐률도 함께 바뀔 수 있으므로, 이 숫자는 기저율만 바꾼 가상 비교다.

같은 식을 로컬 Python에서 검산한 값은 각각 **9.02%, 50.00%**다. 실제 탐지 모델의 성능을 측정한 값은 아니다.

배포 전에 무엇을 세어야 하나

  1. 관측 단위를 먼저 정한다. 요청 한 건인지, 서비스별 5분 구간인지 명시한다. 한 장애가 여러 경보를 만들 수 있으므로 구간 단위 성능과 중복 제거 후 운영자 알림량을 섞지 않는다.
  1. 경보가 없었던 일부 구간도 검토한다. 경보만 확인하면 정밀도는 추정할 수 있어도 놓친 이상과 전체 정상 수를 알기 어렵다. 결과 라벨을 붙일 기준을 먼저 정하고 분모와 건수를 함께 남긴다.
  1. 실제 운영 분포에서 검증한다. 이상 구간을 의도적으로 많이 넣은 테스트셋의 정밀도는 운영 정밀도를 그대로 보여 주지 않는다. 서비스별·시간대별로 분리해 보고, 경보량과 놓친 이상 건수를 함께 본다.
  1. 임계값은 대응 비용으로 정한다. 정밀도만 높이려다 심각한 장애를 놓칠 수 있다. 낮은 확신의 이벤트는 관찰용으로 모으고, 즉시 호출 기준은 운영자가 감당할 경보량과 미탐 비용을 함께 반영한다.

대시보드에 “오탐률 1%”만 적기보다, 정상 구간 99,900개 중 오탐 999개 / 실제 경보 1,098개 중 적중 99개처럼 분모를 붙인다. 같은 숫자라도 무엇을 기준으로 셌는지 보이면 경보를 조정할 근거가 된다.

추천 글