오탐률 1%인데 경보 대부분이 오탐인 이유: 기저율과 정밀도
가상의 장애 탐지 예제로 오탐률과 경보 중 오탐 비율을 구분하고, 기저율이 정밀도에 미치는 영향과 배포 전 검증 절차를 설명한다.
드문 실제 신호가 여러 경보에 섞이는 상황을 표현한 AI 생성 개념 이미지. 불빛 개수는 예제 수치가 아니다.
오탐률이 1%라면 경보 100건 중 99건은 실제 장애일까? 그렇지 않다. 오탐률은 정상 상황을 기준으로 계산하고, 경보가 맞을 확률은 울린 경보를 기준으로 계산한다. 실제 장애가 드물면 정상 구간의 1%만 잘못 울려도 경보 대부분이 오탐일 수 있다.
10만 개 관측 구간에서 무슨 일이 생기나
각 구간에 실제 이상 유무가 하나씩 있고 탐지기가 구간마다 경보 여부를 한 번 결정한다고 가정한다. 100,000개 구간 중 실제 이상은 100개(기저율 0.1%)다. 탐지기는 이상 구간의 99%를 잡고, 정상 구간의 1%에서 잘못 울린다.
- 이상 구간 100개 중 99개에서 경보가 울리고 1개는 누락된다.
- 정상 구간 99,900개 중 999개에서 경보가 잘못 울린다.
- 전체 경보는 1,098개다. 그중 실제 이상은 99개이므로 **경보 정밀도는 99 / 1,098 ≈ 9.02%**다. 경보 중 오탐 비율은 약 90.98%다.
세 지표의 분모가 다르다. 재현율은 실제 이상 중 잡은 비율(TP / (TP + FN)), 오탐률은 정상 중 잘못 울린 비율(FP / (FP + TN)), 정밀도는 경보 중 실제 이상 비율(TP / (TP + FP))이다. TP는 맞게 울린 경우, FP는 잘못 울린 경우, FN은 놓친 이상, TN은 울리지 않은 정상이다. Google 분류 지표 안내 · scikit-learn 정밀도 정의
같은 탐지기도 환경에 따라 다르게 보인다
관찰된 경보를 고정해 보면, 실제 이상 가설에서 경보가 나올 확률 99%는 정상 가설에서의 1%보다 99배 크다. 이 우도비 99는 경보라는 증거가 두 가설을 얼마나 다르게 지지하는지 보여 주지만, 실제 장애일 확률이 99%라는 뜻은 아니다. 출발점인 이상 발생 비율도 필요하다.
재현율과 오탐률이 그대로라는 가정에서 기저율만 1%로 올리면, 100,000개 관측 구간에서 맞은 경보 990개와 오탐 990개가 나온다. 정밀도가 50%로 바뀐다. 운영 환경이 달라지면 재현율과 오탐률도 함께 바뀔 수 있으므로, 이 숫자는 기저율만 바꾼 가상 비교다.
같은 식을 로컬 Python에서 검산한 값은 각각 **9.02%, 50.00%**다. 실제 탐지 모델의 성능을 측정한 값은 아니다.
배포 전에 무엇을 세어야 하나
- 관측 단위를 먼저 정한다. 요청 한 건인지, 서비스별 5분 구간인지 명시한다. 한 장애가 여러 경보를 만들 수 있으므로 구간 단위 성능과 중복 제거 후 운영자 알림량을 섞지 않는다.
- 경보가 없었던 일부 구간도 검토한다. 경보만 확인하면 정밀도는 추정할 수 있어도 놓친 이상과 전체 정상 수를 알기 어렵다. 결과 라벨을 붙일 기준을 먼저 정하고 분모와 건수를 함께 남긴다.
- 실제 운영 분포에서 검증한다. 이상 구간을 의도적으로 많이 넣은 테스트셋의 정밀도는 운영 정밀도를 그대로 보여 주지 않는다. 서비스별·시간대별로 분리해 보고, 경보량과 놓친 이상 건수를 함께 본다.
- 임계값은 대응 비용으로 정한다. 정밀도만 높이려다 심각한 장애를 놓칠 수 있다. 낮은 확신의 이벤트는 관찰용으로 모으고, 즉시 호출 기준은 운영자가 감당할 경보량과 미탐 비용을 함께 반영한다.
대시보드에 “오탐률 1%”만 적기보다, 정상 구간 99,900개 중 오탐 999개 / 실제 경보 1,098개 중 적중 99개처럼 분모를 붙인다. 같은 숫자라도 무엇을 기준으로 셌는지 보이면 경보를 조정할 근거가 된다.