Huny's Dev Blog
huny.dev

GitHub Copilot Evals 공개 프리뷰: 스킬·MCP 변경 전후를 회귀 검증하기

Copilot Evals의 반복 평가 흐름과 Vally 실행 기록을 살펴본다. 텍스트 처리 스킬 예시로 결과·행동 조건을 분리하고 실행 비용, 권한, 공유 전 검토 사항을 정리한다.

Hun Jang
Hun Jang Nov 18, 2026

같은 입력으로 두 에이전트 구성을 비교하고 차이가 생긴 단계를 살펴보는 생성형 개념 이미지다. 실제 Copilot Evals 화면이 아니다.

에이전트 스킬을 고친 뒤 한 번 좋은 답을 받았다고 개선됐다고 결론 내리기는 어렵다. 다른 입력에서는 퇴행했을 수 있고, 정답을 만들면서 원본 파일을 바꾸거나 불필요한 도구를 호출했을 수도 있다. 입력과 합격 기준을 고정하고 변경 전후를 반복 비교하는 평가가 필요하다.

GitHub는 November 17, 2026 GitHub Copilot Evals 공개 프리뷰를 발표했다. 스킬·커스텀 에이전트·MCP 도구를 대상으로 평가를 만들고 실행 결과를 비교하는 기능이다. 공식 공지는 Copilot Individual·Business·Enterprise 플랜을 지원 대상으로 안내한다. 이 글은 공식 발표와 저장소 문서를 검토한 가이드다. 설치·유료 모델 호출·실제 평가 실행은 하지 않았다. 공식 발표

모델 순위표와 내 작업 평가는 다른 질문에 답한다

같은 날 GitHub의 공개 벤치마크에는 하네스 비교 화면도 추가됐다. 같은 모델과 medium 추론 수준으로 맞춘 Copilot CLI·Claude Code·Codex CLI 결과를 비교하며, 해결률과 작업당 비용, 반복 실행의 변동을 보여준다. 짝이 맞지 않는 구성은 제외한다. 하네스 비교 발표

이런 자료는 도구 선택의 출발점이 된다. 하지만 우리 저장소에서 “설정 파일은 건드리지 않고 함수 하나만 고친다” 같은 요구를 충족하는지는 별도 문제다. 공개 벤치마크의 높은 점수를 특정 프로젝트의 성공률로 옮겨 적어서는 안 된다.

Copilot Evals는 후자의 확인에 초점을 둔다. 현실적인 작업과 기대 행동을 정의하고, 결과뿐 아니라 수행 과정을 살핀다. 스킬이나 도구 구성을 바꾼 뒤 같은 평가를 다시 돌리는 방식이다. 평가의 목적

결과 파일과 실행 경로를 함께 본다

평가 엔진은 Microsoft의 Vally다. Vally는 입력, 실행기, 실행 기록, 채점기, 점수로 이어지는 구조를 설명한다. 실행 기록에는 대화와 도구 호출, 토큰 사용 등이 남고, 채점기는 이를 기준으로 행동을 검사한다. Vally 평가 흐름

실무에서는 합격 조건을 두 층으로 나누는 편이 유용하다.

  • 결과 조건: 기대한 파일이 생성됐는가, 필수 항목이 빠지지 않았는가, 원래 의미가 유지됐는가.
  • 행동 조건: 입력 파일을 수정하지 않았는가, 허용하지 않은 외부 호출을 하지 않았는가, 실패를 성공으로 보고하지 않았는가.

이 구분은 도구가 자동으로 보장하는 품질 선언이 아니라 평가 설계 제안이다. 결과가 맞아도 금지한 행동이 있었다면 실패로 기록해야 한다.

작은 텍스트 처리 작업으로 시작하기

다음은 공개 가능한 합성 데이터로 만든 평가 작성 요청 예시다. Copilot Evals의 YAML 문법이나 실제 실행 결과가 아니다.

숫자·코드의 보존은 비교적 명확한 규칙으로 검사할 수 있다. 반면 부정 표현의 의미가 같은지는 문자열 일치만으로 판단하기 어렵다. 기계적으로 확인 가능한 조건을 먼저 분리하고, 의미 판단에는 별도 검토 기준을 둔다.

개선에 사용한 사례만 반복하면 평가에 맞춘 수정이 되기 쉽다. 실제 배포 판단에는 수정 과정에서 보지 않은 사례도 별도로 남기는 편이 좋다. 입력·모델·도구 버전·실행 조건을 함께 기록해야 차이의 원인을 좁힐 수 있다.

설치와 실행 승인을 분리한다

VS Code에서는 GitHub가 게시한 GitHub.copilot-evals 확장을 사용할 수 있다. Copilot CLI에서는 공식 저장소가 다음 설치 명령을 안내한다.

CLI의 /eval 명령과 Canvas에는 현재 실험 모드가 필요하다. 자연어로 스킬을 요청하는 경로와 명령·화면 지원을 혼동하지 않는다. 최신 요구 버전과 설치 방식은 공식 README에서 다시 확인한다.

정의를 저장하는 일과 평가를 실행하는 일도 별개다. 공식 문서는 저장 결과의 읽기·비교와 파일 검증에는 모델 호출이 없다고 설명한다. 실행이나 채점기 시험은 효과와 토큰·크레딧 비용 검토 후 승인하며, 스크립트·도구·AI 채점기가 코드를 실행하거나 비용을 발생시킬 수 있다. 로컬 평가 엔진이라는 말이 모든 과정의 무료·오프라인 실행을 뜻하지는 않는다. 실행과 비용

기록을 공유하기 전에 확인할 것

저장된 평가 결과에는 작업 입력과 출력, 실행 맥락이 포함될 수 있다. 팀에 전달하기 전에 비밀값과 비공개 자료가 섞이지 않았는지 확인한다.

독립 Plugin의 제품 텔레메트리는 기본 활성화로 안내되며, VS Code 확장은 편집기의 텔레메트리 설정을 따른다. 또한 공개 저장소지만 라이선스는 오픈소스로 분류하지 않는다고 명시한다. 사내 사용과 재배포·서비스화를 같은 권한으로 보지 않는다. 개인정보 및 라이선스 안내

처음부터 큰 평가 세트를 만들 필요는 없다. 자주 실패하는 작업 하나에서 결과 조건과 금지 행동을 명확히 적고, 수정 전후의 결과를 남기는 것부터 시작한다. 한 번의 통과보다 반복해서 무엇이 좋아졌고 무엇이 나빠졌는지 설명할 수 있는 기록이 중요하다.

추천 글