수천 개의 문서에서 근거 찾기와 발표 자료 생성: Hebbia가 평가한 GPT-6 Astra

OpenAI가 공개한 Hebbia의 GPT-6 Astra 평가 인터뷰 영상은 대규모 문서를 다루는 금융·투자 리서치 환경에서 모델을 어떤 기준으로 평가하는지를 보여준다. 엔터프라이즈 AI 플랫폼 Hebbia의 제품 및 기술 스태프인 Kavita Anand는 자체 내부 평가에서 GPT-6 Astra가 기존에 테스트한 다른 모델들과 비교해 두 가지 핵심 영역에서 두 자릿수(double-digit) 이상의 성능 향상을 기록했다고 설명한다.

결론부터 말하면, 수천 개의 문서를 다루는 엔터프라이즈 리서치에서 모델의 가치는 그럴듯한 요약문을 쓰는 데 있는 것이 아니라, 질문에 답하기 위해 가장 정확한 원본 출처를 골라내는 능력(Citation Source Selection)과 조직의 양식 가이드라인을 엄격히 지키는 최종 산출물(PowerPoint 등) 생성 능력에 달려 있다. 다만 이 글은 OpenAI와 Hebbia가 공개한 인터뷰 내용을 바탕으로 평가 지표와 적용 관점을 정리한 것이며, 구체적인 벤치마크 데이터셋이나 경쟁 모델 대비 상세 점수표까지 공개된 것은 아니다.

금융·리서치 워크플로에서 두 자릿수 격차가 난 두 영역

일반적인 챗봇 평가에서는 단일 질문에 대한 답변의 유창성을 주로 본다. 하지만 수천만~수억 달러 규모의 자본 배분(capital deployment) 의사결정을 뒷받침하는 금융 데이터룸(data room) 환경에서는 평가 기준이 달라진다.

영상에서 Hebbia가 꼽은 GPT-6 Astra의 두 가지 핵심 우위 영역은 다음과 같다.

첫 번째는 검색된 문서 중 무엇을 근거로 삼을지 고르는 판단력이고, 두 번째는 추출한 근거를 현업이 요구하는 최종 문서 포맷으로 조립하는 정밀도다.

단순 검색(Retrieval)과 인용 출처 선택(Citation Selection)의 차이

RAG(검색 증강 생성) 파이프라인을 구축할 때 흔히 벡터 유사도 상위 K개의 청크를 가져오는 검색(retrieval) 단계에만 집중하기 쉽다. 하지만 실제 기업의 데이터룸에는 초안, 수정본, 요약본, 세부 부록 등 비슷한 키워드를 공유하는 수많은 문서가 섞여 있다.

The first one is what we call citation source selection, which means are you finding the right document or the right source to answer a question. And as you can imagine in finance, when you're looking at a data room with thousands of documents, that's extremely important.

따라서 후보 문서들을 가져온 뒤, 어느 문서가 가장 권위 있고 질문의 맥락에 정확히 부합하는지 가려내는 인용 출처 선택(citation source selection) 능력이 별도로 요구된다. 텍스트를 매끄럽게 요약하더라도 엉뚱한 문서를 인용하면 실무에서는 사용할 수 없기 때문이다.

텍스트 답변을 넘어선 가이드라인 준수 아티팩트 생성

리서치의 최종 단계는 채팅창의 텍스트가 아니라 의사결정권자에게 제출할 보고서나 발표 자료(PowerPoint deck)다. 기존 모델들은 내용을 요약해 줄 수는 있어도, 슬라이드 구조나 사용자 가이드라인(user guidelines)을 세밀하게 지키는 데 한계가 있었다.

Hebbia의 내부 평가 요약에 따르면 GPT-6 Astra는 사전 정의된 브리프(brief)와 사용자 지침을 이전 버전보다 약 17% 더 충실하게 준수하며 완성도 높은 프레젠테이션 결과물을 생성했다. Hebbia의 Astra 평가 공유 내용

What is amazing about Astra is its ability to create really precise outputs and artifacts like PowerPoints that adhere to user guidelines.

이는 모델의 역할이 ‘초안 텍스트 작성자’에서 **엄격한 제약 조건(포맷, 분량, 근거 표기 규칙)을 지키는 ‘최종 아티팩트 생성기’**로 이동하고 있음을 보여준다.

사내 문서 분석 및 보고서 생성 파이프라인 점검 기준

대규모 문서를 바탕으로 보고서나 슬라이드를 자동 생성하는 시스템을 설계할 때는 다음 항목을 평가 지표로 삼을 만하다.

• 출처 선택의 정확도 측정: 답변 텍스트의 품질만 채점하지 말고, 정답의 근거가 되는 정확한 문서 ID와 페이지를 인용했는지(Citation Source Selection)를 별도 지표로 분리해 평가한다.

• 상충하는 문서 간의 우선순위 처리: 데이터룸 내에 구버전 문서와 최신 확정본이 함께 있을 때, 모델이 메타데이터와 문맥을 보고 최신 문서를 선택하는지 확인한다.

• 가이드라인 준수 여부(Instruction Following) 검증: 생성된 PowerPoint나 보고서가 지정된 템플릿 규칙, 표 구성, 인용 표기 방식을 빠짐없이 지켰는지 자동 검증 단계를 둔다.

• 근거 추적성(Traceability) 유지: 최종 슬라이드에 들어간 숫자나 주장을 클릭했을 때 원본 데이터룸의 해당 문단으로 바로 연결되어 사람이 최종 검수할 수 있는 구조인지 확인한다.

결국 고위험·고비용 의사결정을 다루는 도메인에서는 “얼마나 빨리 요약하는가”보다 “수천 개의 파일 중 정확한 출처를 골라내고, 사람이 다시 손대지 않아도 되는 양식으로 뽑아주는가”가 모델 선택의 실질적인 기준이 된다.

참고 자료

• YouTube — Hebbia on Astra: Better research, better presentations | OpenAI

• Hebbia — AI Platform for Finance & Law

• OpenAI Developers — Using GPT-6 Astra

발표 내용과 인터뷰 인용은 October 28, 2026 공개 자료 확인 기준이다.