HTS 소용량 합성기를 만드는 순서: 런타임·한국어 프런트엔드·음색 학습 분리하기
HTS와 hts_engine의 역할을 나누고, 기존 음색 재생부터 한국어 프런트엔드와 새 음색 학습까지 필요한 구성·검증·배포 조건을 정리한다.
텍스트에서 작은 합성 엔진을 거쳐 음성이 나오는 흐름을 표현한 생성형 개념 이미지다. 실제 HTS 화면이나 하드웨어가 아니다.
HTS 기반 소용량 음성합성기를 만들 때 먼저 정할 것은 기존 음색을 재생할 것인지, 한국어 입력부터 처리할 것인지, 새 음색까지 학습할 것인지다. 세 목표는 필요한 도구와 검증 범위가 다르다.
첫 단계로는 호환되는 음색 모델과 라벨을 확보해 런타임의 입출력을 검증하는 편이 좋다. 한국어 텍스트 분석과 신규 음색 학습은 그 뒤에 별도 단계로 붙인다. 아래 개발 순서는 공식 구성 요소를 바탕으로 정리한 구현 제안이며, 이 글에서 합성기를 빌드하거나 음질·속도를 측정한 것은 아니다.
1. HTS와 hts_engine의 역할부터 나눈다
HTS의 학습 부분은 HTK에 적용하는 패치 형태로 제공된다. 반면 hts_engine API는 HTS로 학습한 HMM으로부터 음성 파형을 생성하는 런타임이다. 제품에서 음성을 재생할 때 필요한 구성과 모델을 만드는 연구 환경을 따로 관리해야 한다. HTS 공식 안내, hts_engine API 공식 안내
또한 HTS에는 텍스트 분석기가 포함되지 않는다. 문장을 넣으면 곧바로 해당 언어의 발음을 얻는 완성형 엔진으로 생각하면 개발 범위를 작게 잡게 된다.
다음은 책임을 나눈 개념 흐름이다. 실제 파일 형식이나 호출 순서를 그대로 나타낸 코드는 아니다.
입력 문맥에 맞는 음향 정보를 선택하고 파형으로 만드는 단계까지가 합성 엔진의 역할이다. 어떤 숫자를 날짜로 읽을지, 약어를 어떻게 풀지 같은 문제는 앞단의 책임으로 명시하는 편이 디버깅하기 쉽다.
2. 기존 음색을 쓰는 최소 구성
먼저 실행 파일 또는 라이브러리, 호환되는 음색 모델, 그 모델에 맞는 입력 라벨, 결과를 확인할 오디오 출력 경로를 준비한다. 엔진 버전만 맞추고 라벨 생성기를 임의로 섞지 않는다.
공식 사이트는 hts_engine API 1.10과 별도 HTS voice 패키지를 제공한다. 영어 시스템인 Flite+hts_engine도 별도 구성으로 소개한다. 이는 런타임과 텍스트 처리 시스템을 구분해서 살펴볼 수 있는 출발점이다. 해당 페이지의 버전 표기는 오래된 배포 이력이므로 최신 제품 지원이나 현대 운영체제 호환성을 보증하는 근거로 쓰면 안 된다. 공식 배포 목록
첫 성공 조건을 “좋은 목소리” 대신 “알려진 입력으로 유효한 파형을 만들고 다시 재생할 수 있음”으로 잡는다. 출력이 안 나오면 모델 로딩, 라벨 입력, 파형 생성, 오디오 재생을 차례대로 분리해 확인할 수 있다.
3. 한국어 프런트엔드는 독립된 개발 과제다
한국어 제품에서는 숫자·단위·기호 처리, 발음 변환, 문장 경계, 문맥 정보를 만드는 규칙을 설계해야 한다. 학습 시의 규칙과 서비스 시의 규칙이 달라지면 같은 문장을 서로 다른 입력으로 해석할 수 있다.
예를 들어 아래 문장들은 프런트엔드의 회귀 테스트 후보다. 특정 읽기를 일괄 정답으로 단정하지 말고 제품의 입력 정책에 맞는 기대값을 먼저 정한다.
문장마다 정규화 결과, 음소열, 라벨 결과를 따로 보관하면 읽기 오류와 합성 오류를 나눠 추적할 수 있다. 특히 숫자·약어 정책을 바꾼 뒤에는 최종 음성만 듣기보다 중간 결과 차이를 먼저 검토한다.
Open JTalk는 일본어 TTS 시스템이다. 프런트엔드와 사전, 음색의 조합을 살펴보는 참고 구현으로는 유용하지만 한국어 지원의 근거로 삼을 수는 없다. Open JTalk 공식 안내
4. 새 음색은 데이터와 학습 계약이 추가된다
새 음색을 만든다면 녹음과 전사의 대응 관계, 음소 체계, 문맥 라벨, 학습 설정과 최종 모델의 연결을 관리해야 한다. 기존 모델을 불러오는 작업과 같은 일정으로 잡지 않는 것이 좋다.
HTS 공식 안내에는 영어 CMU ARCTIC 기반 학습 데모와 다른 언어의 데모가 소개되어 있다. 이를 한국어용 완성 레시피로 가정하지 말고, 데이터와 언어별 구성 요소를 교체해야 하는 기준점으로 본다. HTS 공식 안내
“몇 시간 녹음이면 충분하다”는 고정 숫자부터 정하기보다 제품의 어휘·발음 범위, 녹음 일관성, 목표 청취 품질을 기준으로 평가 문장 집합을 먼저 만든다. 학습 문장과 평가 문장을 분리하고, 새 음색이 기존 경로보다 실제로 나아졌는지 확인한다.
5. 소용량은 파일 크기 하나로 평가하지 않는다
다음 항목은 이 글의 검증 제안이다. HTS가 특정 장치에서 달성했다고 주장하는 수치가 아니다.
- 배포 용량: 엔진뿐 아니라 음색, 사전, 규칙 파일을 모두 합한다.
- 메모리: 모델 로딩 직후와 긴 문장 합성 중의 최대 사용량을 나눈다.
- 지연: 텍스트 분석 시간과 음성 생성 시간을 따로 잰다.
- 품질: 숫자 읽기, 문장 끝 억양, 긴 문장, 미등록 어휘를 분리 평가한다.
- 안정성: 빈 입력, 비정상 문자, 잘못된 모델 경로와 반복 호출을 점검한다.
실시간 계수는 합성에 걸린 시간을 생성된 음성 길이로 나눈 값으로 기록할 수 있다. 다만 프런트엔드와 파일 저장 시간을 포함했는지 반드시 적는다. 첫 출력까지의 지연과 전체 합성 시간도 서로 다른 지표다.
6. 배포 전에 확인할 경계
hts_engine API 문서는 Modified BSD 라이선스와 배포 시 고지 조건을 명시한다. HTS 패치를 적용한 HTK에는 HTK의 조건도 적용된다. 런타임의 라이선스만 확인하고 학습 도구·사전·음성 데이터·모델의 이용 조건까지 동일하다고 가정하지 않는다. 런타임 라이선스 원문, HTS 학습 도구 안내
실무의 첫 산출물은 전체 한국어 합성기보다 작은 검증 묶음이 적합하다. 선택한 엔진과 모델의 버전, 입력 라벨 예제, 출력 확인 방법, 오류 사례, 배포 조건을 한곳에 기록한다. 이 묶음이 재현된 뒤 한국어 프런트엔드와 신규 음색을 확장하면 실패 지점을 좁히기 쉽다.