TTS 목소리 학습

TTS란?

텍스트-투-스피치(TTS) 기술의 역사는 수십 년에 걸쳐 발전해 왔으며, 여러 단계를 거치며 현대의 고품질 음성 합성 시스템으로 발전했습니다. 다음은 TTS 기술의 주요 발전 단계를 간략히 설명한 것입니다:

초기 연구 (1930년대 - 1960년대):

TTS 기술의 초기 연구는 기본적인 음성 합성을 목표로 했습니다. 1939년, Homer Dudley는 Voder라는 최초의 음성 합성기를 개발했습니다. 이는 기본적인 소리 패턴을 결합하여 음성을 생성하는 장치였습니다.
1960년대에는 MIT의 조셉 와이젠바움(Joseph Weizenbaum)이 텍스트를 음성으로 변환하는 "엘리자(ELIZA)"라는 프로그램을 개발했습니다.
규칙 기반 합성 (1970년대 - 1980년대):

이 시기에는 규칙 기반 시스템이 개발되었습니다. 이 시스템은 언어학적 규칙을 사용하여 텍스트를 음성으로 변환했습니다. 예를 들어, 덴마크의 연구원들은 컴퓨터에서 덴마크어를 말할 수 있는 시스템을 개발했습니다.
이 시기 대표적인 시스템은 Bell Labs의 "디지털 음성 합성기"로, 이는 규칙에 따라 음성을 생성하는 초기의 TTS 시스템 중 하나였습니다.
음소 기반 합성 (1990년대):

1990년대에는 음소 기반 합성 기술이 개발되었습니다. 이 기술은 미리 녹음된 음소(언어의 가장 작은 단위)를 결합하여 음성을 생성했습니다.
대표적인 예로, AT&T의 "Next-Generation Text-to-Speech" 시스템이 있습니다. 이는 자연스러운 음성을 생성하기 위해 대규모 음성 데이터베이스를 사용했습니다.
통계적 합성 (2000년대):

2000년대에는 통계적 합성 방법, 특히 HMM(Hidden Markov Model) 기반 TTS 시스템이 발전했습니다. 이 시스템은 통계적 모델을 사용하여 텍스트를 음성으로 변환했습니다.
일본 NITECH의 HTS (HMM-based Speech Synthesis System)가 대표적인 예입니다.
딥러닝 기반 합성 (2010년대 - 현재):

2010년대에는 딥러닝 기술의 발전과 함께 TTS 기술도 크게 발전했습니다. 딥러닝 기반 모델은 텍스트를 음성으로 변환하는 데 있어 매우 높은 정확도와 자연스러움을 제공합니다.
Google의 Tacotron 시리즈 (Tacotron, Tacotron 2)와 WaveNet이 대표적인 예입니다. 특히 WaveNet은 고품질의 자연스러운 음성을 생성하는 데 큰 기여를 했습니다.
현재는 Tacotron 2, WaveGlow, FastSpeech 등 다양한 딥러닝 모델들이 사용되고 있습니다.
이와 같은 발전 과정을 거치며, TTS 기술은 초기의 단순한 음성 합성에서 현재의 자연스럽고 인간과 유사한 음성을 생성하는 단계까지 도달하게 되었습니다. 오늘날의 TTS 시스템은 다양한 언어와 음색을 지원하며, 음성 비서, 내비게이션 시스템, 접근성 도구 등 다양한 분야에서 활용되고 있습니다.

목소리 학습 오픈 소스

gemini

1. FestVox:
FestVox는 목소리 합성을 위한 무료, 오픈 소스 도구 키트입니다. 텍스트를 음성으로 변환하는 데 필요한 다양한 기능을 제공하며, 사용자 정의 음색 훈련 기능을 통해 특정 개인의 목소리를 학습하여 TTS를 만들 수 있습니다. http://www.festvox.org/

2. Mbrola:
Mbrola는 또 다른 오픈 소스 음성 합성 시스템입니다. FestVox와 유사하게 텍스트를 음성으로 변환하는 데 필요한 도구를 제공하며, 개인 음색 훈련 기능을 통해 사용자 정의 TTS를 만들 수 있습니다. Mbrola는 특히 한국어 음성 합성에 강력한 기능을 제공합니다. https://chromium.googlesource.com/chromiumos/third_party/espeak-ng/+/HEAD/docs/mbrola.md

3. HTS:
HTS (Hidden Markov Model-based Text-to-Speech Synthesis)는 음성 합성을 위한 고품질 오픈 소스 시스템입니다. FestVox와 Mbrola보다 복잡한 시스템이지만, 보다 자연스럽고 표현력豊かな TTS 결과를 제공할 수 있습니다. HTS는 사용자 정의 음색 훈련 기능을 통해 개인의 목소리를 학습하여 TTS를 만들 수 있습니다. http://hts.sp.nitech.ac.jp/

4. Deep Voice:
Deep Voice는 Google AI에서 개발한 오픈 소스 신경망 기반 음성 합성 시스템입니다. 딥 러닝 기술을 사용하여 매우 사실적인 음성을 생성하며, 개인 음색 훈련 기능을 통해 특정 개인의 목소리를 학습하여 TTS를 만들 수 있습니다. Deep Voice는 아직 개발 초기 단계이지만, 높은 잠재력을 가진 시스템입니다. https://www.xda-developers.com/s-voice/

5. Tacotron 2:
Tacotron 2는 Google Research에서 개발한 오픈 소스 신경망 기반 음성 합성 시스템입니다. Deep Voice와 유사하게 딥 러닝 기술을 사용하여 매우 사실적인 음성을 생성하며, 개인 음색 훈련 기능을 통해 특정 개인의 목소리를 학습하여 TTS를 만들 수 있습니다. Tacotron 2는 Deep Voice보다 더 발전된 시스템이며, 보다 자연스럽고 표현력豊かな TTS 결과를 제공할 수 있습니다. https://github.com/topics/tacotron2

안드로이드 기반에서 움질임 학습을 위한 몇 가지 오픈 소스 솔루션을 소개합니다.

1. TensorFlow Lite for Microcontrollers:
TensorFlow Lite for Microcontrollers는 TensorFlow Lite를 사용하여 마이크로컨트롤러에서 머신 러닝 모델을 실행할 수 있도록 하는 오픈 소스 라이브러리입니다. 움직임 학습 모델을 폰에 임베딩하여 실행하는 데 활용할 수 있습니다. https://www.tensorflow.org/lite/microcontrollers

2. Edge Impulse:
Edge Impulse는 머신 러닝 모델을 개발하고 배포하는 데 사용할 수 있는 무료, 오픈 소스 플랫폼입니다. 움직임 학습 데이터를 수집하고, 모델을 학습하고, 폰에 배포하는 데 필요한 모든 기능을 제공합니다. https://www.edgeimpulse.com/

3. PyTorch Mobile:
PyTorch Mobile은 PyTorch 프레임워크를 사용하여 모바일 기기에서 머신 러닝 모델을 실행할 수 있도록 하는 오픈 소스 라이브러리입니다. 움직임 학습 모델을 폰에 임베딩하여 실행하는 데 활용할 수 있습니다. https://pytorch.org/mobile/

4. OpenMV:
OpenMV는 마이크로컨트롤러에서 컴퓨터 비전 애플리케이션을 개발할 수 있도록 하는 오픈 소스 플랫폼입니다. 움직임 감지, 객체 추적 등 움직임 학습 관련 작업에 활용할 수 있습니다. https://openmv.io/

5. Android Studio:
Android Studio는 안드로이드 앱 개발을 위한 공식 통합 개발 환경(IDE)입니다. TensorFlow Lite, PyTorch Mobile과 같은 라이브러리를 사용하여 움직임 학습 앱을 개발하고 폰에 배포하는 데 활용할 수 있습니다. https://developer.android.com/studio

개인 특화된 목소리로 안드로이드/아이폰에 임베딩 가능한 TTS 서비스를 만드는 데 도움이 되는 오픈 소스 솔루션을 소개합니다.

1. Deep Voice:
Deep Voice는 Google AI에서 개발한 오픈 소스 신경망 기반 음성 합성 시스템입니다. 개인 목소리 학습을 통해 매우 사실적인 TTS 결과를 제공하며, 안드로이드/아이폰 앱 개발에 활용 가능한 TensorFlow Lite 버전도 제공됩니다. https://www.xda-developers.com/s-voice/

2. Tacotron 2:
Tacotron 2는 Google Research에서 개발한 오픈 소스 신경망 기반 음성 합성 시스템입니다. Deep Voice와 유사하게 개인 목소리 학습을 통해 자연스럽고 표현력豊かな TTS 결과를 제공하며, TensorFlow Lite 버전도 제공됩니다. https://github.com/NVIDIA/tacotron2

3. MaryTTS:
MaryTTS는 자연어 처리 및 음성 합성을 위한 오픈 소스 도구 키트입니다. 개인 목소리 학습 기능을 통해 TTS 엔진을 만들 수 있으며, 안드로이드/아이폰 앱 개발에 활용 가능한 Java 라이브러리도 제공됩니다. https://github.com/marytts

4. CMU Arctic Speech:
CMU Arctic Speech는 다양한 억양과 성별의 목소리 데이터를 포함하는 무료 음성 데이터베이스입니다. 개인 목소리 학습 데이터로 활용하거나, 기존 음성 데이터와 혼합하여 사용할 수 있습니다. http://www.festvox.org/cmu_arctic/

5. K-Speech:
K-Speech는 한국어 음성 데이터를 포함하는 무료 음성 데이터베이스입니다. CMU Arctic Speech와 유사하게 개인 목소리 학습 데이터로 활용하거나, 기존 음성 데이터와 혼합하여 사용할 수 있습니다. https://aihub.or.kr/aidata/105

openai

TTS (Text-to-Speech) 시스템을 만들기 위해 한 사람의 목소리를 녹음하여 학습하고 그 목소리로 음성을 생성하는 두 가지 기능을 구현하려면, 아래와 같은 오픈소스 프로젝트들을 참고할 수 있습니다:

Tacotron 2 + WaveGlow
Tacotron 2는 텍스트를 음성 스펙트로그램으로 변환하는 TTS 모델이고, WaveGlow는 이 스펙트로그램을 실제 음성으로 변환하는 모델입니다. 두 모델 모두 오픈소스로 제공되며, 고품질의 TTS를 구현하는 데 사용할 수 있습니다.
Tacotron 2 GitHub
WaveGlow GitHub

Mozilla TTS
Mozilla의 TTS 프로젝트는 Tacotron 기반의 TTS 모델들을 제공하며, 다양한 언어와 목소리를 지원합니다. 커스터마이징 및 새로운 목소리로 학습하는 것이 비교적 쉽습니다.
Mozilla TTS GitHub

ESPnet
ESPnet은 다양한 음성 인식 및 합성 모델을 제공하는 통합 프레임워크입니다. ESPnet2에는 Tacotron 2, Transformer TTS 등 여러 TTS 모델이 포함되어 있어 고품질 TTS 시스템을 구축하는 데 유용합니다.
ESPnet GitHub

Coqui TTS
Coqui TTS는 원래 Mozilla TTS 프로젝트에서 분리되어 나온 프로젝트로, 다양한 TTS 모델을 지원하며 사용자 정의 목소리로 학습하는 것도 가능합니다.
Coqui TTS GitHub

이 프로젝트들은 모두 한 사람의 목소리를 녹음하여 학습시키고, 해당 목소리로 텍스트를 음성으로 변환하는 기능을 지원합니다. 각 프로젝트의 문서를 참고하여 설치, 데이터 준비, 학습 과정 등을 따라하면 원하는 TTS 시스템을 구축할 수 있습니다. 

tacotron2 + waveglow
ref
sorisoriai

claude

목소리 데이터를 이용해 TTS(Text-to-Speech) 시스템을 구축하는 것은 매우 흥미로운 작업입니다. 이를 위해 여러 가지 오픈소스 프로젝트와 도구들이 있습니다.

Mozilla TTS: https://github.com/mozilla/TTS
머신러닝 기반의 심층 신경망 아키텍처를 사용하는 오픈소스 TTS 툴킷
다중 스피커 및 다국어 지원
Tacotron 2 및 Glow-TTS와 같은 모델 포함


Espeak-ng: https://github.com/espeak-ng/espeak-ng
컴팩트한 오픈소스 소프트웨어 스피치 합성기
다국어 지원
작은 메모리 공간을 필요로 하므로 임베디드 시스템에 적합

Tacotron: https://github.com/keithito/tacotron

Google Deepmind에서 개발한 엔드투엔드 TTS 모델
WaveNet과 함께 사용되어 고품질 음성 합성 가능


Montreal Forced Aligner: https://montreal-forced-aligner.readthedocs.io/

오디오와 전사 텍스트를 입력받아 음소-시간 정렬을 수행하는 툴
TTS 데이터 준비 과정에서 유용

1분 정도의 음성 데이터로 고품질의 TTS 모델을 만드는 것은 매우 도전적입니다. 대부분의 TTS 모델은 더 많은 데이터가 필요합니다. 그러나 몇 가지 옵션이 존재하며, 특히 일부 최신 연구나 경량화된 TTS 모델이 적은 데이터로도 비교적 괜찮은 성능을 낼 수 있도록 설계되었습니다.

1. VITS (Variational Inference Text-to-Speech)

	•	특징: VITS는 고품질의 음성을 빠르게 생성할 수 있는 최신 TTS 모델 중 하나입니다. 일부 연구에서는 소량의 데이터로도 좋은 성능을 보이는 사례가 있습니다.
	•	장점: 적은 양의 데이터로도 학습이 가능하며, 빠르게 결과를 얻을 수 있습니다.
	•	GitHub: VITS

2. Mockingjay (Voice Cloning)

	•	특징: Mockingjay는 소량의 음성 데이터로도 개인화된 음성을 생성하는데 사용될 수 있는 모델입니다.
	•	장점: 음성 클로닝에 최적화되어 있으며, 적은 데이터로도 빠르게 학습이 가능합니다.
	•	GitHub: Mockingjay

3. Descript’s Overdub

	•	특징: 상업적 솔루션이지만, 소량의 음성 데이터로도 개인화된 음성을 생성할 수 있는 기능을 제공합니다.
	•	장점: 사용이 매우 간편하며, 짧은 시간 안에 결과를 얻을 수 있습니다.
	•	웹사이트: Descript

소량 데이터로의 접근법:

	1.	Pre-trained 모델 사용: 이미 학습된 모델을 사용하여, 소량의 개인 음성 데이터를 추가 학습하는 방식으로 진행할 수 있습니다. 이 방식은 transfer learning이라고 불리며, 적은 데이터로도 효과적인 결과를 낼 수 있습니다.
	2.	데이터 증강: 소량의 음성 데이터를 다양한 방식으로 증강하여 데이터 양을 늘리는 방법입니다. 예를 들어, 속도 변경, 피치 변경 등을 통해 데이터를 다양화할 수 있습니다.
	3.	경량화된 모델 선택: 원래 적은 데이터로 학습할 수 있도록 설계된 경량화된 모델을 선택하는 것입니다.

추천 솔루션:

	1.	VITS: 최신 연구 결과로 적은 데이터로도 좋은 성능을 보이는 사례가 있어, 1분 정도의 녹음 데이터로 실험해볼 만합니다.
	2.	Mockingjay: 음성 클로닝에 최적화된 모델로, 소량의 데이터로 빠르게 학습할 수 있습니다.

이들 솔루션을 활용하여 실험해보고, 필요에 따라 데이터를 조금씩 늘려가며 성능을 확인하는 것이 좋습니다.