Форма голоса: эволюция синтезаторов речи и как на них реагирует мозг.

— Концепция — Из живого голоса в цифровой — Первые имитации человеческого голоса — Формантный и конкатенативный синтезы — Нейросети — Заключение

Голос человека является одним из наиболее информативно насыщенных акустических сигналов, с которыми работает человеческая слуховая система. Помимо вербального содержания, он несёт в себе и другие аспекты речи — эмоциональное состояние, физиологические характеристики, намерения и идентичность. Способность воспринимать человеческую речь неосознанно формировалась эволюционно, что поспособствовало ей укорениться в нашей нервной системе.

Последние десятилетия люди стараются разрабатывают различные методы, каким образом можно этот голос «синтезировать» — создать его эмуляцию исключительно аппаратным способом. Некоторые голоса создаются с полного нуля, для некоторых же используются уж сделанные записи голоса человека.

Подобные технологии сегодня окружают нас практически ежедневно: умные колонки и голосовые ассистенты, озвучка текстов в онлайн-переводчиках, помощь незрячим, и так далее. Мы уже научились с ними жить и можем четко определить, где и какой голос нас окружает. Более того, некоторые инструменты намеренно избегают излишнего реализма, и обращают свою искусственность в пользу. Но как именно человек определяет, настоящий ли перед ним человеческий голос, и голос ли вообще?

Подобные решения были сделаны, прежде всего, ради экономии. Данный порог демонстрирует лишь удовлетворительное значение для того, чтобы отчетливо распознавать речь и её характерные черты. Впоследствии, с такой же целью, будет попытка заменить человеческий голос синтезированным во время радио-переговоров. Но всё-таки для того чтобы потреблять информацию на постоянной основе, как это происходит в наше время, нужен более качественные источники аудиальных сигналов, а для этого нужна деконструкция речи и полное понимание того, как она устроена — именно так и произошла эволюция от первых синтезаторов речи до нейросетевых инструментов.

Но где предел, когда мы начинаем чувствовать себя дискомфортно от прослушивания речи? Данная работа посвящена тому, как человек идентифицирует искусственный голос от настоящего, и какие подсознательные мыслительные процессы за этим стоят. Разберу путь от первых попыток машинного и электронного воспроизведения человеческого голоса до современных нейросетевых структур, способных воссоздать его настолько близко, насколько пока позволяет технологический прогресс.

Первыми, кто всерьёз занялся проблемой передачи звукового сигнала на расстояние, стали телефонные компании. Как и в любом другом бизнесе, их основной «товар», то есть успешно проведённый звонок — неизбежно сталкивался с определённым процентом брака. Именно с проблемой неудачных и неразборчивых переговоров компании и пытались бороться.

Звуковой сигнал по телефонным линиям в те годы передавался аналоговым способом, то есть непрерывными электрическими колебаниями. Главными проблемами данного способа были в ограничении количества одновременных звонков, и том, что на сверхдальних расстояниях качество принимаемого сигнала очень сильно деградировало. Происходило это из-за того, что сигнал на дальние расстояния нужно усиливать, а вместе с тем усиливается и фоновый шум, который мешал диалогу.

Однако можно было пустить ещё большее количество одновременных звонков, если сжать сигнал — выбросить из него всё лишнее, оставив лишь то, что делает голос узнаваемым. Как уже писалось выше, подобным исследованием занялся физик Харви Флетчер, который выделил частотный диапазон для разборчивой речи во время телефонного разговора — от 300 до 3400 Гц.

Исследуя человеческий голос и его разборчивость, в 1939 году инженеры Bell Labs представили устройство под названием VODER (сокр. Voice Operating Demonstrator) — первый электронный синтезатор речи. В нём не было никаких предзаписанных звуков, вместо этого оператор управлял им вручную с помощью клавиатуры и педалей, словно на обычном синтезаторе. Звук, имитирующий речь, формировался из двух составляющих: шума и тонального сигнала. И если первый служил для того чтобы имитировать дыхание и шипящие, то второй формировал гласные звуки.

С подобной проблемой будут сталкиваться и многие последующие проекты, но на момент 1939 года это был настоящий прорыв. Инструмент умел воспроизводить не только едва различимые слова, но и интонационные выделения. Параллельно с этим в той же Bell Labs разрабатывался прибор с противоположной задачей — Vocoder (сокр. Voice Coder).

Вокодер разрабатывался с той же целью, c какой проводились и эксперименты Флетчера — экономия ресурсов. Гомер Дадли предложил подход, который предполагал не передавать сам сигнал, а передавать описание этого сигнала. Вокодер разбивал входящий голос на набор частотных полос и измерял уровень энергии в каждой из них — получался своего рода мгновенный «слепок» спектра, и именно эти данные уходили по линиям, и преобразовывались уже на устройстве адресата.

Практическое применение вокодер нашел во время Второй Мировой Войны, где система SIGSALY на основе оного помогала выстраивать зашифрованную коммуникацию. Результат был узнаваем, но лишён всяких человеческих черт. Происходило это потому, что информация об основном тоне голоса в процессе намеренно отбрасывалась как несущественная для разборчивости. Эта «дегуманизация» звука впоследствии сделала вокодер популярным музыкальным инструментом — характерный «роботизированный» тембр стал узнаваемым приёмом в электронной музыке.

В 1953 году британский учёный Уолтер Лоуренс создал PAT (Parametric Artificial Talker) — первый параллельный формантный синтезатор. Управление им было устроено необычно: на стеклянный слайд наносились нарисованные паттерны, которые сканировались лучом катодно-лучевой трубки. Таким образом задавались три формантные частоты, основной тон и признак звонкости. Набор настраиваемых фильтров формировал из генерируемого сигнала форманты — резонансные пики в спектре, которые и определяют, какой именно звук мы слышим. Меняя параметры фильтров, машина могла переходить от одного гласного к другому.

К этому моменту все синтезаторы речи требовали участия человека — оператора, задававшего параметры вручную. Следующий шаг сделали японские исследователи Рёдзи Тэраниси и Норика Умеда: в 1968 году они создали первую полноценную систему синтеза текста в речь на основе артикуляционной модели. Система самостоятельно разбирала входной текст, расставляла паузы и делила длинные предложения на «дыхательные группы» — фрагменты, разделённые естественными остановками. Голос оставался монотонным и далёким от живой речи, однако принципиальный сдвиг состоял в другом: между текстом и звуком впервые не стоял человек. Впоследствии эти правила анализа текста были доработаны и легли в основу TTS-системы Bell Laboratories 1973 года.

Следующий качественный скачок произошёл в 1980-х годах с появлением конкатенативного синтеза. Вместо того чтобы генерировать звуки математически, новый подход строился на противоположной идее: записать реальный человеческий голос и разбить запись на мельчайшие единицы — фонемы и дифоны. Первую систему такого рода представил японский исследователь Ёсинори Сагисака в 1988 году, а в 1996 году Эндрю Хант и Алан Блэк формализовали метод, который лёг в основу всех последующих конкатенативных систем. Это позволило добиться значительно более естественного звучания: слуховая система получала реальные акустические паттерны живой речи, а не их математическое приближение.

На слух это выразилось в первую очередь в улучшении просодии: голос стал звучать менее предсказуемо и ровно — появилась вариативность интонации, приближающая синтез к живой речи. Очень интересная вещь заключается в предоставленном выше куске рекламного ролика от компании ElevenLabs. В нём модель с поразительной точностью разговаривает на японском языке с устойчивым американским акцентом. Исследования показали, что диффузионные модели демонстрируют более высокую устойчивость к артефактам даже при зашумлённых обучающих данных по сравнению с Tacotron 2 и VITS.

Появление этих артефактов связанно с тем, что каждая архитектура оставляет в мел-спектрограмме характерную «подпись» — специфические следы, возникающие в процессе восстановления звуковой волны. Чэнчжэ Сунь и его коллеги из Университета Буффало показали, что эти следы достаточно стабильны, чтобы по ним идентифицировать конкретный вокодер — даже без знания о синтезированном тексте. Однако для человека подобные артефакты заметны только при ошибке модели, и тем самым, люди уже с большим трудом отличали подобную речь от реальной, приблизившись к уровню человека.

Развитие синтеза речи показывает, как менялось понимание человеческого голоса и способов его восприятия. От первых экспериментов Bell Labs и механических синтезаторов вроде VODER технологии постепенно перешли к нейросетям, обучающимся непосредственно на человеческой речи. Каждый новый этап — формантный, конкатенативный и нейросетевой синтез — пытался решить одну и ту же задачу: сделать искусственный голос более естественным и уменьшить ощущение его «искусственности» для слушателя.

Несмотря на огромный прогресс, современные TTS-системы всё ещё не избавились от характерных артефактов и эффекта «зловещей долины» полностью. Человек воспринимает речь не только как набор слов, но и как сложную совокупность тембра, интонации, ритма и микроскопических изменений звука. Именно поэтому даже самые современные модели оставляют ощущение отличия от живого голоса, хотя граница между синтезированной и настоящей речью с каждым годом становится всё менее заметной.