Я скормил нейросети кухонную запись бабушки — и получил чужого человека

Прошлой зимой я решил, что сделаю красивую вещь.

Моей бабе Тане восемьдесят четыре. Она говорит на нашем северном говоре — окает, тянет гласные, вставляет «шшо» вместо «что» и «давеча» вместо «недавно». В нашем городе так уже почти никто не разговаривает. И я подумал: пока она есть, надо сохранить голос. Сделать аудиописьмо, которое можно включать каждый Новый год.

Дальше всё пошло по классике. Я достал телефон и записал полчаса прямо на кухне.

На плите шкварчала картошка. Гудела вытяжка. По радио обсуждали курс. За стеной сосед сверлил бетон.

Записал — и сразу закинул в клон.

Что получилось… Как бы это описать. Это была баба Таня. Но баба Таня с насморком, с кашей во рту и говорящая из тоннеля метро.

Первый вариант — в мусор.

Сначала я, конечно, обвинил инструмент

Моя реакция была предсказуемой: сменить сервис. Я перебрал, наверное, штук восемь — веб-версии, программы на компьютер, те, что обещают клонирование голоса бесплатно, и те, что просят подписку.

Результат один и тот же. Тоннель переезжал со мной из сервиса в сервис.

И только тогда я признал очевидное: дело не в модели. Дело в тех тридцати минутах мусора, которые я ей скормил. Модель училась «голосу бабушки», но бабушкин голос занимал там процентов тридцать. Остальное — вытяжка, шипение масла, радио, лай собаки во дворе и гулкая плитка, которая отражала всё это обратно в микрофон.

Нейросеть честно выучила всё, что услышала. Включая вытяжку.

Три ошибки, каждая глупее предыдущей

Ошибка первая: кухня. Кухня — одно из самых гулких мест в квартире. Кафель, стекло, металл — звук летает по кругу и возвращается. А говор держится именно на тонких деталях: на высоте тона, на длине гласной. Реверберация эти детали съедает. Позже мне объяснили простую вещь: маленькая спальня, закрытое окно, задёрнутые шторы, плед на кровати — и разница слышна невооружённым ухом.

Ошибка вторая: я заставил её читать с листа. Я распечатал текст письма и попросил прочитать вслух. Она читала медленно, спотыкаясь, по слогам — как школьница на уроке. А говор так не живёт. В обычном разговоре у неё всё сливается, глотается, тянется. На бумаге это исчезло. Клон выдал «правильную» речь. Слишком правильную. Не её.

Ошибка третья: я решил, что чем больше, тем лучше. Полчаса записи казались мне запасом. По факту чистых секунд там было минуты три, остальное — шум и паузы. Плюс телефон лежал то ближе, то дальше: громкость скакала. По такому материалу можно выучить только приблизительный силуэт голоса.

Как я перезаписывал

Через неделю я привёл бабу Таню в комнату у сестры — северная сторона, тихо, окна во двор.

  • Телефон на штативе, сантиметрах в двадцати от лица, не двигается вообще
  • Окно закрыто, кондиционер выключен, шторы задёрнуты, режим полёта включён
  • Никаких «прочитай». Только я спрашиваю — она рассказывает: «как ты Новый год встречала», «как тебя мама ругала»
  • Пишу по пять-восемь минут, сразу слушаю, шумные дубли удаляю
  • Итого набрал минут двадцать чистого материала, за четыре подхода

Параллельно я прогнал текст письма через онлайн-синтез речи — просто чтобы услышать, как это звучит целиком. Синтез речи бесплатно, так что терять нечего. И это оказалось полезно: все эти «ой», «да ну», «вот ведь» — душа письма, и им нужно стоять в правильных местах, а не там, где удобно мне.

Когда я залил двадцать минут и нажал «синтез», первая же фраза заставила сестру замереть.

Это «Танюш, а…» — с уходящим вниз, чуть шершавым окончанием. Это она.

Что получилось в итоге

Письмо я разбил на двадцать шесть кусков, по одной-две фразы. От её детства до того, как она меня растила. Кусков много, поэтому мне важно, чтобы озвучка текста бесплатно не упиралась в лимит на середине — иначе сидишь и ждёшь, как дурак. Здесь синтез голоса без регистрации: открыл страницу, вставил текст, получил файл. Ничего не надо ставить на компьютер, клонировать голос онлайн можно прямо в браузере. Сестре это особенно зашло — у неё на ноутбуке вообще ничего не установлено.

И ещё совет: не гонитесь за идеальным качеством. Я заметил, что лёгкое дыхание, чуть слышный щелчок делают запись живее. Слишком чистый звук превращает человека в диктора из рекламы. А вам нужна бабушка, а не диктор. Кстати, если ищете text to speech на русском бесплатно — для домашнего письма этого хватает с большим запасом.

Если у пожилого человека совсем сильный говор, идеала не будет. Тогда не упирайтесь: возьмите несколько самых расслабленных фрагментов и тренируйте на них, а остальное соберите в нейтральном варианте. Домашние всё равно не заметят швов.

Для больших объёмов есть API — закинули текст, получили аудио. Двадцать шесть кусков уходят туда минут за десять. Но если вы делаете такое раз в год, как я, хватит и веб-интерфейса.

Про данные — коротко, но важно

Голос — это, по сути, биометрия. И тут я стал аккуратнее: смотрю, где хранятся записи и что написано в политике. Для российского пользователя это не паранойя, а нормальная привычка — 152-ФЗ никто не отменял, и хочется понимать, остаётся ли голос бабушки на сервере и можно ли его удалить. Если сервис прячет эту информацию — я просто закрываю вкладку. Клонировать свой голос — это одно, а распоряжаться чужим, тем более голосом пожилого человека, надо с головой.

Частые вопросы

У меня уже есть шумная запись. Спасти можно?

Частично. Прогоните через шумоподавление — оно есть почти в любом бесплатном редакторе, тот же Audacity справится. Или руками вырежьте всё, где слышно радио и технику. Но если чистых секунд меньше трёх минут — перезаписывайте. Перезапись займёт два часа, а реставрация — две недели, и без гарантии.

Говор клонировать сложнее, чем обычную речь?

Сложнее, и дело в данных. Обычной русской речи в моделях много, говоров — мало, особенно местных. Поэтому к качеству материала требования выше: каждая секунда должна быть «чистой». Плюс у говора своя система ударений и тонов, которых в стандартном языке просто нет, — модели нужно больше примеров. Живой разговор тут в сто раз полезнее чтения с листа.

Насколько бесплатные инструменты вообще тянут такую задачу?

Зависит от запроса. Для семейного аудиописьма, для голоса для видео нейросеть бесплатно уже даёт вполне приличный результат — короткий ролик в VK, Telegram или на YouTube соберёте без вложений. Нейроозвучка бесплатно за последний год выросла так, что я, честно говоря, удивился. Нужен поток — подключайте API, десятки кусков прогонятся очередью. А вот если вы делаете коммерческую озвучку или хотите озвучить аудиокнигу бесплатно на несколько часов — там уже придётся смотреть в сторону платных тарифов. Для домашних задач бесплатного пути хватает: пробовать ничего не стоит. Остальные разборы я складываю в разделе с обновлениями.

Не откладывайте

Баба Таня умерла позапрошлой осенью.

Письмо лежит у меня в телефоне и в облаке. В этот Новый год я его включил. Мама заплакала. А младшая племянница спросила: «А кто это говорит?»

Она не понимает. Ничего страшного. Подрастёт — я объясню: это голос прабабушки, это её язык, её «шшо» и её «давеча».

Если у вас есть такой человек — не ждите. Найдите тихий день, выключите кондиционер, поставьте телефон на штатив и спросите: «А как ты раньше Новый год встречала?» Дальше справится инструмент.