В видео подробно показан процесс установки Fish Speech с использованием удобного репака от канала Neoro-Soft, что значительно упрощает установку и работу с программой. После установки показан интерфейс и настройка программы.
Главные этапы:
- Запись своего голоса (около 1 минуты записи достаточно).
- Нарезка аудиофайла и подготовка текста с расшифровкой речи (транскрибация).
- Очистка звука от шумов с помощью дополнительной программы Ultimate Vocal Remover.
- Создание голосовой модели и загрузка ее в Fish Speech.
- Генерация речи из текста с использованием созданной модели.
- Также показано, как можно создавать диалоги с несколькими голосами, используя дополнение Fish Speech Dialogue
В этом видео
О чём видео
0:00
Всем привет дорогие друзья сегодня мы с
0:02
вами научимся клонировать любой голос и
0:04
воспроизводить его через текст делать мы
0:07
всё это будем с помощью программы Fish
0:09
Speech её отличительная особенность в
0:10
том что она с открытым исходным кодом а
0:12
следовательно бесплатная использовать мы
0:15
её будем локально на своём компьютере
0:17
системные требования видеокарта NVIDIA
0:19
минимум 8 гигов памяти а также мы
0:21
создадим подобие подкаста то есть
0:23
сделаем озвучку диалогов несколькими
0:24
голосами и сразу хочется сказать
0:26
отдельное спасибо каналу neosoft за
0:28
RePack программы там улучшен интерфейс
0:30
есть перевод с китайского языка на
0:32
русский а также скачивание аудиодорожек
0:34
доступно в форматах wav MP3 и Flag К
0:37
тому же благодаря им установка будет
0:39
гораздо проще и быстрее погнали для
Установка Fish Speech
0:42
начала мы с вами переходим на канал
0:43
neosoft и именно здесь мы будем
0:45
скачивать с вами эту программу мы можем
0:47
скачать её если что прямо с гитхаба но
0:50
здесь есть удобный репак также если у
0:52
вас возникнут какие-либо трудности
0:53
какие-либо проблемы с этой программой
0:55
Помните я не программист То есть я
0:57
записываю этот ролик просто скажем так в
1:00
развлекательных целях и если вам
1:01
потребуется реальная помощь Вы можете
1:03
сюда нажать обсудить в чате и там я
1:05
думаю ребята вам помогут Итак мы
1:07
нажимаем сюда
1:10
скачать
1:11
скачать архив весит Всего 21 МБ Теперь
1:15
мы нажимаем показать в
1:18
папке нажимаем правой кнопкой мыши
1:21
вырезать переходим в этот компьютер диск
1:23
D например
1:24
нажимаем правой кнопкой мыши вставить
1:27
правой кнопкой мыши извлечь текущую па
1:29
папку у нас с вами появляется вот такая
1:31
папка архив нам больше не нужен
1:34
переходим в сам архив и здесь всё очень
1:36
просто нажимаем
1:39
Install здесь нажимаем подробнее
1:41
выполнить в любом случае И теперь мы
1:43
ничего не трогаем ждём пока установка
1:45
сама собой завершится до момента пока не
1:47
появится фраза вроде для продолжения
1:50
Нажмите на любую клавишу установка
1:52
занимает у меня примерно минут 10 у меня
1:55
видеокарта 40-70 у вас может быть дольше
1:58
или наоборот быстрее вот как вы видите
2:00
написано для продолжения нажмите любую
2:02
клавишу нажимаем например на Enter и у
2:05
нас с вами исчезает это окошко далее У
2:07
нас с вами вот есть вот такой вот ярлык
Ошибка RuntimeError: Numpy
2:10
нажимаем Старт нажимаем кликаем два раза
2:12
и у нас начинается Запуск программы
2:15
первый раз она запускается очень долго
2:17
относительно потому что она подгружает
2:19
там все нужные модели и так далее второй
2:22
раз там третий у вас уже будет запуск
2:24
делаться гораздо быстрее и вот когда вы
2:26
запустите программу у вас может
2:28
появиться Вот такая вот оши для
2:30
продолжения Нажмите на любую клавишу как
2:33
с этим бороться если Кстати у вас этой
2:35
ошибки не появилось то тогда ничего
2:37
делать не надо то есть Может быть вы там
2:38
скачали какой-то более свежий
2:41
репак мы переходим опять же в Telegram
2:45
есть у нас вот такое вот сообщение как
2:47
раз в разделе
2:48
помощи мы собственно вот здесь
2:52
копируем переходим в нашу папку жмём
2:55
правой кнопкой мыши по нашему ярлыку
2:58
изменить и у нас ОТК с вами блокнот
3:01
Теперь мы всё это выделяем и нажимаем
3:04
Ctrl V то есть вставить текст который мы
3:06
только что скопировали теперь файл
3:10
сохранить Теперь мы запускаем его снова
3:13
и теперь он установит Вот как раз нужную
3:15
версию нампи и у нас с вами всё
3:17
заработает И если что смотрите все эти
3:20
вот операции на ваш страх и риск потому
3:23
что опять же повторюсь я не программист
3:25
Я просто следовал собственно гайду в
3:27
разделе помощь Всё у нас с вами открылся
3:29
интерфейс всё работает как вы видите и
3:31
теперь когда мы захотим открыть
3:33
интерфейс второй раз давайте Вот это всё
3:35
Мы закроем это тоже
3:38
закроем нам теперь снова нужно нажать на
3:41
этот ярлык нажать изменить и вот это вот
3:46
удалить теперь нажмём сохранить и снова
3:51
запустим Всё у нас всё запустило ВС
Интерфейс Fish Speech
3:54
работает как вы видите интерфейс тоже
3:55
максимально простой очень классный
3:58
сделан зде текст который мы хотим
4:00
озвучить здесь соответственно будут
4:02
проигрывать разные дорожки в разных
4:05
форматах расширенные настройки Здесь вы
4:07
можете с ними поиграться но они стоят
4:09
уже оптимальными Температура Вот это
4:12
единственное с чем я игрался и в целом
4:14
вот он меняет как-то голос делает его
4:15
более рандомным очень прикольно также
4:18
есть аудио для референса и Сейчас я
4:21
расскажу как сюда добавлять Голоса здесь
4:23
есть уже готовые голоса давайте
Создание голоса и настройки
4:26
какой-нибудь выберем например дэдпула
4:30
здесь есть референсное аудио то есть
4:32
аудиодорожка которая была подобрана
4:34
прости опоздал я снимал детей-инвалидов
4:38
с высокого дерева Ну ладно я собирал
4:41
весь глютен в мире и запускал его в
4:43
космос чтобы То есть как вы видите
4:46
дорожка довольно-таки качественная и
4:49
также есть расшифровка это очень важно
4:51
Для того чтобы модель правильно работала
4:54
Давайте теперь что-то напишем
4:58
сюда и теперь для того чтобы у нас с
5:00
вами сгенерировал голос в определённом
5:02
формате мы нажимаем расширенные
5:04
настройки и вот здесь выбираем галочку
5:06
например MP3 нажимаем
5:09
сгенерировать здесь мы можем видеть
5:12
процесс
5:13
генерации всё происходит примерно в
5:15
пределах минуты на моей
5:17
видеокарте и слушаем Привет дружище это
Результат 1
5:21
новый гайд о том как сделать
5:23
клонирование своего голоса ты уже
5:26
поставил лайк Как вы видите результат
5:28
вообще потр очень Мне это нравится
5:31
погнали дальше И кстати скачать
5:33
аудиодорожку очень просто нажимаем вот
5:35
сюда вот у вас скачается аудиодорожка
5:37
соответственно в формате mp3 далее нам с
5:39
вами нужна запись своего или чужого
5:41
голоса чтобы соответственно его
5:42
клонировать как эту запись собственно
5:44
сделать мы можем нажать на пуск и ввести
Создаём свою модель голоса
5:47
вот здесь вот есть поиск ввести запись
5:50
голоса Но это вот на Windows 10 есть
5:52
такая вот функция если нету то вы можете
5:54
воспользоваться например там диктофоном
5:56
или воспользоваться какой-либо другой
5:58
программой вроде obs и так далее Далее
6:01
Мы заходим например на тот же п сик и
6:03
вот здесь вот мы с вами можем написать
6:05
придумать два абзаца текста в стиля TR
6:08
Как вариант Просто он здесь Вам пишет
6:10
какой-то текст вы нажимаете
6:13
запись и начинаете всё это
6:16
воспроизводить то есть Старайтесь делать
6:18
паузы Старайтесь делать именно
6:19
качественную громкую запись Потому что
6:21
если вы сделаете например очень Тихий
6:23
голос то скорее всего ваша модель на вас
6:26
не будет похожа поэтому имейте в виду
6:28
что конечная модель зависит от качества
6:30
вашей записи я такую запись уже сделал
6:33
давайте мы её послушаем в тёмных
6:35
переулках истории где тени прошлого
Моя запись
6:38
сливаются с настоящим скрывается Тайна о
6:41
которой молчат Столетия Это не просто
6:44
История это хроника безумия после чего
Нарезаем запись в mp3cut
6:47
Если у вас есть какие-либо там отрезки
6:50
паузы вот лишние и так далее мы нажимаем
6:52
вот сюда
6:53
mp3cut.net и открываем наш с вами
6:57
файл здесь мы можем его сократить
6:59
например вот так
7:01
вот то есть или вы там записали например
7:04
3 минуты если что одной минуты в целом
7:06
достаточно для того чтобы сделать
7:08
качественное клонирование голоса мы вот
7:10
так вот просто
7:12
обрезаем можем изменить
7:16
громкость Можем даже изменить скорость
7:19
изменить высоту звука эквалайзер и
7:21
прочие настройки также помимо этого
7:23
помните что то в каком настроении Вы
7:26
записываете собственно ваш голос в том
7:28
Он и будет
7:30
в дальнейшем То есть если это будет
7:31
запись голоса вроде й который я вам
7:33
показывал то все дальнейшие генерации
7:37
связанные с крамом будут именно в этом
7:39
стиле Если вы хотите чего-то другого то
7:41
Используйте другое настроение здесь
7:44
можем выбрать другой формат например M3
7:46
сразу ну или оставить как у нас есть у
7:48
меня вот это вот М4 Ну давайте M3
7:52
сохранить
7:54
сохранить ин дорожку
7:58
Наре сделать вот такую вот
8:05
надпись то есть написать U написать пол
8:09
и написать уже название своей модели и
8:12
добавить её вот в одну папку как вот
8:14
здесь у меня было теперь нам с вами
8:16
потребуется расшифровка в данном случае
Делаем текст для аудио
8:18
мы создаём вот так
8:21
блокнот и у меня уже расшифровка есть то
8:24
есть вот она вот так выглядит У меня она
8:27
есть потому что я её добавил из дипси То
8:29
есть я в точности повторил вот этот вот
8:31
текст я сделал Вот несколько там
8:33
переносов текста то есть это делать Я
8:35
так понимаю Не обязательно но и на
8:36
всякий случай для того чтобы вот были
8:39
корректные паузы Всё мы сохраняем
8:41
закрываем если у вас нет расшифровки
8:43
текста нам с вами понадобится программа
8:45
Viper и ещё важно отметить что вот эти
8:47
вот названия должны быть обязательно
8:49
одинаковыми для того чтобы установить
Установка Whisper
8:51
випи мы переходим на github ссылку я вам
8:54
пришлю и вот здесь вот в релиза Мы
8:57
выбираем актуальную версию то есть Вот
8:59
она последняя Теперь мы жмём сюда
9:04
Деп показать в
9:07
папке
9:08
вырезать переходим на тот же диск D
9:13
вставить Давайте извлечь текущую папку и
9:18
Давайте создадим для него отдельную
9:23
папку перенес ВС в папку архив удалим и
9:27
тепер нам нужно скать для этой программы
9:30
специальную модель мы переходим на hing
9:33
Face и вот здесь вот ищем вот этот Gmail
9:38
медиум нажимаем скачать у нас с вами
9:41
модель скачалась тоже нажимаем показать
9:43
в папке правой кнопкой мыши вырезать
9:46
идём в нашу папку с пером и вставляем её
9:49
прямо сюда теперь мы нажимаем visper
9:52
десктоп он у нас предлагает скачать
9:55
модель вот мы е открываем
10:00
и теперь вот он предлагает файл который
10:02
нам нужно транскрибировать здесь мы
10:04
выбираем язык
10:06
русский и давайте выберем мою
10:10
аудиодорожку открыть и теперь выбираем
10:13
формат текстовый файл выбираем куда его
10:17
положить Давайте напишем
10:24
имя я напишу ма 2 потому что у меня уже
10:27
есть транскрибация
10:31
и транскрибировать у нас Это займёт
10:34
какое-то
10:36
время Окей и смотрим Что у нас
10:40
получилось Давайте даже сравним в целом
10:43
он справился очень даже хорошо Да мне
10:46
нравится Тут даже ничего вроде как
10:48
Красном не выделено я прям не буду
10:51
сильно проверять Но если что вы
10:52
обязательно проверяете очень тщательно
10:54
там все грамматические ошибки какие-то
10:56
отступы и так далее То есть вот как
10:58
видите
10:59
делать вручную мы можем получить файл
11:01
вот таким образом и нам с вами осталось
Установка Ultimate Vocal Remover
11:03
сделать последний шажок к тому чтобы
11:06
создать свою модель собственно нам с
11:08
вами нужно удалить всякие там шумы и так
11:11
далее мы переходим снова на github и вот
11:14
здесь вот есть вот такая вот
11:16
программа спускаемся ниже и вот здесь
11:19
вот основная ссылка для установки мы на
11:22
неё
11:23
жмём и у нас с вами скачивается файл
11:26
установка максимально простая
11:30
включаем этот файл и вот далее Далее
11:32
далее жмём жмём
11:34
жмём У нас с вами установится программа
11:37
и мы её запускаем она бесплатная
11:41
работает очень быстро и вот здесь вот
11:43
нам с вами нужно выставить настройки вот
11:45
здесь вот обязательно ставим MDX net
11:48
здесь обязательно 256 здесь
11:51
Деол здесь галочку Ставим на GPU и
11:54
только вокал и вот здесь вот у нас с
11:56
вами ovr MDX net
12:00
далее мы здесь выбираем наш с вами
12:03
файл и вот здесь мы выбираем куда его
12:06
собственно поместить то есть Ну например
12:08
на рабочий стол или вот мою
12:11
модель и здесь выбираем обязательно
12:14
формат MP3 нажимаем
12:17
Старт
12:19
Готово Вот у нас есть вот такой вот с
12:22
вами
12:25
вокал и мы его просто добавляем в нашу с
12:28
вами папку Я уже добавлял поэтому я этот
Загружаем модель в Fish Speech
12:31
файл удалю далее Когда у нас с вами Вот
12:33
модель готова Мы вот нажимаем вот так
12:36
копировать или вырезать
12:39
заходим на Fish spe Теперь снова Fish
12:44
spe
12:46
EX правой кнопкой мыши вставить то есть
12:49
вот мы вставили с вами нашу модель в
12:51
нашу программу теперь она у нас появится
12:54
только при перезапуске то есть мы вот
12:56
так вот закрываем это
12:58
окошко
13:00
закрываем и снова запускаем нашу
13:03
программу Кстати чтобы е не запускать
13:06
отсюда Вы можете просто отправить
13:09
например на рабочий стол
13:13
ярлык вот здесь его
13:16
переименовать например не голод
Тестируем свой клон голоса
13:20
открываем теперь сразу выставим
13:22
температура например
13:24
0,75 аудио для референса переходим и
13:27
выбираем нашу с вами модель Вот она
13:30
также помните что ударение никак нельзя
13:32
подправить так же как и Интонация то
13:34
есть программа по сути работает пока что
13:35
сама по себе Будем надеяться может быть
13:38
в новых апдейта ещё добавят каких-нибудь
13:40
функций здесь у нас с вами Вот есть наше
13:43
референсное аудио давайте послушаем
13:45
тёмных переулках истории где тени
13:48
прошлого сливаются с настоящим
13:50
скрывается Тайна о которой молчат
13:54
столетие давайте как раз мы скопирую Вот
13:57
эту вот фразу и попробуем
13:59
сгенерировать в расширенных настройках
14:02
выберем формат MP3 жмм генерация И
14:06
помимо этого то что вы сейчас слышите
14:08
может
14:09
звучать менее качественно чем Если вы
Результат 2
14:11
это услышите прямо у себя на компьютере
14:13
имейте в виду тёмных переулках истории
14:17
дете не прошлого сливается с настоящим
14:19
скрывается Тайна о которой молчат
14:22
Столетия но в целом неплохо То есть
14:25
можно е там поиграться с температурой и
14:27
так далее на с вами задача сделать
14:31
несколько голосов Сейчас я покажу как
14:33
это сделать И вот я ещё перег нери на
Результат 3
14:36
температуры 07 давайте послушаем в
14:39
тёмных переулках истории где тени
14:41
прошлого сливается с настоящим
14:44
скрывается Тайна о которой молчат
14:46
Столетия этот вариант мне уже нравится
14:49
гораздо больше Давайте идти дальше
14:52
закрываем наш интерфейс закрываем
14:55
программу переходим снова в Telegram
14:57
канал neosoft и здесь вот у нас с вами
Установка Fish Speech Dialogue
15:00
есть пост про Fish speach Здесь также
15:04
есть инструкция Давайте скачаем архив
15:07
жмём показать в
15:09
папки нажимаем правой кнопкой мыши
15:12
вырезать ищем нашу
15:15
папку нажимаем
15:17
вставить
15:19
извлечь в текущую
15:21
папку архив
15:24
удаляем Заходим в эту папку и теперь вот
15:27
это вот мы вырезаем
15:30
и вставляем
15:32
сюда а вот эту папку
15:36
удаляем нажимаем Start Dialog Up
15:39
выполнить в любом случае вот это вот
15:42
обязательно запомните потому что у Вас
15:44
могут быть ошибки но опять же если что
15:46
ищите вот решение в разделе помощь
15:48
собственно я вот так и сделал у нас с
Тестим Fish Speech Dialogue
15:50
вами открылся интерфейс и вот здесь вот
15:52
мы можем с вами как раз протестировать
15:54
как он работает то есть как вы видите
15:56
здесь написано пользователь о
15:57
пользователь 2 и 3 здесь соответственно
16:00
у нас выбираются вот модели к которым
16:03
относятся те или иные
16:05
пользователи давайте
16:07
выберем например вот мою давайте выберем
16:11
вторую какую-нибудь ещё не английскую
16:15
Давайте например
16:17
дэдпула и кого-нибудь
16:21
ещё расширенные настройки Давайте формат
16:26
сразу здесь мы с вами оставим
16:29
есть нажмём сгенерировать диалог как по
16:33
мне вообще потрясающая функция давайте
Результат 4
16:35
послушаем что получилось ребята У меня
16:38
проблема Мой кот постоянно будет меня в
16:41
5 утра может он хочет есть Попробуй
16:45
кормить его перед сном или Заведи
16:47
будильник на 4:30 и Разбуди его первым
16:50
Пусть знает каково это ну вот как по мне
16:52
результат просто пушка Я надеюсь вам
16:55
этот урок понравился да и в целом вот
16:58
собственно Спасибо большое ре пакером
Рекомендации
17:01
авторам я постарался сделать этот урок
17:04
максимально подробным чтобы каждому было
17:06
понятно как это всё работает Как это всё
17:08
настраивать ещё я конечно же снимаю с
17:10
себя ответственность То есть я не
17:12
использую все эти там голоса разных
17:15
персонажей разных популярных личностей в
17:17
коммерческих целях и помните тоже что
17:20
использование голоса грозит авторским
17:22
правом То есть это я просто показал
17:24
функционал как всё это работает также
17:27
обязательно конечно Подписывайтесь на
17:29
наш Telegram канал личка забита здесь я
17:32
выкладываю какие-то уроки классные
17:34
например Последний был про stable
17:36
diffusion также есть про Нейро
17:38
фотосессию очень много уроков про Лоры и
17:40
так далее Также здесь есть всякие
17:42
новости иногда тут мы делимся своими
17:44
результатами В общем пушка гонка классна
17:47
Спасибо что досмотрели этот урок до
17:49
конца Всем пока