👉 Раскрываю идею дальше: примерно год-два назад был небольшой бум ИИ-каверов. Русские хиты исполнялись голосами зарубежных артистов и наоборот. Если это работало с популярными голосами — значит, можно попробовать и со своим

Ресерч

Я использую связку из ChatGPT, Perplexity и Hugging Face:

• С помощью ChatGPT определяем, как такие ИИ-каверы делают, какие есть технологии и как называется классификация задачи в ML-мире, которую я хочу решить;
• В Perplexity — факт-чекинг ответа от ChatGPT. На мой взгляд он лучше ищет информацию в открытых источниках;
• На Hugging Face (OpenSource сообщество, GitHub в мире ML) ищу руками доступные ресурсы по ключевым словами, отталкиваясь от наименования класса задачи, полученной от ChatGPT.

Результаты

Voice cloning, voice conversion (изменения тембра с учетом особенностей голоса), TTS (text-to-speech) — классификация задачи от ChatGPT и набор ключевых слов для дальнейшего поиска, в том числе на Hugging Face.

Как оказалось, инструментов клонирования голоса много, а решающих задачу voice conversion — мало. Из популярных и поддерживаемых решений я нашёл дватри:

• RVC
• So-VITs-SVC
• Seed-VC

Оба позволяют брать референс (акапеллу чужого вокала) и накладывать на него свой голос через до-обучение.

👌Следующий этап: изучить решения, разобраться с обучением и сравнить итоговое качество и скорость работы.