В финальной части цикла разбираем пошаговый сетап для полного цикла производства музыки и клипов без единой платной подписки: от концептов в локальных LLM до синтеза треков в AceStep 1.5, сведения в Audacity, артов в ComfyUI и монтажа видео через открытые диффузоры.
В первой и второй частях цикла мы разобрали теорию открытых нейросетей, разрушили миф о «склейке кусков», заглянули в скрытые настройки AceStep 1.5 и познакомились с аудиокодами. В финальном материале вместе с исследователем Hades переходим к практике: пошагово разбираем рабочий сетап с расходами только на электричество.
Пайплайн продакшена: от концепта до финального видео
Проект автора строится на стыке средневекового фолка, баухауса, нойза и индастриала. Чтобы воплотить столь нишевую эстетику без шаблонов Suno, используется слаженная цепочка бесплатного софта:
- 1. Идея и лирика (SillyTavern, локальные LLM). Тексты и сценарии прорабатываются в ролевой оболочке SillyTavern через локальные языковые модели (Qwen, Gemma, Cydonia). В групповом чате три персонажа формируют общий лор и структуру песни. Для стандартных задач ролевой чат не обязателен — с промптами и лирикой отлично справятся обычные локальные LLM через LM Studio или Ollama.
- 2. Генерация музыки (AceStep 1.5). Создание трека в режиме Custom. Чаще всего генерация идёт по референсу (Reference Audio), так как заготовки уникального стиля и вокала уже наработаны.
- 3. Разделение на стемы (Audacity + OpenVINO, UVR). Дорожки разделяются на составляющие с помощью бесплатного плагина OpenVINO в Audacity либо через Ultimate Vocal Remover (UVR).
- 4. Сведение и мастеринг. Быстрое выравнивание частотного баланса трека по референсу делается через модуль matchering в UVR. Точечная шлифовка — эквализация, сатурация и компрессия классическими VST-плагинами (iZotope, Antares) в бесплатной и всеядной Audacity.
- 5. Визуал и обложки (ComfyUI). Генерация концепт-артов, обложек и раскадровки видео на базе моделей Flux и SDXL (часто поверх собственных грубых скетчей на планшете).
- 6. Видеогенерация (Wan 2.2, LTX). Создание динамичных видеосцен по ключевым кадрам раскадровки на открытых видеодиффузорах.
- 7. Финальный монтаж (CapCut). Сборка готового аудиоряда, переходов и смонтированных видеокусков в единый клип.
Итог: ноль рублей на подписки и полная независимость от облачных сервисов.
Почему будущее за открытым кодом
Закрытые платформы всё сильнее закручивают гайки: поднимают цены, ограничивают доступ из-за санкций, блокируют генерации за малейший намек на копирайт или внезапно меняют правила монетизации.
Open-source даёт автору фундаментальные преимущества:
- Неуязвимость. Локальную программу на вашем ПК никто не отключит и не заблокирует.
- Чистый копирайт. Ваши исходники, голос и демо не отправляются на чужие серверы для тайного дообучения чужих моделей.
- Свобода модификаций. Сообщество развивает открытые инструменты с поразительной скоростью — новые интерфейсы, оптимизации и расширения для AceStep появляются за считаные дни после релиза.
База для старта: ссылки на софт
- Портативная версия AceStep 1.5 — готовый архив «скачал и запустил» со всеми зависимостями.
- Репозиторий AceStep 1.5 на GitHub и веса моделей на HuggingFace.
- Интерфейс ace-step-ui — суноподобная оболочка для удобной работы.
- ScragVAE — автоэнкодер для прокачки динамики и качества звука.
- Ultimate Vocal Remover (UVR) — лучший бесплатный инструмент для деления на стемы.
- Модель Wan 2.2 — для генерации видеоклипов.
🔗 Присоединяйтесь к нашему сообществу в Max.
Ещё больше полезного и оперативного контента я публикую в своих Telegram-каналах. Присоединяйтесь к обсуждению!
mudi — всё о дистрибуции, работе с площадками и последних новостях. Подписаться →
mishas tips — инсайты, аналитика и разбор трендов всей музыкальной индустрии. Подписаться →
Музыкальный ИИ — слежу за тем, как искусственный интеллект меняет музыку прямо сейчас. Подписаться →