AudioCraft — это библиотека для PyTorch, которая позволяет генерировать нейросетевую музыку.
Error handling this external URL
Это инструмент, который позволяет преобразовывать текст в код, обучать ИИ-моделей для генерации музыки и получать вывод в виде звуковых дорожек. Сами ИИ для генерации музыки — это AudioGen и MusicGen.
AudioCraft состоит из четырех инструментов:
Для работы с AudioCraft понадобятся Python 3.9 и PyTorch 2.0.0.
Чтобы установить AudioCraft, выполните следующую команду:
# Best to make sure you have torch installed first, in particular before installing xformers. # Don’t run this if you already have PyTorch installed. pip install ‘torch>=2.0’ # Then proceed to one of the following pip install -U audiocraft # stable release pip install -U git+
Мы рекомендуется установить ffmpeg через Терминал, если вы используете Linux, либо через Anaconda:
sudo apt-get install ffmpeg # Or if you are using Anaconda or Miniconda conda install ‘ffmpeg<5’ -c conda-forge
На YouTube есть масса примеров с музыкой, сгенерированной AudioCraft. Эта музыка сильно отличается друг от друга: есть композиционно замечательные мелодии, а есть неудачные, в которых даже ритм страдает.
Как и в случае с ChatGPT или с Midjourney, всё зависит от промпта. Чем больше деталей вы укажете в запросе, тем качественнее будет результат. Ниже — подборка музыки, которая получилась удачной. Обратите внимание, что в каждом промпте первым делом указаны bpm — удары в минуту.
Error handling this external URL
Это инструмент, который позволяет преобразовывать текст в код, обучать ИИ-моделей для генерации музыки и получать вывод в виде звуковых дорожек. Сами ИИ для генерации музыки — это AudioGen и MusicGen.
Что входит в AudioCraft
AudioCraft состоит из четырех инструментов:
- MusicGen: нейросеть для создания музыки из текстового описания. Есть четыре предобученные модели.
а) musicgen-small — 300М, превращает текст в музыку.
б) musicgen-medium — 1.5В, также превращает текст в музыку.
в) musicgen-melody — 1.5В, превращает текст в музыку, также преобразует текст и мелодию в полноценную песню.
г) musicgen-large — 3.3В, превращает текст в музыку. - AudioGen: 1.5В-нейросеть для преобразования текста в звук. Она отличается от AudioGen тем, что генерирует не музыку, а, к примеру, звуки шагов по снегу, пение сверчков, и так далее.
- EnCodec: нейронный высокоточный аудиокодек.
- Multi Band Diffusion: совместимый с EnCodec декодер.
Установка AudioCraft
Для работы с AudioCraft понадобятся Python 3.9 и PyTorch 2.0.0.
Чтобы установить AudioCraft, выполните следующую команду:
# Best to make sure you have torch installed first, in particular before installing xformers. # Don’t run this if you already have PyTorch installed. pip install ‘torch>=2.0’ # Then proceed to one of the following pip install -U audiocraft # stable release pip install -U git+
You do not have permission to view link please Вход or Регистрация
# bleeding edge pip install -e . # or if you cloned the repo locally (mandatory if you want to train).Мы рекомендуется установить ffmpeg через Терминал, если вы используете Linux, либо через Anaconda:
sudo apt-get install ffmpeg # Or if you are using Anaconda or Miniconda conda install ‘ffmpeg<5’ -c conda-forge
Примеры сгенерированной музыки
На YouTube есть масса примеров с музыкой, сгенерированной AudioCraft. Эта музыка сильно отличается друг от друга: есть композиционно замечательные мелодии, а есть неудачные, в которых даже ритм страдает.
Как и в случае с ChatGPT или с Midjourney, всё зависит от промпта. Чем больше деталей вы укажете в запросе, тем качественнее будет результат. Ниже — подборка музыки, которая получилась удачной. Обратите внимание, что в каждом промпте первым делом указаны bpm — удары в минуту.
