Нашли интересный репозиторий на GitHub: разработчики выложили модель, которая самостоятельно генерирует видеоуроки по готовому сценарию. Нейросеть генерирует весь видеоряд, включая лектора, помещение и слайд-видео с информацией.
При этом пользователь может самостоятельно настроить персонажа, который будет использоваться в роли лектора.
Откройте терминал и перейдите в бэкэнд-каталог.
Для Windows:
python -m venv .venv .venvScriptsactivate pip install -r requirements.txt
Для Linux и Mac:
python -m venv .venv source .venv/bin/activate pip install -r requirements.txt
Также установите sadtalker, каталог которого должен находиться в бэкенд-каталоге. Запустите sadtalker один раз, чтобы создать среду venv.
Редактор-модератор сообщества по теме Python / Data Science / AI Tproger, Удалённо, От 50 000 ₽ tproger.ru Вакансии на tproger.ru
Добавьте свой ключ API Cohere в файл backend/apikeys.json.
Откройте терминал и перейдите в раздел frontend/topic2explanation.
npm run dev
Откройте другой терминал и перейдите в каталог бэкенда.
uvicorn main:app
Также можно настроить тему ролика, уровень объяснения — от поверхностного до глубокого —, возраст целевой аудитории, уровень креативности лектора и чувство его юмора.
Сценарий ролика будет исправлен с учётом этих параметров.
После того, как сценарий полностью готов, он разбивается на мелкие кусочки и озвучивается Text-to-Speech (TTS) моделью.
В это же время модели Cohere и Langchain формируют запрос по ключевым словам из сценария, чтобы найти в Google слайды с информацией для видео.
Затем формируется анимация персонажа и слайд-видео из найденных в Google картинок. Готовое видео объединяет видео с персонажем и слайд-видео.
Вот видео с процессом генерации видеоурока:
***
Если вам понравился этот инструмент, вы можете поддержать разработчиков и подписаться на их соцсети:
И пишите в комментариях, какие нейросети ускользнули от нашего глаза, но про которые срочно стоит рассказать. ; )
При этом пользователь может самостоятельно настроить персонажа, который будет использоваться в роли лектора.
Установка зависимостей
Откройте терминал и перейдите в бэкэнд-каталог.
Для Windows:
python -m venv .venv .venvScriptsactivate pip install -r requirements.txt
Для Linux и Mac:
python -m venv .venv source .venv/bin/activate pip install -r requirements.txt
Также установите sadtalker, каталог которого должен находиться в бэкенд-каталоге. Запустите sadtalker один раз, чтобы создать среду venv.
Редактор-модератор сообщества по теме Python / Data Science / AI Tproger, Удалённо, От 50 000 ₽ tproger.ru Вакансии на tproger.ru
Добавьте свой ключ API Cohere в файл backend/apikeys.json.
Как запустить нейросеть
Откройте терминал и перейдите в раздел frontend/topic2explanation.
npm run dev
Откройте другой терминал и перейдите в каталог бэкенда.
uvicorn main:app
Как сгенерировать урок
Также можно настроить тему ролика, уровень объяснения — от поверхностного до глубокого —, возраст целевой аудитории, уровень креативности лектора и чувство его юмора.
Сценарий ролика будет исправлен с учётом этих параметров.
После того, как сценарий полностью готов, он разбивается на мелкие кусочки и озвучивается Text-to-Speech (TTS) моделью.
В это же время модели Cohere и Langchain формируют запрос по ключевым словам из сценария, чтобы найти в Google слайды с информацией для видео.
Затем формируется анимация персонажа и слайд-видео из найденных в Google картинок. Готовое видео объединяет видео с персонажем и слайд-видео.
Вот видео с процессом генерации видеоурока:
***
Если вам понравился этот инструмент, вы можете поддержать разработчиков и подписаться на их соцсети:
- Github:
You do not have permission to view link please Вход or Регистрация
- LinkedIn:
You do not have permission to view link please Вход or Регистрация
- Medium:
You do not have permission to view link please Вход or Регистрация
- Twitter:
You do not have permission to view link please Вход or Регистрация
И пишите в комментариях, какие нейросети ускользнули от нашего глаза, но про которые срочно стоит рассказать. ; )
