Рассказываем о новинках в мире нейросетей за месяц. Новые технологии воссоздают музыку по МРТ мозга, угадывают пароли по звуку и имеют политические взгляды. Сегодня мы посещаем самый странный зоопарк, создаём видеоролики по текстовому описанию и разбираемся в тонкостях озвучки видео.
ДАРЬЯ ТИХОМИРОВА
Автор-фрилансер
«
Приготовьтесь: учёные из Google, Осакского университета, NICT и Araya Inc. провели эксперимент, в котором записали музыку, которую человек воспроизводит в мозгу, по результатам фМРТ‑сканирования. Больше примеров —
В левой колонке приводится оригинальная мелодия, в трёх колонках справа — результат работы нейросети
«
Система генеративного ИИ получает данные о том, какие витрины вы рассматривали дольше всего, на какие товары обращали внимание и что держали в руках. На основе этих данных генерируется аватар, который предлагает вам приобрести товары, потенциально интересные именно вам.
«
Технология из шпионских фильмов ожила: с точностью до 95% ИИ понимает, что было напечатано на клавиатуре, по звуку клавиш. Предварительно нейросеть нужно обучить на звуках конкретной клавиатуры — для теста группа учёных использовала MacBook Pro.
Так нейросеть видит различия между звуком набранной клавиши и его передачей через Zoom
«
Учёные из Вашингтонского университета, Университета Карнеги-Меллона и Сианьского университета Цзяотун изучили 14 языковых моделей на предмет их политических взглядов, реакции на дезинформирующие тексты и попробовали их «перевоспитать». Рафаил Агазода рассказал, какие модели оказались наиболее консервативными и что, по мнению учёных, можно сделать с политической предвзятостью.
Так расположились по шкале политических координат разные языковые модели. Кто по идеологическому мировоззрению ваша любимая нейросеть?
Курсы по теме
«
Голографический зоопарк
Компания Axiom Holographics открыла в Австралии первый зоопарк, животных которого можно увидеть только в специальных очках. Система отслеживает вашу локацию и с помощью графического движка Unlimited Detail генерирует животных (включая динозавров) и их места обитания.
Парк Юрского периода ещё никогда не выглядел настолько реалистично
Not quite reality
NerF — нейросеть от NVIDIA, которая создаёт 3D-сцены из двумерных изображений. С её помощью пользователь создал кинематографичное видео о локациях по соседству и искривил отдельные сцены — они эффектны.
Довольно сюрреалистичное зрелище
Перевести видеоролик на другой язык и озвучить так, чтобы движения губ совпадали с речью — искусство. Стартап Synchronicity создал нейросеть на основе GPT-4, 11labs и wav2lip-2 API, которая переводит видео и воссоздаёт голос спикера вместе с липсинком. По ссылке можно запросить ранний доступ к API.
Пример работы сервиса
Сервис позволяет озвучить видео с помощью нейросетей. Загрузите текст, выберите язык и один из 900 голосов, задайте стиль, эмоции и другие настройки и наслаждайтесь результатом.
Инструмент для разработчиков, который упростит создание кода: подскажет, что написать дальше, и ответит на вопросы. Расширение поддерживает 70 языков программирования и 20 редакторов кода — стоит попробовать.
Короткое демо от разработчиков сервиса
Хотите превратить 2D-картинку в глубокую и наполненную деталями локацию? Поучаствуйте в альфа-тестировании InstaVerse: создайте картинку, например, в Midjourney, создайте для неё
Text-to-Video-платформа, которая генерирует гифки по вашим текстам и картинкам. После нажатия на кнопку Join beta вы окажетесь в Discord, где нужно будет выбрать любую ветку Generate и ввести запрос.
Короткий ролик, полностью сгенерированный с помощью Pika Labs
На сайте собрали статьи из баз Arxiv, Biorxiv, Medrxiv и Chemrxiv, и это ещё не всё. Помимо того, что вы можете найти научную статью почти на любую тему, её можно упростить с помощью ИИ: выделить нужный кусочек и нажать Simplify.
Инструмент помогает структурировать брейнштормы и потоки креативных идей — теперь и с ChatGPT. Задайте чат-боту любой вопрос и используйте ответы в своей презентации.
Живая демонстрация работы инструмента
Читать также
Мнение автора и редакции может не совпадать. Хотите написать колонку для Нетологии? Читайте наши
ДАРЬЯ ТИХОМИРОВА
Автор-фрилансер
The post
ДАРЬЯ ТИХОМИРОВА
Автор-фрилансер
Что почитать
«
You do not have permission to view link please Вход or Регистрация
», ХабрПриготовьтесь: учёные из Google, Осакского университета, NICT и Araya Inc. провели эксперимент, в котором записали музыку, которую человек воспроизводит в мозгу, по результатам фМРТ‑сканирования. Больше примеров —
You do not have permission to view link please Вход or Регистрация
на GitHub, кратко об эксперименте рассказал пользователь mr-pickles.
В левой колонке приводится оригинальная мелодия, в трёх колонках справа — результат работы нейросети
«
You do not have permission to view link please Вход or Регистрация
», Inc.Система генеративного ИИ получает данные о том, какие витрины вы рассматривали дольше всего, на какие товары обращали внимание и что держали в руках. На основе этих данных генерируется аватар, который предлагает вам приобрести товары, потенциально интересные именно вам.
«
You do not have permission to view link please Вход or Регистрация
», DSMТехнология из шпионских фильмов ожила: с точностью до 95% ИИ понимает, что было напечатано на клавиатуре, по звуку клавиш. Предварительно нейросеть нужно обучить на звуках конкретной клавиатуры — для теста группа учёных использовала MacBook Pro.
Так нейросеть видит различия между звуком набранной клавиши и его передачей через Zoom
«
You do not have permission to view link please Вход or Регистрация
», TprogerУчёные из Вашингтонского университета, Университета Карнеги-Меллона и Сианьского университета Цзяотун изучили 14 языковых моделей на предмет их политических взглядов, реакции на дезинформирующие тексты и попробовали их «перевоспитать». Рафаил Агазода рассказал, какие модели оказались наиболее консервативными и что, по мнению учёных, можно сделать с политической предвзятостью.
Так расположились по шкале политических координат разные языковые модели. Кто по идеологическому мировоззрению ваша любимая нейросеть?
You do not have permission to view link please Вход or Регистрация
— узнаете, как подготавливать, анализировать и визуализировать данные с помощью Power BI«
You do not have permission to view link please Вход or Регистрация
» — построите карьеру в анализе данных и обучении нейронных сетей
You do not have permission to view link please Вход or Регистрация
— углубите свою экспертизу в работе с нейросетямиЧто посмотреть
Голографический зоопарк
Компания Axiom Holographics открыла в Австралии первый зоопарк, животных которого можно увидеть только в специальных очках. Система отслеживает вашу локацию и с помощью графического движка Unlimited Detail генерирует животных (включая динозавров) и их места обитания.
Код:
Not quite reality
NerF — нейросеть от NVIDIA, которая создаёт 3D-сцены из двумерных изображений. С её помощью пользователь создал кинематографичное видео о локациях по соседству и искривил отдельные сцены — они эффектны.
Код:
Что попробовать
You do not have permission to view link please Вход or Регистрация
Перевести видеоролик на другой язык и озвучить так, чтобы движения губ совпадали с речью — искусство. Стартап Synchronicity создал нейросеть на основе GPT-4, 11labs и wav2lip-2 API, которая переводит видео и воссоздаёт голос спикера вместе с липсинком. По ссылке можно запросить ранний доступ к API.
Код:
You do not have permission to view link please Вход or Регистрация
Сервис позволяет озвучить видео с помощью нейросетей. Загрузите текст, выберите язык и один из 900 голосов, задайте стиль, эмоции и другие настройки и наслаждайтесь результатом.
You do not have permission to view link please Вход or Регистрация
Инструмент для разработчиков, который упростит создание кода: подскажет, что написать дальше, и ответит на вопросы. Расширение поддерживает 70 языков программирования и 20 редакторов кода — стоит попробовать.
Код:
You do not have permission to view link please Вход or Регистрация
Хотите превратить 2D-картинку в глубокую и наполненную деталями локацию? Поучаствуйте в альфа-тестировании InstaVerse: создайте картинку, например, в Midjourney, создайте для неё
You do not have permission to view link please Вход or Регистрация
и загрузите оба файла в Instaverse.
You do not have permission to view link please Вход or Регистрация
Text-to-Video-платформа, которая генерирует гифки по вашим текстам и картинкам. После нажатия на кнопку Join beta вы окажетесь в Discord, где нужно будет выбрать любую ветку Generate и ввести запрос.
Код:
You do not have permission to view link please Вход or Регистрация
На сайте собрали статьи из баз Arxiv, Biorxiv, Medrxiv и Chemrxiv, и это ещё не всё. Помимо того, что вы можете найти научную статью почти на любую тему, её можно упростить с помощью ИИ: выделить нужный кусочек и нажать Simplify.
You do not have permission to view link please Вход or Регистрация
Инструмент помогает структурировать брейнштормы и потоки креативных идей — теперь и с ChatGPT. Задайте чат-боту любой вопрос и используйте ответы в своей презентации.
Код:
You do not have permission to view link please Вход or Регистрация
You do not have permission to view link please Вход or Регистрация
Мнение автора и редакции может не совпадать. Хотите написать колонку для Нетологии? Читайте наши
You do not have permission to view link please Вход or Регистрация
. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к
You do not have permission to view link please Вход or Регистрация
.
ДАРЬЯ ТИХОМИРОВА
Автор-фрилансер
The post
You do not have permission to view link please Вход or Регистрация
first appeared on
You do not have permission to view link please Вход or Регистрация
.
