Новость

Alexander IT

Искусственный интеллект сможет восстановить музыку по видео фрагменту

Создан искусственный интеллект который может востанавливать музыку исходя из движений рук и тела музыканта!

Музыкальные инструменты
Музыкальные инструменты

Команда ученых из Массачусетского технологического университета преподнесли структуру искусственного интеллекта Foley Music. Данная модель может создавать музыку исходя из видеоролика игры на музыкальных инструментах без звука. Создатели утверждают, что данная система может работать с разными музыкальными инструментами и преобладает среди ранее изобретенных.

История создания Foley Music

Ученые взяли за основу умение человека «читать по губам». Новейшая модель искусственного интеллекта создает музыку на основе анализа движений человека и может стать отличным прототипом для новых приложений.

Foley Music расшифровывает информацию с основных частей тела и пальцев. Новая модель не только пишет полученную информацию в виде музыкальных нот, но и регулирует уровень громкости. Таким образом она может сыграть и воспроизвести скрипку, балалайку, гитару, барабан, виолончель и другие инструменты.

Экспериментальное исследование новой модели искусственного интеллекта

Ученые разработали для Foley Music три набора данных, в которых есть информация о большом количестве видеороликов с игрой на музыкальных инструментах. В результате получилось создать модель искусственного интеллекта с возможностью обработки видео различных уровней сложности.

В процессе апробирования Foley Music ученые загрузили в программу 450 видеороликов. Полученные композиции передали для анализа профессиональным музыкантам. По итогам многие отметили, что «музыка похожа на качественный кавер от профессиональной группы».

Консультанты отметили, что созданная мелодия Foley Music легко перепутать с обычной записью. Несомненным плюсом искусственного интеллекта является возможность улучшить качество звучания, временную синхронизацию и многое другое.

Читайте также: Новый инструмент по борьбе с интернет-троллями. Также ранее мы писали о том, что Налог на роботов в России — новая реальность.

Реклама на h-it.ru

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Была ли эта статья полезна для Вас?

Комментарии 0

Новость Страховая компания Tesla

Новая страховая компания для владельцев Tesla

Интернет-издательство Business Insider поделилось подробностями совещания Илона Маска с инвесторами. Миллиардер объяснился о планах создать отдельную ...

  • 0
  • 25 Июля 2020г.
Новость Человек следит за людьми

Правда ли то, что специальным службам в Германии будет разрешено наблюдать за людьми в интернете с помощью вируса?

Законопроект о внедрении вредоносного программного обеспечения для слежения за пользователями и предотвращения терроризма...

  • 0
  • 14 Июля 2020г.
Статья WWDC 2020 Apple

Тенденции ближайшего будущего: каких изменений следует ждать от мобильных приложений?

В конце июня, с 22 по 26, Apple провел масштабную всемирную конференцию WWDC 2020. Как правило, данное событие задает мировые тенденции развития мобил...

  • 0
  • 07 Июля 2020г.

Популярное

Новость 2 дня назад

Megatron-Turing Natural Language Generation: самая крупная генеративная языковая ИИ-модель от NVIDIA и Microsoft

Новость 2 дня назад

В ОАЭ украли 35 млн. долларов с помощью дипфейк-голоса

Новость Вчера в 15:00

В Steam объявили о запрете проектов по обмену криптовалютами и NFT-приложений

Новость 15 Октября

Марк Цукерберг и техдиректор Facebook тизерят прототипы будущих AR-гарнитур

Новость Вчера в 13:00

Pine64 представил мощный Linux-смартфон PinePhone Pro

Новость 15 Октября

На PS5 могут добавить поддержку Apple Music

Новость 15 Октября

Telegram обогнал WhatsApp и Facebook по генерированию трафика в РФ

Новость 09:45

Функция Apple по отслеживанию CSAM не прошла проверку криптографов

Новость 15 Октября

Clubhouse запустил новый музыкальный режим для прослушивания живой музыки

Новость 15 Октября

Эстония усиливает контроль над рынком криптовалют

Вход

Нет аккаунта? Зарегистрироваться

Забыли пароль?

Войти с помощью

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам:

Вход

Уже зарегистрированы? Вход

Нажимая на кнопку «Зарегистрироваться», вы даете Согласие на обработку персональных данных и принимаете Условиями использования

Зарегистрироваться с помощью

Сброс пароля

На Ваш Email адресс выслано письмо для подтверждения смены пароля

Главная

Сброс пароля

На Ваш Email адресс выслано письмо для подтверждения смены пароля

Сбросить
Подпишись на нас в Telegram
Будь в центре всех событий из мира IT
X