audeo-ai-piano
  • post by:
  • Февраль 09, 2021

Нейромережа Audeo розпізнає музику фортепіано без звуку

Вашингтонський університет розробив технологію Audeo — це програмне забезпечення зі штучним інтелектом, яке може розпізнати та відтворити зіграну на фортепіано мелодію після аналізу руху рук музиканта. Про це повідомляє портал TNW.

Нейромережу навчали на відеозаписах піаніста Пола Бартона, який грає Моцарта і Баха. Штучний інтелект зміг визначити, які клавіші й в якому порядку натискаються — так він зчитує ноти.

Також алгоритм враховує час утримання і силу натиснення. Так визначається інтенсивність і тривалість. Потім Audeo передає зібрані дані на синтезатор, який транскрибує їх у звук.

Точність відтвореної нейромережею музики вчені оцінили в Shazam і SoundHound. Додатки розпізнали мелодії в 86% випадків. Це всього на 7% менше показників вихідного відео Пола Бартона.

«Audeo може бути розширений до віртуального піаніно з камерою, що записує тільки руки людини. Якщо ми помістимо камеру поверх справжнього піаніно, Audeo потенційно може допомогти в навчанні музикантів-початківців, відстежуючи положення їх рук», — заявив старший автор дослідження Елі Шлізерман.

Джерело: Knife

Слідкуйте за Music Week UA у соц мережах:

INSTAGRAM
FACEBOOK
TELEGRAM