Skip to content
Logo csisimple

C Si Simple

Le réseau de connaissances pour les Pros !

Primary Menu
  • Technologie
  • Ordinateurs
  • Intelligence Artificielle
  • Home
  • Ordinateurs
  • Identifier une mélodie en étudiant le langage corporel d’un musicien
  • Ordinateurs

Identifier une mélodie en étudiant le langage corporel d’un musicien

26 juin 2020 4 min read

Nous écoutons la musique avec nos oreilles, mais aussi avec nos yeux, en regardant avec appréciation les doigts du pianiste voler sur les touches et l’archet du violoniste se balancer sur la crête des cordes. Lorsque l’oreille ne parvient pas à distinguer deux instruments, l’œil se met souvent à l’écoute en faisant correspondre les mouvements de chaque musicien au rythme de chaque partie.

A nouvel outil d’intelligence artificielle développé par la MIT-IBM Watson AI Lab exploite les yeux et les oreilles virtuels d’un ordinateur pour séparer des sons similaires qu’il est difficile, même pour les humains, de différencier. L’outil améliore les itérations précédentes en faisant correspondre les mouvements des musiciens individuels, via leurs points clés squelettiques, au tempo des différentes parties, ce qui permet aux auditeurs d’isoler une seule flûte ou un seul violon parmi plusieurs flûtes ou violons.

Les applications potentielles de cette œuvre vont du mixage sonore, à l’augmentation du volume d’un instrument dans un enregistrement, en passant par la réduction de la confusion qui amène les gens à se parler lors d’une vidéoconférence. L’œuvre sera présentée lors de la conférence virtuelle Reconnaissance des formes de vision par ordinateur ce mois-ci.

« Les points clés du corps fournissent des informations structurelles puissantes », affirme l’auteur principal de l’étude, Chuang Ganun chercheur d’IBM au laboratoire. « Nous utilisons cela ici pour améliorer la capacité de l’IA à écouter et à séparer le son. »

Dans ce projet, et dans d’autres similaires, les chercheurs ont capitalisé sur des pistes audio-vidéo synchronisées pour recréer la façon dont les humains apprennent. Un système d’IA qui apprend par le biais de multiples modalités sensorielles pourrait être capable d’apprendre plus rapidement, avec moins de données, et sans que les humains n’aient à ajouter de fâcheuses étiquettes à chaque représentation du monde réel. « Nous apprenons de tous nos sens », déclare Antonio Torralba, professeur au MIT et coauteur de l’étude. « Le traitement multi-sensoriel est le précurseur de l’intelligence incorporée et des systèmes d’IA qui peuvent effectuer des tâches plus compliquées ».

L’outil actuel, qui utilise les gestes du corps pour séparer les sons, s’appuie sur des travaux antérieurs qui exploitaient les indices de mouvement dans des séquences d’images. Sa première incarnation, PixelPlayer, permet de cliquer sur un instrument dans une vidéo de concert pour le rendre plus fort ou plus doux. Un mise à jour à PixelPlayer vous permettait de distinguer deux violons dans un duo en faisant correspondre les mouvements de chaque musicien au tempo de sa partie. Cette nouvelle version ajoute des données clés, privilégiées par les analystes sportifs pour suivre les performances des athlètes, afin d’extraire des données de mouvement à grain plus fin pour distinguer des sons presque identiques.

L’ouvrage souligne l’importance des repères visuels pour apprendre aux ordinateurs à mieux entendre et des repères sonores pour leur permettre de mieux voir. Tout comme l’étude actuelle utilise les informations de la pose des musiciens pour isoler des instruments au son similaire, des travaux antérieurs ont exploité les sons pour isoler des animaux et des objets d’apparence similaire.

Torralba et ses collègues ont montré que les modèles d’apprentissage profond formés sur des données audio-vidéo couplées peuvent apprendre à reconnaître les sons naturels comme le chant des oiseaux ou le fracas des vagues. Ils peuvent également déterminer les coordonnées géographiques d’un voiture en mouvement du bruit de son moteur et de ses pneus roulant vers ou à l’écart d’un microphone.

Cette dernière étude suggère que les outils de suivi sonore pourraient être un complément utile dans les voitures à conduite autonome, en complément de leurs caméras dans de mauvaises conditions de conduite. « Les systèmes de repérage sonore pourraient être particulièrement utiles la nuit ou par mauvais temps, en permettant de repérer des voitures qui pourraient autrement passer inaperçues », explique Hang Zhao, PhD ’19, qui a contribué aux études sur le mouvement et le repérage sonore.

Deng Huang et Joshua Tenenbaum du MIT sont d’autres auteurs de l’étude sur les gestes musicaux du CVPR.

Continue Reading

Previous: Lancement du programme MIT-Takeda | MIT News
Next: Améliorer l’équité en matière de santé dans le monde en aidant les cliniques à faire plus avec moins

Articles Liés

L’initiative du MIT pour l’énergie accorde huit subventions de fonds d’amorçage pour les premières étapes de la recherche sur l’énergie du MIT 7 min read
  • Ordinateurs

L’initiative du MIT pour l’énergie accorde huit subventions de fonds d’amorçage pour les premières étapes de la recherche sur l’énergie du MIT

1 juillet 2020
medical-equipment-4099432_1920 Améliorer l’équité en matière de santé dans le monde en aidant les cliniques à faire plus avec moins 7 min read
  • Ordinateurs

Améliorer l’équité en matière de santé dans le monde en aidant les cliniques à faire plus avec moins

26 juin 2020
Lancement du programme MIT-Takeda | MIT News 5 min read
  • Ordinateurs

Lancement du programme MIT-Takeda | MIT News

19 juin 2020
doctor-563428_1280 Apporter le pouvoir prédictif de l’intelligence artificielle aux soins de santé 7 min read
  • Ordinateurs

Apporter le pouvoir prédictif de l’intelligence artificielle aux soins de santé

19 juin 2020
Le MIT et Toyota publient un ensemble de données innovatrices pour accélérer la recherche sur la conduite autonome 4 min read
  • Ordinateurs

Le MIT et Toyota publient un ensemble de données innovatrices pour accélérer la recherche sur la conduite autonome

18 juin 2020
Ce qui saute aux yeux sur une photo change au fur et à mesure que l’on regarde 5 min read
  • Ordinateurs

Ce qui saute aux yeux sur une photo change au fur et à mesure que l’on regarde

18 juin 2020

Articles récents

  • L’initiative du MIT pour l’énergie accorde huit subventions de fonds d’amorçage pour les premières étapes de la recherche sur l’énergie du MIT
  • Améliorer l’équité en matière de santé dans le monde en aidant les cliniques à faire plus avec moins
  • Identifier une mélodie en étudiant le langage corporel d’un musicien
  • Lancement du programme MIT-Takeda | MIT News
  • Apporter le pouvoir prédictif de l’intelligence artificielle aux soins de santé

Catégories

  • Entreprises
  • Intelligence Artificielle
  • Ordinateurs
  • Technologie
  • Magazine W30
  • Contact
Copyright © All rights reserved. | Magnitude by AF themes.