Une bonne nouvelle pour le milieu du cinéma ? Illustration par l’exemple : dans une série de vidéos, on voit un individu frotter une baguette en bois sur diverses surfaces – herbe, métal, goudron… Aucun son ne sort de la vidéo et pourtant, un programme informatique parvient à associer à chaque surface l’effet sonore adéquat, comme le raconte The Washington Post.

Un exemple des potentialités du deep learning, puisque pour amener l’ordinateur à trouver le bon son, les chercheurs du MIT ont enregistré quelque 1 000 vidéos similaires, où la baguette de bois entre en contact avec divers matériaux, produisant des bruits bien spécifiques. Des bruits qui ont été analysés par le programme, ce dernier apprenant à reconnaître quel bruit va avec quelle action et quelle surface.

Les chercheurs ont ensuite envoyé une seconde série de vidéos, silencieuses cette fois-ci, à l’ordinateur afin qu’il associe à chaque surface ou action un son, récupéré depuis sa base de données. Un résultat bluffant, puisque les personnes invitées à tester le processus n’ont pas su distinguer si le son venait de la vidéo en elle-même ou s’il était généré par le programme.

Plus de précisions par ici.