Quand le deep learning génère automatiquement des sons sur des vidéos silencieuses
Une bonne nouvelle pour le milieu du cinéma ? Illustration par l’exemple : dans une série de vidéos, on voit un individu frotter une baguette en bois sur diverses surfaces – herbe, métal, goudron… Aucun son ne sort de la vidéo et pourtant, un programme informatique parvient à associer à chaque surface l’effet sonore adéquat, comme le raconte The Washington Post.
Un exemple des potentialités du deep learning, puisque pour amener l’ordinateur à trouver le bon son, les chercheurs du MIT ont enregistré quelque 1 000 vidéos similaires, où la baguette de bois entre en contact avec divers matériaux, produisant des bruits bien spécifiques. Des bruits qui ont été analysés par le programme, ce dernier apprenant à reconnaître quel bruit va avec quelle action et quelle surface.
Plus de précisions par ici.