Imaginez monter votre film et arriver à la phase où le son de production doit être ajouté ou perfectionné. Cela peut être une partie amusante de l'édition et de la mise en place des éléments, mais cela peut aussi être une partie très longue du processus. Si vous n'aviez pas d'enregistrement du son en direct, vous devez parcourir les différents échantillons disponibles dans votre bibliothèque, ou les mettre en ligne, et voir quel son fonctionne le mieux. Si vous avez le budget, vous pouvez ajouter un artiste Foley à votre équipe pour produire physiquement les sons de votre vidéo. Ces sons doivent ensuite être modifiés pour les différents sons dont vous avez besoin, qu'il s'agisse des pas dans l'allée ou des coups de feu tirés par l'assassin qui font partie de votre histoire. Et si tout cela pouvait être fait automatiquement ?
Le MIT vient de publier un article décrivant cette technologie qui interprète le son de la vidéo qu'ils "montrent" au logiciel. Sans ajouter de description de ce qui produit le son, le logiciel peut simuler ce à quoi il pense que cela ressemble simplement en "regardant" la vidéo, et c'est assez bon pour tromper les humains.
Je vois un scénario futur dans lequel votre projet est ouvert sur votre NLE, qu'il s'agisse d'Adobe Premiere ou de Final Cut Pro, et vous avez terminé le montage grossier de votre projet et vous devez entrer dans la partie montage du son du processus. Imaginez, au lieu d'importer votre bibliothèque Foley et de parcourir chacun d'eux pour voir s'il correspond à la scène, vous pouvez maintenant ajouter un effet, comme vous le feriez avec Warp Stabilizer dans Adobe Premiere pour stabiliser le métrage, et l'effet s'étend à travers le plan et ajoute ce qu'il pense que les sons devraient être pour les instances qu'il trouve dans les différentes coupes de film. Ce sera certainement un ajout incroyable à l'industrie de la production vidéo et cinématographique. Cela rendra le flux de travail plus fluide et vous pourrez éventuellement le faire vous-même.
Avec cette IA, il y a du positif et du négatif. Les coûts de production d'une vidéo ou d'un film peuvent être réduits. Une technologie comme celle-ci peut produire une vidéo et le faire sans les coûts de main-d'œuvre associés à ce type de processus de production Foley. C'est le positif. Mais, à partir de la vidéo épique trouvée dans l'article d'Alex Cooke "The Secret World of Foley" Is a Delightful Look at the Unsung Heroes of Film, vous pouvez observer le processus que traversent les artistes Foley qui produisent les sons d'une histoire filmée. . C'est juste un processus tellement gracieux, magique et serein que je n'ai certainement jamais pensé comme quelque chose d'important, jusqu'à l'article et la vidéo.
La technologie mentionnée dans l'article du MIT éloignera-t-elle ce processus de la création humaine ? Peut-être, mais ce sont des changements inévitables dans une industrie auxquels les gens devront s'adapter, tout comme la photographie est passée du film au numérique. Je veux dire, est-ce que je préférerais avoir un DJI Ronin stabilisant le tir pendant le tournage au lieu d'ajouter le Warp Stabilizer en post? Bien sûr que je le fais. Est-ce possible avec le budget dont je dispose pour un projet personnel ? Pas assez. S'il est moins coûteux d'ajouter cette IA à mon projet pour me donner le Foley dont j'ai besoin que de demander à quelqu'un de le produire, je choisirai l'IA.
Je suppose que vous pensez probablement que tout ce dont nous avons besoin maintenant, ce sont des robots qui photographient les mariages, les événements, les rues, les paysages et la mode et nous sommes foutus. Ce qui va vraiment me faire peur, c'est que quelqu'un dans les commentaires me dise que c'est déjà le cas.
Ce que je sais, c'est que ce sont les gens qui s'adaptent qui survivent. Mais j'ai aussi appris que ce sont les personnes passionnées, celles qui continuent à faire ce qu'elles font au mieux de leurs capacités, peut-être parce qu'elles y croient ou peut-être parce que c'est leur forme d'expression qu'elles choisissent et en qui elles ont confiance qui leur donnent le travail quelle que soit la technologie qu'ils utilisent.