Avec la stéréoscopie mort, les hologrammes sont-ils la voie vers la vraie 3D ? Si oui, comment pouvez-vous vous impliquer? Découvrons.
Ceux qui proclament que la vidéo tridimensionnelle et basée sur la profondeur est l'avenir du mouvement ont souvent des intérêts acquis. Cependant, ils ont peut-être raison, car des techniques de compression plus efficaces et des pipelines plus rapides comme la 5G préparent le terrain pour la vidéo à 360° riche en données. D'une certaine manière, les hologrammes sont une progression naturelle.
La volumétrie est également différente de la capture de mouvement ou de performance, bien que les deux techniques fonctionnent souvent ensemble et reposent sur des mesures de profondeur.
En termes simples, MoCap est une capture de mouvement avec des capteurs portés dans une combinaison. La volumétrie capture tout ce qui se trouve dans une zone physique et produit des informations 3D à travers ce qu'on appelle un nuage de points ou un maillage de polygones 3D. Les données des deux sont ensuite transmises aux studios VFX pour être manipulées et rendues.
Cependant, il y a quelques inconvénients logistiques. Les débits de données étaient au moins doublés avec l'ancienne stéréoscopie (deux canaux). Une cinématographie à fréquence d'images plus élevée - où vous tourniez parfois en 3D - signifiait encore plus de données et des plans de stockage plus efficaces.
La vidéo volumétrique est une question d'immersion, et cela nécessite plusieurs points de capture :généralement plus de 100 caméras, infrarouges et RVB, sont utilisées pour créer un volume.
Par conséquent, la capture vidéo volumétrique peut accumuler environ 16 Go de données par minute avant de modifier quoi que ce soit.
Où la vidéo volumétrique gagne
Comme mentionné dans notre introduction aux hologrammes, la distribution de cette nouvelle forme de 3D par l'industrie du divertissement n'est pas encore soutenue. Les hologrammes de produits seront énormes, en particulier pour les smartphones et autres appareils portables.
Par exemple, en 2017, Barbie a présenté une poupée robotique holographique qui répond aux commandes vocales. La même année, Verizon et Korea Telecom ont effectué le premier appel holographique utilisant la technologie 5G. Pour rendre l'appel possible, deux hologrammes ont été formés. Mais de nombreuses industries comprennent le besoin de capteurs qui reflètent la profondeur; c'est comme l'ingrédient manquant, ce qui les rend plus intelligents et plus utiles aux humains.
Mais, dans le monde des médias, la volumétrie promet également d'améliorer l'efficacité des canaux de post-production en simplifiant le processus de capture et d'animation. La ressemblance, la performance authentique et la garde-robe d'un acteur peuvent toutes être capturées dans le même processus. Les données capturées peuvent être utilisées pour la livraison Previs et haute résolution. Les performances capturées peuvent également être utilisées dans des moteurs en temps réel tels qu'Unreal et Unity.
Producteur de logiciels d'édition et d'encodage d'hologrammes, Arcturus a comparé les coûts entre la capture volumétrique et la production VFX CG plus traditionnelle. Leurs recherches comparent les coûts, le temps et les niveaux de personnel entre la production VFX et la production vidéo volumétrique.
Par exemple :pour la création de personnage, l'utilisation de la CG traditionnelle peut prendre entre 10 et 60 jours pour les plus gros films. Les vidéos volumétriques peuvent créer des actifs humains en moins de 24 heures. Les coûts encourus pour CG pourraient atteindre 70 000 $, tandis que la vidéo volumétrique pour la même opération pourrait s'élever à 15 000 $.
La taille des équipes est également différente, avec 10 à 20 artistes CG travaillant sur les mêmes ressources, tandis que la capture vidéo volumétrique ne prendrait que 2 à 3 personnes pour produire des ressources. Cela conduit au processus, qui pour CG est généralement long car il est manuel, alors que la volumétrie est essentiellement un exercice automatisé.
Comment démarrer avec la vidéo volumétrique
Vous avez peut-être déjà expérimenté une vidéo volumétrique sans même le savoir. Pour ceux d'entre nous qui étaient et sont des joueurs XBOX, Microsoft, en 2010, a sorti un accessoire appelé Kinect. L'idée est que vos gestes ou mouvements corporels vous libéreraient d'un contrôleur physique. Les capteurs de la caméra, y compris les détecteurs infrarouges, ont produit un nuage de points de profondeur de base représentant un squelette à 20 points.
Il était révolutionnaire, à l'époque, mais n'a jamais semblé faire son chemin, et son utilisation a été abandonnée pour les jeux par Microsoft en 2017.
Cependant, la technologie est maintenant vendue dans le cadre d'Azure Kinect DK, qui utilise une technologie de détection de profondeur pour diverses industries comme la santé, la fabrication et la vente au détail. Leur kit de développement est disponible pour environ 400 $ et propose une caméra de profondeur 1MP, un réseau de microphones à 360˚, une caméra RVB 12MP et un capteur d'orientation.
Comme la mesure de la profondeur devient plus critique pour tous les capteurs, il y aura des milliers de cas d'utilisation, c'est là que Microsoft se dirige avec ce produit.
Un exemple ou un cas d'utilisation est une société de location de voitures aux États-Unis qui utilise des caméras de profondeur pour scanner les voitures de retour afin de vérifier tout dommage corporel. Les véhicules sont scannés à leur retour et les informations de profondeur indiqueront toute déformation ou bosse. Ce processus rapide et automatique n'a pas à prendre la parole du locataire pour des bosses supplémentaires pendant la location.
Des entreprises comme EF EVE peuvent prendre la sortie de plusieurs Azure Kinects et produire une vidéo volumétrique. Il s'agit d'une nouvelle industrie de services pour les entreprises qui découvrent la vidéo volumétrique et qui n'ont pas le budget pour un grand espace de volume de caméras.
D'autres caméras comme RealSense d'Intel répondent également au besoin croissant de capteurs de profondeur. Les cas d'utilisation vont de la robotique à l'autorisation faciale. Ils se préparent même à une interaction robot-humain en utilisant des mouvements squelettiques et des gestes. Le "suivi des personnes" examine des cas d'utilisation plus généraux tels que la surveillance et l'analyse des foules.
Si vous souhaitez commencer à expérimenter la vidéo volumétrique, vous devez disposer d'un capteur de profondeur, mais pas aussi essentiel que Kinect. Le public ne connaissait pas vraiment LiDAR jusqu'à ce qu'Apple décide de mettre un capteur dans ses iPhones à partir des douze modèles.
LiDAR est une méthode de numérisation laser utilisée pour mesurer et enregistrer des paysages ou des bâtiments afin de créer des numérisations 3D et des cartes de profondeur.
LiDAR produit des nuages de points 3D, qui représentent chaque point dans l'espace d'une scène ou d'un objet. Si vous comparez les pixels du LiDAR aux pixels 2D, le capteur de profondeur ajoute les informations de profondeur Z aux coordonnées X et Y.
Des entreprises comme Depthkit proposent un logiciel qui vous aidera à capturer votre iPhone LiDAR ou même un meilleur appareil photo à l'aide d'un capteur de profondeur séparé.
Voici un tutoriel informatif sur la façon de le faire. Sous cette vidéo, vous trouverez quelques exemples de clients de Depthkit.
Capture de performances grâce à des capteurs portés sur le corps, les caméras 360˚ vous donnent une certaine impression de profondeur mais semblent maintenant un peu démodées.
Cependant, il existe d'autres moyens de produire de la profondeur pour vos projets, comme la photogrammétrie, par exemple. Plusieurs photos d'un sujet sont prises sous différents angles et assemblées par des algorithmes de calcul pour générer des modèles 3D.
Les caméras Lightfield utilisent également des micro-objectifs pour tout manipuler, des points focaux à l'éclairage.
L'avenir de la volumétrie
Beaucoup d'entre nous sont heureux de regarder ou de créer en 2D. La cinématographie stéréo n'a jamais vraiment réussi, et il y avait de bonnes raisons à cela. Peut-être que nous sommes d'accord avec la vidéo plate que nous avons depuis 100 ans. Mais le fait que la vidéo volumétrique ne dépende pas de l'industrie du divertissement pour son succès donnera à l'industrie créative le temps de s'adapter.
Au fur et à mesure que nous verrons ce que la production virtuelle peut produire, en particulier avec les moteurs de jeu, ces nouveaux types d'hologrammes rejoindront la révolution virtuelle.
Peut-être attendre dans les coulisses jusqu'à ce qu'ils soient prêts.