L'application Skyglass utilise le capteur LiDAR de l'iPhone pour une production virtuelle en temps réel. Entrons dans les détails de cette nouvelle perspective cinématographique.
Le NAB est si grand que parfois vous pouvez découvrir des entreprises composées d'un seul homme qui ont réussi à obtenir un stand pour presque rien à la dernière minute, et parfois ce sont les plus intéressantes. Le principal problème est de les trouver dans les salles caverneuses de cet énorme événement.
Cette année, le premier NAB en trois ans, plus de 900 entreprises y ont participé, dont environ 160 débutants. Si vous n'êtes jamais allé au NAB, il y a des halls, comme le North Hall, par exemple, qui sont vraiment massifs.
Des entreprises comme Blackmagic Design et Adobe sont dans cette salle, désignées Create dans la nouvelle façon de rationaliser les sujets de NAB. Il existe également des halls classés dans la catégorie Capitalisation , Se connecter , et contenu intelligent .
Les plus grands stands sont lestés vers l'avant du hall et non vers les parkings derrière. Cela signifie qu'en marchant vers l'arrière, les cabines commencent à s'amincir et à devenir beaucoup plus petites. C'est ici que vous pourrez découvrir une technologie passionnante, quoique naissante.
Skyglass de Ryan Burgoyne en fait partie. Ryan travaillait pour Apple. Il y a travaillé pendant six ans en tant qu'ingénieur senior dans l'équipe qui a créé Reality Composer, un outil permettant aux développeurs de créer facilement des applications AR.
Il a fondé Skyglass en novembre 2021 pour rendre les techniques de production virtuelle accessibles aux cinéastes indépendants et aux petits studios.
Qu'est-ce que Skyglass ?
L'idée de Ryan était de développer une application et un service de rendu dans le cloud qui plairaient aux créateurs de contenu qui ne pouvaient pas se permettre un décor virtuel, ou des caméras coûteuses et leur suivi. Il voulait utiliser le capteur LiDAR introduit sur l'iPhone à partir de l'iPhone 12.
Il décrit sa vision,
Son idée était d'utiliser LiDAR, qui mesure le trajet de la lumière vers et depuis un objet et positionne cet objet virtuellement. Son application prendrait ensuite les données de LiDAR et les enverrait dans le cloud, où Unreal Engine les rendrait avec la perspective de la caméra autorisée par LiDAR. Ce rendu est ensuite diffusé sur le téléphone pour une composition en temps réel avec des images en direct.
En effet, Skyglass suit la position et l'orientation de l'appareil photo de votre téléphone et le diffuse dans le cloud, où un rendu d'un environnement virtuel est créé et renvoyé.
De quoi avez-vous besoin ?
Skyglass indique que tout ce dont vous avez besoin pour démarrer avec les effets visuels en temps réel est un iPhone exécutant l'application Skyglass et une connexion Internet (une vitesse de téléchargement d'au moins 10 Mbps est recommandée). Skyglass nécessite le scanner LiDAR disponible sur iPhone 12 Pro, 12 Pro Max, 13 Pro ou 13 Pro Max.
Skyglass comprend une bibliothèque d'environnements virtuels parmi lesquels choisir pour élargir le service. Vous pouvez même créer votre environnement virtuel en créant un pack d'actifs et en le téléchargeant sur Skyglass Cloud ou Skyglass Server.
Skyglass possède son propre plug-in Unreal Engine appelé Forge pour vous permettre de créer un pack d'actifs, ou vous pouvez importer des modèles 3D que vous avez créés ou utiliser l'Unreal Asset Marketplace.
Si vous souhaitez affiner votre composite, vous pouvez télécharger uniquement les plaques d'arrière-plan de Skyglass Cloud ou Skyglass Server et vos séquences d'écran vert de votre iPhone et les importer dans des éditeurs tels que Nuke, Fusion, After Effects, etc.
Utiliser d'autres caméras
Il existe des moyens d'utiliser de meilleurs appareils photo que les iPhones récemment lancés pour Skyglass. Mais cela implique de calibrer les décalages entre les capteurs de l'iPhone et de la caméra ciné, par exemple, via un réseau NDI. Cela semble assez compliqué mais permet le rendu des métadonnées de mise au point, d'iris et de zoom des objectifs natifs pour correspondre à vos images capturées.
J'espère que nous pourrons en savoir plus sur Skyglass de Ryan et essayer l'application par nous-mêmes. Si vous êtes au NAB, retrouvez-le dans le hall nord au stand 1138 ou consultez son site Web à l'adresse www.skyglass.com/.