Allez dans les coulisses avec PremiumBeat pendant que nous discutons avec Jonathan Winbush de sa collaboration avec DJ Mix Master Mike.
PremiumBeat a récemment eu l'occasion de s'entretenir avec l'artiste d'animation graphique Jonathan Winbush et de découvrir les coulisses de son dernier projet d'art crypto, qui est une collaboration de vidéo musicale avec DJ Mix Master Mike. Le projet s'intitule Mob Recipe et implique tout, de la numérisation 3D du corps entier à la capture de mouvement, en passant par la création d'un décor virtuel dans Cinema 4D, puis la création de tout en tant que NFT. Pour consulter la recette de Mob dans son intégralité, visitez la page SuperRare de Jonathan.
PremiumBeat : Avant de plonger dans la création de Mob Recipe , pouvez-vous informer tout le monde de ce qu'est le projet et de la motivation de l'idée ?
Jonathan Winbush : Ouais, donc je fais de l'art cryptographique depuis quelques mois maintenant, juste pour me mouiller les orteils, et j'ai fait beaucoup de projets avec Mix Master Mike dans le passé. Après lui avoir parlé de ce que je faisais dans l'espace NFT, il m'a dit:"Nous devrions en fait créer un album d'art cryptographique NFT, avec l'audio et les visuels ensemble." Donc, ce que je fais en ce moment, c'est que je travaille sur le premier single avec Mix Master Mike, nous allons le mettre sur SuperRare, et ça va être comme un clip vidéo de trente à quarante-cinq secondes avec un des clips de son nouvel album qui sort.
PB : Je suis sûr que beaucoup de gens sont intéressés, en tant qu'artiste d'animation graphique, comment vous êtes-vous connecté avec Mix Master Mike et avez-vous commencé à faire ces collaborations ?
JW : Assez drôle, cela a commencé vers 2015-2016, lorsque j'ai commencé à me lancer dans la réalité virtuelle. Je faisais beaucoup de recherche et de développement, je m'amusais avec des trucs 360 VR. Nous avions un ami commun à l'époque, Tony Washington, il faisait beaucoup de travail d'illustration de Mike parce que Mike sortait une bande dessinée à l'époque. Tony nous a en fait présentés. Mike a toujours été avant-gardiste et aime toujours s'essayer aux nouvelles technologies. Et, il voulait sortir un clip vidéo, mais rien de traditionnel. Tony lui a dit sur quoi je travaillais en 360 VR, donc ça s'est en quelque sorte mélangé. Je lui ai envoyé une présentation de certaines choses sur lesquelles je travaillais et le reste appartient à l'histoire à partir de là.
PB : L'une des images que vous avez partagées était une photo de Mike dans une pièce remplie d'appareils photo. Je suppose que c'est pour la numérisation 3D. Pouvez-vous nous en dire plus ?
JW : Oui, l'image dont vous parlez provient de cette société appelée The Scan Truck. Il y a quelques années, ils ont proposé ce concept. Souvent, lorsque vous souhaitez numériser des objets ou des personnes en 3D, vous devez accéder à une scène sonore conçue pour cela. Et ces gars ont en fait construit cette scène sonore à l'intérieur d'un camion mobile. Ils l'appellent "The Scan Truck" parce qu'ils peuvent l'emporter n'importe où. Ils sont situés ici, dans le sud de la Californie, mais ils peuvent le conduire n'importe où, que vous tourniez un film ou que vous travailliez sur un jeu vidéo.
Les acteurs viendront au camion, ils obtiendront un scan 3D complet, pour que tout soit photo-réel. Ils obtiennent une réplique 3D exacte de la personne qu'ils scannent. Ensuite, ils prennent ce modèle 3D et l'utilisent pour les effets visuels dans les films ou les jeux vidéo. Dans notre cas, nous les aidions à le tester et nous étions les premiers à y aller et à faire des travaux de photogrammétrie. Ils nous ont donné un scan 3D de Mike et moi-même, et c'est beaucoup de choses que vous voyez là-bas.
PB : Après le scan, combien de nettoyage du modèle 3D a été nécessaire ?
JW : Chacune de ces caméras prend un angle différent de Mike et se chevauche un peu, de sorte que vous obtenez une image aussi haute résolution que possible. Je ne me souviens pas des spécifications dès le départ, mais le modèle est revenu extrêmement lourd. Donc, vous devez décimer certains des polygones et les lisser, juste pour que ce soit réalisable. Je l'ai fait avec Cinema 4D. Et fondamentalement, je n'utilise que le modèle de tête de son scan, car j'ai en fait construit son corps comme un personnage cybernétique.
Ses bras sont complètement mécaniques et il y a des fils qui en sortent. Je m'inspirais en quelque sorte des gens du bio-hacking. En fait, ils prendront des puces électroniques et ils les mettront dans leur peau – ils essaient de se transformer en cyborgs et de faire en sorte que leur corps contrôle différentes choses mécaniques, et des trucs comme ça. Donc, j'ai pensé que c'était cool pour l'inspiration, la seule partie qui est réellement humaine est son haut, du cou vers le haut. C'est donc la partie photogrammétrique que nous utilisons et le reste de son corps est entièrement modélisé en 3D.
PB : Et puis, pour l'animation, je suppose que c'est là que la combinaison de capture de mouvement entre en jeu ?
JW : Oui, pour la capture de mouvement, j'utilise en fait la combinaison Rokoko, qui est une solution de capture de mouvement abordable pour les artistes indépendants. Je suis sûr que vous avez vu les coulisses des gens avec les costumes en spandex, et ils ont toutes ces boules partout sur eux, et ils courent autour d'une scène sonore. Maintenant, en 2021, nous pouvons réellement avoir ces capacités que nous pouvons simplement faire dans notre maison.
Le costume Rokoko peut en fait fonctionner via Wi-Fi ou Bluetooth, et il a tous les capteurs à l'intérieur d'un survêtement. Donc, j'ai pu apporter mon costume au studio de Mike et il l'a mis et il a fait une performance complète. De cette façon, j'ai pu capturer toute son essence, tous ses mouvements de main et ses mouvements corporels. Et ensuite, exportez tout dans un fichier FBX, que je pourrais en fait apporter et joindre à un modèle.
(Si vous souhaitez en savoir plus sur la combinaison de capture de mouvement Rokoko utilisée par Jonathan, consultez le post de Todd sur Comment démarrer avec la capture de mouvement.)
PB : Une fois que vous avez obtenu les mouvements de la combinaison, est-il difficile de les intégrer au modèle 3D ?
JW : Je fais beaucoup de tutoriels sur différentes techniques que j'ai inventées, comme l'utilisation de la capture de mouvement avec Adobe Mixamo et Cinema 4D Character Definition. Donc, je suis en quelque sorte déjà acclimaté à ce que j'allais faire. Et, pour ce projet particulier, j'ai pris les données de capture de mouvement de Mike, j'ai fait un peu de nettoyage dans Rokoko Studio, puis j'ai simplement exporté hors de FBX, que j'utilise Mixamo pour truquer le modèle 3D.
Si vous avez un modèle et une pose en T, vous pouvez le télécharger sur Adobe Mixamo. Et puis, je ferai un auto rig dans lequel il place automatiquement un squelette sur le modèle. Ensuite, vous pouvez importer cela dans Cinema 4D et simplement aligner les joints et tout. J'ai un tuto là-dessus en fait. Le processus prend environ dix à quinze minutes, et ce n'est pas si difficile du tout.
PB : Quelle a été l'inspiration et le processus de création du DJ set futuriste dans Cinema 4D ?
JW : Pour ce projet particulier, je voulais que l'environnement ait aussi une histoire à raconter aux côtés de Mike. Donc, j'ai creusé et j'ai aimé ce Blade Runner type d'environnement — futuriste, mais toujours familier. Donc, le type d'endroit dans lequel je l'ai mis ressemblait peut-être à un musée à un moment donné, mais il n'a pas été habité depuis cent ans. Donc, c'est un peu délabré. Peut-être que certaines personnes sont entrées et l'ont pillé, et maintenant c'est un repaire pour les bio-hackers pour y entrer et faire leurs expériences.
Il y a un peu de familiarité, mais comme il est si loin dans le futur et usé, il est en quelque sorte oublié. Je pensais que ce serait un cadre sympa pour mettre ce Mike bio-conçu. Un quartier dont personne ne sait trop où il se trouve. J'ai donc rendu huit angles de caméra différents. Certains angles ressemblent à des caméras de surveillance, comme s'il était presque espionné dans son repaire secret. Je suis tout au sujet de la technologie future, et Mike aussi. C'est pourquoi je me disais :"Nous devrions faire quelque chose de vraiment cool, mais ne pas devenir complètement cyber-punk", parce que c'est un peu fini.
(Vous voulez en savoir plus sur Cinema 4D ? Consultez les conseils de PremiumBeat pour apprendre Cinema 4D.)
PB : Pouvez-vous expliquer plus en détail ce qu'est Unreal Engine et comment il fonctionne avec Cinema 4D ?
JW : Pour ce projet particulier, je suis passé par la mentalité de la façon dont un programmeur de jeu ou un développeur de jeu s'y prendrait. Souvent, ce qu'ils font s'appelle la « boxe grise ». Ils développeront leur niveau dans Maya ou, dans mon cas, dans Cinema 4D. Et tout n'est que géométrie, pas de texturation ou quoi que ce soit. Vous êtes juste en train d'obtenir une mise en page de la façon dont vous voulez que vos structures soient. J'ai construit cette structure à l'intérieur de Cinema 4D, et à partir de là, je l'exporte vers Unreal Engine, car j'y ai beaucoup d'outils, comme la bibliothèque Megascans, qui contient beaucoup de textures et de géométries de photogrammétrie différentes. Et puis, l'Unreal Engine Marketplace a aussi beaucoup de trucs sympas.
Ce que j'aimerais faire, c'est intégrer la géométrie brute dans Unreal Engine, et à partir de là, je peux faire des textures très fines. Je fais de la peinture de mélange de sommets où je peux réellement peindre sur la géométrie. Donc, si j'ai un mur de briques et que je voulais peindre en l'émiettant, je peux simplement le peindre. Je peux aussi simplement glisser-déposer des éléments de Megascans là-dedans. Je fais tout cela dans Unreal Engine parce que c'est un moteur de jeu et qu'ils sont conçus pour fonctionner en temps réel, donc il n'y a pas de temps nécessaire pour qu'il rende quoi que ce soit. Ce que vous voyez est ce que vous obtenez. C'est la principale raison pour laquelle j'utilise Unreal Engine, en raison de sa rapidité et de sa flexibilité.
PB : À quoi ressemble le processus lorsque vous lancez un NFT comme Recette Mob sur SuperRare ?
JW : Donc, vous devez créer un fichier .MPEG, et ce sera un format vidéo que vous allez télécharger. Ensuite, vous devez mettre cela sur la blockchain et c'est là qu'intervient SuperRare. Mon portefeuille particulier s'appelle un portefeuille MetaMask, et c'est ce qui gère tout mon Ethereum, et des choses de cette nature. Donc, j'utilise un portefeuille MetaMask pour prendre cette pièce et la tokeniser sur la blockchain. À partir de là, il est répertorié sur SuperRare, ce qui permet à quiconque possède Ethereum de faire une offre sur SuperRare. Ensuite, si vous avez une offre qui vous convient, c'est à ce moment-là que vous l'acceptez, puis qu'Ethereum retourne dans votre portefeuille MetaMask, et c'est votre transaction.
PB : Vous avez mentionné une version remix, comment fonctionne un remix avec un projet comme celui-ci ?
JW : Ouais, donc la performance est exactement la même, mais j'ai tout refait complètement. Et, nous l'appelons "la pilule rouge et la pilule bleue", parce que sur l'original, l'interface graphique et l'interface utilisateur et tout avaient ces nuances rouges, et l'environnement est plutôt chaleureux. Donc, pour le remix, j'ai tout refait avec une interface graphique bleue et les lumières vont être un peu plus froides, cela vous donne une toute autre ambiance. Ensuite, Mike est revenu et a remixé l'intégralité de l'audio. Donc, le scratch audio et tout est pareil, mais il a ajouté 808 drums et la ligne de basse est complètement différente, et l'intro est différente. Donc, ça va être presque comme une piste complètement différente.
Jonathan a également envoyé quelques-unes des questions de PremiumBeat au DJ Mix Master Mike pour en savoir plus sur son expérience dans la création de Mob Recipe .
PremiumBeat : Avez-vous déjà imaginé que vous joueriez dans une combinaison de capture de mouvement et à quoi cela ressemblait-il ?
Mélangez le maître Mike : Que puis-je dire ? Je veux dire, c'est comme un match fait au paradis pour cette plate-forme. Du monde VR à ce monde, nous avons toujours eu la possibilité de débloquer toutes ces possibilités infinies pour être créatif au sein de cette plate-forme. Avec la capture de mouvement, tout est permis - le ciel est la limite. Je peux afficher mes rayures. Je pourrais montrer au monde ce que je suis et ce que c'est que d'être un artiste d'action. C'est ce que je suis, un artiste d'action. Comme je l'ai dit, c'est un match fait au paradis.
PB : Quelle est l'inspiration pour combiner la musique avec les nouvelles technologies, comme la réalité virtuelle et les NFT ?
MMM : Avec cette plate-forme, le monde NFT, le monde de la réalité virtuelle, c'est comme la plate-forme ultime pour réellement entrer dans la sensation de ce qu'est la musique. L'émotion brute, l'interprétation de la chanson. Et c'est ce qui manque lorsque vous écoutez des choses similaires sur Spotify, ou simplement de la musique en général. Vous utilisez votre imagination. Avec cette chose, vous n'avez pas à utiliser votre imagination. Vous pouvez le voir et vous pouvez l'entendre. Vous pouviez le sentir. Vous êtes totalement immergé dans la chanson. C'est la beauté de ces plates-formes.
PB : Qu'est-ce que ça fait de collaborer avec Jonathan sur tant de projets ?
MMM : La beauté entre moi et la relation de Jonathan est que nous aimons les mêmes choses. Nous venons d'un milieu hip-hop hardcore. Des années 80 aux années 90, jusqu'à aujourd'hui. Nous avons toutes ces connaissances et toute cette sagesse. Donc, maintenant, nous utilisons toutes ces connaissances, cette sagesse et cette expérience et les apportons dans le nouveau monde et en quelque sorte y attirons la génération du millénaire. Ensemble, nous incitons les milléniaux à tout ce que nous aimons. Nous recréons ce qui est dans nos têtes. Toutes ces choses sont créées dans nos têtes. On en parle tout le temps. C'est juste que maintenant le monde commence enfin à le voir et à en faire l'expérience. Beaucoup d'amour à Winbush.
Si vous souhaitez en savoir plus sur les projets de Jonathan et Mix Master Mike, consultez WINBUSH sur YouTube et mixmastermike.com. Découvrez également la visite 360 VR de l'ensemble de Mob Recipe .
Intéressé par les morceaux libres de droits que nous avons utilisés pour faire cette vidéo ? Donnez-leur une autre écoute :
- "Hustlin'" par Harrison Amer
- "Late Night Latte" par Harrison Amer
- "Retro Chillhop" de Mattijs Muller
- "Constellation" par Chill Chord
- "Smooth Moves" par Reaktor Productions
- "Un dimanche ensoleillé" de Vincent Tone