Recherches techniques matérielles pour une nouvelle création théâtrale avec Les Arpenteurs De l’Invisible, alliant tracking infra-rouge et mapping vidéo sur les comédiens au plateau en temps-réel.

(Basées sur les recommandations trouvées jusqu’à présent, notamment grâce aux travaux de Mark Coniglio (cie TroikaRanch) et de la communauté autour du logiciel Isadora, et ce workshop en particulier, ainsi que ceux de Toby K et des utilisateurs de vvvv. Antoine M* m’a également conseillé de regarder la conférence « Retour d’expérience mêler corps et vidéo sur scène » proposée par Philippe Chaurand (Anomes) et Nicolas Bertrand au cours du Symposium Captation Mouvement en Juin 2018. Passionnant !)

Test setup : ASUS ROG G702VS Laptop – i7-7700HQ (2.8GHz) – 16 Go RAM – NVIDIA GeForce GTX 1070 – Win10 64 bit
Production setup : desktop computer – Intel Core i7-9700K (3.6 GHz / 4.9 GHz)+ 480 GB SSD + MSI GeForce GTX1060 Gaming X 3G

Pistes matérielles à explorer :

• Caméra infra-rouge grand public
  • – Kinect ou Kinect v2 (limitations due à la connectivité usb – longueur de câbles et latence, ainsi que champ de vision trop limité)
  • – caméscope Sony avec night shot, type CCD-TRV35E et TR511E sortie RCA (limitations dues à l’affichage avec infos supplémentaires si pas d’enregistrement avec la TRV35E et auto-mise en veille pour la TR511E)
  • – caméra de vidéosurveillance Panasonic BP120 sortie SDI (résolution 720×576 PAL – vitesse d’obturation 1/50 s – Objectif TV F1.2 4mm)) utilisée pour le moment.

• Caméra industrielle
  • – HD-SDI ou GigE (Gigabit Ethernet) (avantages principaux : taux de rafraichissement + élevé, atteignant facilement 60fps ou 100fps – donc très peu de latence, pour des caméras autour de 500€ (GigE), HD-SDI dont la résolution est plus haute, plutôt autour de 2000€, et une large gamme de focales C-Mount) avec capteur CMOS (cf différences avec capteur CCD)

+ Filtre IR-Pass Lee 87 (ou Lee 299) sur l’objectif ou le capteur de la caméra (absent sur la capture d’écran ci-dessous) – Apparemment, le film contenu dans les vieilles disquettes d’ordinateur (3,5″ ou 5″) et les pellicules photo argentiques non développées font également de bons filtres à ajouter devant l’objectif de la caméra pour couper de la même façon la lumière visible et ne laisser passer que la lumière infra-rouge.

• Carte d’acquisition vidéo
  • – Blackmagic Design Intensity Shuttle – interface Thunderbolt (fonctionne sur PC Windows 10 avec adaptateur Thunderbolt > USB 3.0)
  • – Pinnacle Dazzle – USB 2.0 – utilisé pour tests avec caméra CCTV analogique
  • – Carte PCI Express Blackmagic Deckling Duo 2 (prod setup : 2 entrées + 2 sorties ou 4 entrées ou 4 sorties 3g HD-SDI)

• Éclairage infra-rouge
  • – spots 12V (96 Leds) IR Illuminator Night Vision pour caméra CCTV
  • – illuminateurs 12V 300mA (48 Leds)
  • – sandwich de gélatines sur lumières traditionnelles Par et PC : filtres V/B/R/R (v côté lentille) : Vert 90 +Bleu 715 (Lee) ou 83 (Roscolux) +2x Rouge 19 (gradués à < 50% max pour une durée de 3h max – sous peine de les brûler – avec volets si installés en latéral pour couper IR au sol) + ajout d’une feuille de gélatine Heat Shield Lee 269 (film souple transparent servant à prolonger la durée de vie d’un filtre qui se place entre la source de lumière et le filtre coloré, en laissant un bon espace entre les deux, pour que l’air puisse circuler librement autour…)
  • – prévoir deux plans de feux distincts : 1 pour l’éclairage infra-rouge et 1 autre pour le plan de feux « traditionnel » du spectacle.

A gauche : exemple de captation par caméra CCTV PB120 et éclairage de la silhouette en direct par 2 spots IR 12V pour un tracking différentiel (ou par seuil) direct.A droite : installation « rideau d’infra-rouge » avec projecteurs traditionnels, présenté par Mark Coniglio dans son tutoriel sur le tracking IR, permettant un tracking différentiel inversé avec les comédiens en ombre par contraste avec la lumière infra-rouge homogène derrière eux.

Recherches logicielles en cours :

• Difference tracking (par soustraction de l’image de la scène capturée vide, sans lumière visible, mais baignée d’infrarouge) ou Threshold tracking (déclenchement du suivi en fonction d’un seuil de luminosité de l’objet ou la personne captée, sans nécessairement de capture de la scène vide), avec isadora (win/mac) pour le moment, mais d’autres logiciels comme vvvv (win), processing (toutes plateformes), eyecon (win), eyesweb (win), TSPS (win/mac), millumin (mac), sont également à l’étude, ou une combinaison de ceux-ci.
• Calibration caméra / vidéo-projecteur
  • – la piste la plus aboutie de ce côté-là (« dans la littérature » que j’ai pu rassembler à ce jour) semble être le système modulaire Rulr, développé par Elliot Woods (Kimchi and Chips) et Kyle McDonald, disponible sous tous les systèmes d’exploitation, mais nécessitant l’installation et la prise en main de openFrameworks.
  • – possibilité de se limiter à un mapping assez « classique » de la surface du plateau à capter et sur laquelle on va projeter, en équipant le vidéo-projecteur et la caméra d’une focale longue : téléobjectif zoom pour le vp, et focale cmount 135mm / f2.8 pour la caméra (avantages : moins de déformation « effet tonneau » / « barrel distorsion » à corriger, plus grande facilité d’installation du couple vp + caméra en régie)

Questions diverses :

• Quel revêtement ou peinture pour couper les éléments de décor de la vision IR ?
  Niveau textile, des éléments de réponse du côté de l’armée, bien sûr… mais que penser de ces films ou revêtements plastiques certainement plus accessibles en terme de coût, bien qu’à destination industrielle également ? Une simple peinture mate peut-elle être déjà efficace ? Pour le sol : tests à effectuer avec de la moquette. (cf test rapide ci-dessous avec télécommande IR et smartphone)
• Quels matériaux ou textures absorbent spontanément les rayonnements IR ?
  (Suggestion par un ami d’un test facile et rapide à effectuer en pointant une télécommande TV vers la surface pour envoyer rayon IR, et constater via l’appareil photo d’un smartphone si la surface en question réfléchit la lumière infrarouge ou pas.)
• Est-il nécessaire / utile de positionner le filtre IR-pass sur une caméra CCTV ou GigE ? Oui, d’autant plus si la caméra est une caméra couleur (à tester au cas par cas) – s’assurer aussi en amont que le capteur de la caméra est suffisamment sensible dans les fréquences d’onde entre 780 nm et 1 mm.
  
• Est-il utile de placer plusieurs filtres IR-Pass sur une caméra ?