Notes on Blindness. Faire l’expérience de l’invisible.

By Fabien

En 1983 l’écrivain John Hull perd définitivement la vue. Dans les 3 années qui suivent, il enregistre sur cassettes audio son entrée dans le monde de la cécité, forgeant ainsi un document d’une rare intensité sur les perceptions sensorielles.

Notes On Blindness est un projet documentaire d’adaptation en film et en VR de ces carnets audio. L’occasion d’une experience VR très réussie, capable de ré-enchanter notre rapport au réel.

A l’occasion de sa sortie sur Gear VR, Fabbula publie une longue interview avec Arnaud Colinart, producteur et co-concepteur de qui est sans aucun doute une des meilleures expériences VR de cette année.

 

Rendre l'invisible perceptible

Bienvenue à Arnaud Colinart, qui est le producteur, réalisateur, et homme à tout faire de Notes on Blindness VR. Arnaud, peux-tu nous introduire ce travail pour ceux qui ne l’ont pas encore vu ?

Arnaud Colinart:

Notes on Blindness est l’histoire de John Hull, qui est, enfin qui était, puisqu’il est décédé en juillet dernier, un professeur de théologie anglais, devenu aveugle à l’âge de 45 ans, et qui a enregistré un journal intime audio sur ce qui lui arrivait dans ce passage dans la cécité.

Le film et l’expérience VR sont basés sur les enregistrements originaux, qui racontent l’expérience que vit John Hull. Il a enregistré 16 heures de bandes qui ont été utilisées par Peter Middleton et James Spinney pour toute la dimension audio du film. Tout ce qu’on voit dans le long métrage est en fait recréé – presque comme un doublage visuel – avec des acteurs. Quand les personages parlent, ils font en fait semblant de parler, tout ce qu’on entend est le son original des cassettes.

Sur la partie VR, c’est un peu la même idée, sauf que cette fois on a recréé des espaces interactifs en 3D temps réel, dans une grammaire de jeu vidéo, pour raconter ce que John Hull appelle “un monde au delà de la vision”.

En quoi ça consiste pour l’expérience en VR de rendre l’invisible visible?

AC: Au début de ce projet, nous n’étions pas du tout parti pour faire un projet en réalité virtuelle. Il s’agissait d’un projet purement audio, qui utilisait la spatialisation audio. On s’est rapidement rendu compte qu’il était impossible d’impliquer un spectateur “voyant” dans une expérience qui était purement audio, le regard et la vision étant des éléments déterminants pour la perception que l’on a de notre environnement.

Ensuite on a dû se poser la question de comment représenter visuellement cette expérience de la cécité. La direction que l’on a choisi, c’est de reproduire visuellement et de manière spatialisée tout ce qui était lié à l’activité sonore: on est dans dans un espace noir à 360 et on va faire apparaître différents éléments visuels en fonction de l’activité sonore de la scène qui se déroule autour de nous. Dans cette option,  on faisait appel au principe de la “fenêtre magique”, où on promène son iPad ou son téléphone autour de soi et on accède a un monde parallèle.

On est venu à la VR vraiment dans un troisième temps, en rajoutant cette dimension plus immersive liée aux lunettes, et en relief. C’est comme ça qu’on a abouti sur cette experience VR: dès qu’on a commencé à prototyper, on s’est rendu compte qu’il y avait une immersion dans le monde que l’on avait essayé de reconstruire qui était beaucoup plus forte. Ça a donc pris le pas sur le projet.

Au delà du son, le toucher semble une notion importante également, on parle par exemple beaucoup des sensations du vent dans Notes on Blindness.

AC: Le toucher, c’est quelque chose qu’on explore dans une des scènes qui sera dans une version 360 de l’application. Il y aura en effet une version qui ne nécessitera pas de lunettes. C’est un projet financé en partie par Arte, et il y a pour nous un souci particulier d’accessibilité au projet, cette version 360 étant accessible à toute personne ayant un smartphone.

 

Les questions de la sensation, du corps, sont bien présentes dans le récit de John Hull, et nous les avons également reprises pour la partie VR.

Le propos de l’expérience est de se mettre dans la peau de quelqu’un qui progressivement perd le sens de la vue. Plutôt que de nous raconter tout ce qu’il ne perd, il nous raconte aussi, comment il perçoit et comment il re-perçoit le monde. Il semble que ce soit vraiment un nouveau monde qui s’ouvre à lui: on ne dira pas que c’est mieux ou que c’est moins bien, mais en tout cas il est très différent, et c’est pour cela que l’on parle de perception altérée.

Est ce que c’est quelque chose que vous avez montré à des gens qui sont dans cette situation? Avez vous eu des retours de gens qui sont dans un processus similaire de perte de la vue?

AC: Assez tôt on a travaillé avec deux personnes qui sont non voyants, mais qui sont non voyants de naissance. C’est quelque chose de relativement différent par rapport à une personne voyante qui devient aveugle. Aujourd’hui, nous n’avons pas refait de test, car c’était assez compliqué à organiser, mais c’est quelque chose que l’on va faire.

Ce dont on a pu se rendre compte, à ma grande surprise, c’est qu’il y a assez peu de non-voyants qui accèdent à des expériences de son spatialisé, alors que j’imaginais qu’il y avait une offre vers ce public-là de ce type d’expérience alors que visiblement pas du tout. Une des questions qui se pose, c’est quand, par exemple, on joue un son devant, et que l’on vous montre des feuilles qui disparaissent dans les arbres. Il n’y a alors aucun doute pour vous qu’il s’agit du souffle du vent dans les arbres. Si tout d’un coup on vous joue le même son, mais sans visuel, cela pourrait très bien être la mer.

Va donc se poser la question pour un public non voyant de la perception de l’enregistrement, de la qualité et nature des assets sonores utilisés, et je ne suis pas sûr que l’on ait beaucoup de prise sur ces éléments-là. Il va en fait falloir une forme d’audiodescription plus importante dans l’expérience. Après on va sans doute plus utiliser la version 360 plutôt qu’une version VR pour ce type de public.

On voit bien aussi dans votre travail que les perceptions s’opèrent par combinaisons de sens, et c’est vraiment intéressant de partir à la redécouverte de la façon dont les sens fonctionnent. Historiquement on a eu tendance a abstraire toutes ses fonctions en disant: il y a le sens de la vue, il y a le sens de l’odorat; les fameux cinq sens. Aujourd’hui, dans la science, dans la littérature, dans tous les domaines où l’on travaille sur les perceptions, on se rend compte qu’il y a toujours des combinaisons, que, c’est souvent un sens qui renseigne l’autre, et, une combinaison de ces sens-là permet de fabriquer des perceptions complètes. C’est quelque chose sur lequel vous avez travaillé, vous aussi, en mélangeant plusieurs choses?

AC: En fait, on ne voulait pas non plus trop aller vers la synesthésie, qui est vraiment un monde à part, mais effectivement on est en train de développer la dernière scène de l’expérience qui va être un peu dans cette idée-là, en tout cas dans cette idée visuelle là.

On va voir si en termes de développement cela a du sens, en tout cas on l’a prototypé, et ce sont des choses auxquelles on s’est intéressés: tous les travaux d’Oliver Sacks, tout ce qui touche à la synesthésie, non pas par comparaison avec le récit de John Hull, mais plus dans une approche liée à la représentation et à la transmission du récit de John Hull, Qu’est ce qu’on peut reprendre dans ce qui est dit de la synesthésie, ou dans la manière dont les phénomènes de synesthésie sont retransmis ou expliqués? Y a-t-il, des codes que l’on pourrait réutiliser, et qui aurait du sens dans ce récit-là?

On peut dire qu’on s’y est intéressé en raison des enjeux de perception, mais ce n’est pas central dans le projet.

Perception alterée et être au monde

Est ce qu’on peut dire aussi que cette notion de perception altérée – je trouve que c’est une notion que l’on rencontre dans plusieurs oeuvres de VR – est une application où la VR a vraiment quelque chose à raconter, c’est-à-dire non seulement la capacité à nous mettre dans un autre point de vue, dans le point de vue de quelqu’un d’autre, mais surtout de nous mettre dans des perceptions qui seraient différentes, qui serait altérée, qui montreraient qu’il ya façons d’être au monde.

Est ce que pour vous cette perception altérée c’est quelque chose qui a une portée qui est plus grande que le monde spécifique des non-voyants, est-ce que tu pense que c’est quelque chose qui être parlant par exemple pour des personnes qui rentrent en phase de vieillesse, ou dans d’autres types d’altérations?

AC: Il y a ici plusieurs éléments de réponse: déjà il y a un élément dont on parle beaucoup en VR que l’on appelle Présence – c’est-à-dire le fait d’être “téléporté” ou d’être en interaction avec un univers qui est créé par un média spécifique, ici la VR.

Cette présence nous met dans la peau de quelqu’un qui est nous du point de vue du récit, mais qui n’est pas nous physiquement. Il y a décalage-là, et quelque chose va être plus fort du point de vue de l’empathie.

Ensuite, notre support n’est pas une vidéo 360 et 3D, mais une expérience interactive. Le déroulé de l’application est lié au comportement de l’utilisateur, que l’on va suivre afin de déclencher certaines scènes à certains moments. Je pense qu’il y a ainsi un phénomène d’immersion plus fort. C’est au travers de ces interactions que l’on va pouvoir proposer une immersion plus importante pour l’utilisateurs.

Ensuite, je pense que la raison pour laquelle l’empathie fonctionne dans Notes on Blindness, est liée à la narration et au récit de John Hull. La VR dans Notes on Blindness est venu renforcer le récit qui est vraiment le coeur de l’expérience.

D’autre part, nous avons effectivement des sollicitations de producteurs, d’auteurs, sur des thèmes qui sont lié au handicap, et effectivement je pense qu’il ya choses à faire en VR, en particulier sur toutes les maladies et problématiques d’enfermement intérieur, d’impossibilité de se mouvoir… A mon avis, il ya certain nombre de choses là-dessus où la VR peut avoir du sens.

Mais la question va toujours être “quel est le récit? ” qui permettrai de traduire une experience interessante. Car encore une fois la force de Notes on Blindness, c’est le récit original de John Hull.

Interaction et participation

Tu parlais d’interaction et de participation des utilisateurs au récit. C’est un thème sur lequel j’aimerais revenir.

Il me semble effectivement que c’est un enjeu assez fort dans la VR et de placer le curseur entre combien on propose de participer et combien on offre comme structure donnée. Est ce que c’est quelque chose que vous avez beaucoup travaillé pour parvenir à un équilibre?

AC: Notre co concepteur Amaury La Burthe d’Audiogaming utilise ce terme qui est intéressant : il parle de narration élastique, c’est-à-dire que l’on conçoit un point de départ et un point d’arrivée, et en fonction du comportement de l’utilisateur, on va étendre ou contracter le temps de l’histoire pour s’adresser de la manière la plus adéquate possible à l’utilisateur.

Je pense qu’une fois que l’on sera sorti de cette première phase de découverte de la VR, ou il y a l’effet “aouh, on est téléporté dans une montagne russe, ou en Afrique”, etc., je pense que la question qui va se poser, c’est, en fait, je suis dans ce monde-là, mais je ne peux pas interagir avec ce monde.

Une des limites que l’on va ressentir assez vite, c’est que même si dans une vidéo en VR, on est en interaction parce qu’on se tourne, il y a le risque que l’utilisateur ne regarde pas l’endroit voulu par le réalisateur.

Dans un projet interactif comme Notes on Blindness, on ne déclenche une scène uniquement quand l’utilisateur regarde dans une direction donnée. À mon avis, meme si dans un premier temps beaucoup de choses vont se développer en vidéo 360,  je pense que les vraies expériences de VR vont être des expériences interactives, même peut être s’il s’agit de vidéos interactives. La dimension de réalisation et de mise en scène va passer par le déclenchement d’évènements en fonction du comportement de l’utilisateur. C’est pour cela qu’à mon avis il ya d’expériences en 360 qui en fait sont des expériences à 180, car il est très dur de prendre en considération ou d’utiliser les 180 degrés restant dans une expérience qui est purement de la vidéo.

Oui, ce n’est pas nécessairement intéressant de sans cesse tourner la tête pour voir ce qui se passe derrière.

AC: Sur Notes on Blindness, les passages des carnets audio que l’on a sélectionnés sont vraiment tournés autour de l’idée de l’exploration d’un monde.

Cela fait beaucoup de sens, car c’est la narration elle-même qui dit “derrière moi une voiture démarre… mon fils est à côté de moi…. il vient de disparaître… et là il est au bord du lac” Ca fonctionne parfaitement avec une experience spatiale.

D’ailleurs un des enseignements que je tire de ce projet, c’est que meme si le procedé VR nous a apporté  de l’immersion,  la narration en tant que telle fonctionnait tout à fait dans un cadre de video 360. En revanche, dès que l’on a prototypé et que l’on a mis les lunettes, on était littéralement plongés dans cet univers-là et tout ce qui était autour n’existait plus.

D’une certaine manière ca se rapproche de la salle de cinéma: on rentre dans une salle de cinéma et on quitte le monde quotidien. Ce n’est pas la même expérience d’être dans une salle de cinéma et de regarder un film chez soi, et la principale raison, c’est que le téléphone ne va pas sonner au cinéma, vos voisins ne vont pas débarquer, votre gamin ne va pas se réveiller… La VR permet de retrouver cette forme d’immersion que l’on a dans la projection cinématographique.