Cinquième étape à Tokyo du tour du monde de l’art et des jeux vidéo d’Isabelle Arvers, qui fête vingt ans de commissariat et de création dans le game art. Poptronics a demandé à la globe-game-trotteuse de nous envoyer régulièrement de ses nouvelles.
Le jeu « Unfamiliar Ritual » de Ryoya Usuha déconstruit l’image 3D léchée (capture écran). © DR
< 22'01'20 >
Au Japon pour le tour du monde art et jeu vidéo (5)

Le vernis innovation du Japon est-il en train de craqueler ? Isabelle Arvers poursuit son tour du monde à la rencontre des développeu.rs.ses indépendant.e.s. et artistes de pays d’Asie, d’Afrique, du Moyen-Orient et jusqu’en Amérique latine. Elle rêvait de rencontrer la scène queer, post-colonialiste et indé du pays des inventeurs du robot et du jeu vidéo. Mais a plutôt découvert des créations poétiques et artistiques. Voici sa chronique tokyoïte pour Poptronics.

💄👾✈︎💄👾✈︎💄👾✈︎💄👾✈︎💄👾✈︎💄👾

Je rêvais d’aller au Japon, depuis mes études en Sciences politiques et la lecture en 1993 d’un article de Jacques Attali sur les objets nomades (idées qu’il développait dans l’essai « Lignes d’horizon » en 1990). Il y décrivait la capacité unique d’innovation du Japon et son potentiel quasi inépuisable d’invention d’objets miniaturisés mobiles comme le téléphone portable, le GPS, les jeux vidéo, etc.

Un vieux rêve, qui m’avait même poussée à l’époque à apprendre le japonais… Je souhaitais aussi avoir le plaisir de retrouver un artiste, que j’avais exposé à Marseille dans le cadre de l’antiAtlas des frontières en 2013 : Masaki Fujihata. J’avais découvert son travail en 1993 alors qu’il présentait à Imagina (le forum des nouvelles images qu’organisait chaque année l’INA), une de ses plus belles œuvres, la représentation de son ascension du Mont Fuji à partir des coordonnées GPS de sa marche : « Impressive velocity ».

J’aurais aimé aussi pouvoir retrouver Akitsugu Maebayashi, dont j’avais exposé à Villette Numérique en 2002 à Paris l’une de mes œuvres numériques préférées, « Sonic interface ». Cette installation portable pour deux marcheurs, munis de casques audio et d’ordinateurs dans le dos, modifiait le son environnant par différents filtres, afin de perturber totalement le spectateur - par des effets de retard, de boucles ou de transformation sonore.

Sous la modernité apparente, l’extrême droite

J’aurais sans doute dû aller au Japon dans les années 1990 et non pas aujourd’hui, dix ans après l’instauration d’une auto-censure sous contrôle à l’occasion d’un changement de gouvernement… J’ai beaucoup cherché des œuvres engagées, mais n’en ai presque pas trouvées.

Je n’ai même que très peu discuté politique avec des artistes japonais. Seul Masaki Fujihata m’a éclairée sur plusieurs points pour mieux comprendre la situation politique actuelle où un shintoïsme d’extrême droite impose des idées d’un autre âge, sous couvert d’apparente modernité.

Fujihata et la mémoire des gens

Dans le travail de Masaki Fujihata, les notions de lieu et de contexte sont fondamentales. Dans « Field-Work@Alsace » (2002), il partait à la rencontre d’habitants et les interviewait sur ce qui les amenait à passer l’ancienne frontière entre la France et l’Allemagne. Ces interviews géolocalisées étaient représentées dans une installation en 3D stéréoscopique au moyen de lignes qui se transforment en vidéo à chaque fois qu’on rencontre une image.

« Field-Work@Alsace », Masaki Fujihata, 2002 (extrait) :

Nous nous retrouvons un soir de pluie à l’intérieur de l’exposition « Tokyo 2021 » qui tente d’imaginer Tokyo après les JO. Son dernier projet « Be Here » est un jeu en réalité augmentée. Cette application géolocalisée pour mobile réalisée dans le cadre d’une commande du Hong Kong Design Center surimpose des scènes du quartier de Wan Chai des années 1950 à des images du Hong Kong d’aujourd’hui.


Masaki Fujihata nous fait la démo de « Be Here » (à droite, la cacahuète en street-food du passé). © Isabelle Arvers

Masaki Fujihata s’est inspiré de photos de l’époque représentant des scènes de la vie quotidienne, ainsi que d’interviews de personnes âgées ayant connu le quartier, pour imaginer des scènes qu’il a fait jouer à des acteurs en les filmant avec plus de 70 caméras, afin d’en donner une représentation à 360°.

Il propose ainsi un tour non conventionnel du quartier de Wan Chai : des gens mangeant des cacahuètes, un coiffeur réalisant une coupe de cheveux dans la rue, des serveurs jetant de la nourriture sur leurs têtes… Cette œuvre a pour sujet principal ceux qu’on ne voit habituellement pas, dont le rôle est de faire tourner la machine en servant les autres. Des invisibles, héroïnes et héros du quotidien : « Je ne m’intéresse pas à l’histoire faite par le pouvoir, je m’intéresse aux histoires individuelles », m’explique-t-il.


En images reconstituées, le passé d’un quartier de Hong-Kong dans « Be Here » de Masaki Fujihata. © Osage Art Foundation et Masaki Fujihata

La réalité augmentée permet aux utilisateurs de regarder différemment ce qui les entoure et de s’intéresser à celles et ceux qui existaient autrefois. Souvent des personnes immigrées : quelles sont leurs histoires, qu’ont-iels à raconter sur ce qui nous entoure ? Le projet est très poétique et engagé. « Qu’est-ce qui fait un lieu ? Les gens et leurs histoires sont aussi importants que l’architecture ou l’aménagement urbain. »

L’art interactif intergénérationnel

Quand je demande à Masaki s’il connaît des développeuses de jeu vidéo, il a la formidable idée de me présenter… sa fille Komitsu, qui vient tout juste de terminer son master en nouveaux médias à l’Université des arts de Tokyo. J’ai tout de suite le coup de foudre pour son premier jeu, « here AND there », conçu comme un point and click pour tablette.

« here AND there », Komitsu, 2018 (bande-annonce) :

Lorsque nous nous rencontrons à la Ka Honk Ka, une librairie d’occasion tenue par un collectif d’artistes, je tombe sous le charme de son tout dernier projet : « Wander in Wonder », autre point and click qui pourrait tout d’abord juste sembler kawaï, mais se révèle d’une grande poésie. Dans des graphismes un peu naïfs dessinés à la palette graphique, le joueur est un petit lapin qui se déplace de plantes en pistils.

Son style graphique résolument original me décide à l’exposer dans la foulée à Enschede aux Pays-Bas, dans le cadre du festival Overkill, fin novembre 2019. J’y conçois une exposition spéciale « tour du monde art et jeu vidéo » sur les imaginaires inter-espèces, à partir de mes découvertes en Asie.

« Wander in Wonder », Komitsu, 2018 (bande-annonce) :

Lorsque je lui demande d’où elle tire son inspiration, elle répond en souriant qu’elle vient beaucoup des Living Books, ces CD-Roms pour enfants que son père lui rapportait d’Europe ou des Etats-Unis dans les années 1990. Ces histoires interactives où il fallait cliquer pour connaître la suite. Elle a baigné dans la culture interactive depuis son plus jeune âge !

Elle me présente son amie Natsumi Aoyagi qui a créé la librairie. Etudiantes ensemble, elles partagent un goût prononcé pour la nature. Ce qui rend unique le travail de Natsumi, c’est sa pugnacité au fil des ans et son intérêt tout particulier pour une espèce très particulière de chenilles, à la recherche desquelles elle se lance et qu’elle finit par aller déposer dans une forêt pour pouvoir y revenir l’année d’après, les observer et les filmer, se mettant en scène avec la complicité de sa sœur.


Komitsu, Nakomi et moi à la librairie arty Ka Honk Ka. © Isabelle Arvers

Je retrouve là un autre de leurs amis, Ryoya Usuha, que j’ai eu le plaisir d’interviewer la veille dans le cadre un peu bruyant du très sympathique Square Sounds, un festival de musique chiptunes organisé par des Américains à Tokyo.

L’aléatoire en mode filaire

Le travail de Ryoya, lui aussi passé par le département multimédia de l’Université des arts de Tokyo, oscille entre animation 3D et développement de jeux vidéo déroutants. Et surtout, originaux. « Unfamiliar Ones » est par exemple une animation de personnages en filaire sur laquelle il a travaillé d’une manière peu commune, déterminant uniquement quelques mouvements ou comportements, laissant une part importante à l’aléatoire et à l’absurde.

Un personnage descend des escaliers en titubant, dans les toilettes, il s’amuse avec du papier hygiénique, admire un chien faisant une jolie petite crotte filaire…. Cette façon de démonter les canons de la représentation en 3D classique hyperréaliste et esthétisante me ravit.

« Unfamiliar Ones », Ryoya Usuha, 2017 :

Ce court a donné naissance à un autre travail d’animation minimale en noir et blanc, qui mêle cette fois-ci des déplacements un peu absurdes à la possibilité d’interagir avec les éléments. Une interaction cependant limitée à faire tomber les objets et le personnage : nous sommes maintenant les act.eurs.rices de ses déplacements non contrôlés et activons l’animation par nos clics effrénés sur un mini-joystick.

Rêver en jeu vidéo

Il me présente deux autres jeux que j’ai également envie d’exposer. Entre œuvre d’art et jeu vidéo, ils ont été conçus à la suite de workshops initiés par Andreas Kratky, enseignant en médias et jeux interactifs à l’Université de Californie du Sud (USC). Cela a donné lieu à deux expositions de game art à l’université, un domaine encore balbutiant au Japon.

A partir du même principe aléatoire, Ryoya a créé « Unfamiliar Ritual » (2017), un jeu onirique où des personnages se déplacent, volent, éclatent, se décomposent puis se recomposent, tels des pantins désarticulés. J’aime l’esthétique et le côté non-jeu où chaque déplacement implique des désagrégations de plateformes qui créent tout autant de tableaux mouvants.

Dans « Imaginary Dungeon », nous sommes un rêveur qui rêve qu’il est en train de jouer à un jeu vidéo dans un donjon imaginaire. Tant que nous gagnons, le rêveur reste endormi. La moindre fausse manœuvre le réveille : l’ennemi présent dans son rêve sort de l’écran pour venir le sortir des limbes. Cette œuvre me rappelle une discussion avec des adolescents qui m’avaient dit rêver en jeu vidéo et préférer leurs rêves à la réalité… ce qui m’a d’ailleurs décidée à travailler sur la relation art et jeu vidéo il y a une vingtaine d’années.

Incontournable Taniguchi Akihiko

En matière d’art du jeu vidéo, l’une des personnes incontournables à Tokyo est Taniguchi Akihiko, qui enseigne le game art à l’Université Tama Art et a notamment co-conçu une exposition de game art pour l’Intercommunication Center (ICC) au début 2019, « In a Gamescape Landscape, Reality, Strorytelling and Identity in Video Games ».

Il y présentait la plupart des artistes internationaux reconnus dans le domaine (Joseph Delappe, Miltos Manetas, Colleo) ainsi que quelques rares artistes japonais, dont lui-même mais aussi Ryoya Usuha, qui présentait un dispositif consistant à faire faire des exercices d’abdos à un personnage entouré et perturbé par ses animaux de compagnie.

L’engouement pour les jeux vidéo chez Taniguchi remonte à 2007 avec « Jump From », une œuvre interactive conçue à partir d’un contrôleur de Famicon, la console de Nintendo, où il détournait « Super Mario » en modifiant le background à chaque fois que Mario saute.

Il commence alors à travailler sur les objets du quotidien transposés dans l’espace virtuel. En 2011, « Parents House 3D VJ » est une performance audiovisuelle de VJing en 3D temps réel dans laquelle il mixe avec ces objets usuels scannés en 3D, chacun produisant un son particulier lors de ses déplacements dans l’espace. Le VJ utilise ainsi les nécessités quotidiennes dans l’espace de la maison virtuelle en trois dimensions.

« Parents’ house 3D VJ », performance (extrait), Akihiko Taniguchi (VJ) et DUB-Russell (musique), 2011 :

C’est lors de la performance « Hyper DJ 3D » que son avatar apparaît pour la première fois, réalisé à partir de scans 3D de sa propre image. Cela deviendra ensuite un aspect récurrent dans son travail : se représenter dans l’espace virtuel et permettre ensuite aux spectateurs d’agir sur son avatar. « Ce qui m’intéresse le plus est de faire le lien en permanence entre espace réel et espace virtuel afin de montrer comment les deux sont intrinsèquement liés en permanence. »

« Notre existence est en permanence médiée entre monde virtuel et réel. » Akihiko Taniguchi

Dans la plupart de ses projets, il met en scène son avatar comme un double très cool de lui-même qui danse ou déambule dans les rues d’un Tokyo traditionnel ou se transforme en moteur de recherche humain dans l’installation interactive « The Big Browser 3D » (2016). Un moteur de recherche réalisé dans le moteur de jeu Unity grâce auquel on peut contrôler son avatar qui part à la recherche de contenus ou se déplace dans Google Street View. « L’important pour moi est de dire que je suis là, ici et maintenant. »


Dans « Hyper DJ 3D », Akihiko Taniguchi propose son double pour explorer l’espace (capture écran). © DR

C’est en 2016 dans « Something Similar To Me » qu’il utilise pour la première fois Unity dans une installation comprenant deux écrans représentant à chaque fois son double virtuel. Le premier est agi par le spectateur en temps réel et se déplace alors comme dans un jeu à la première personne dans une sorte de simulateur de marche. L’autre écran représente une version pré-enregistrée de ce que l’avatar voit lorsqu’il se déplace au milieu des objets de son quotidien. Les avatars se déplacent en progressant le long de plusieurs textes sur le thème de la vision.

Visions alternatives

« Ces images représentent la mémoire d’un être humain à partir d’images fragmentées du réel dans un espace virtuel. Fragmentées car lorsque l’on scanne une image en 3D en photogrammétrie, chaque image est prise à un moment différent. La reproduction en 3D de la réalité permet donc une représentation fragmentée dans le temps et l’espace. Je m’intéresse aussi beaucoup à la question du “voir” et aux méthodes de photographie alternative à une époque où Google Street View, les drones et les robots sont devenus des machines de vision. »

Shota Yamauchi est un des élèves de Taniguchi. Une de ses pièces en VR, « Lonely Eyes », est exposée dans « Tokyo 2021 », que je visite avec le développeur indé américain Archie Pakrash, l’auteur de « UndAr The Sea », un jeu multi-joueurs pour mobile en réalité augmentée dans lequel on joue de la musique à plusieurs en interagissant avec des poissons et des coraux !

Chacun à notre tour, nous montons sur l’installation de Shota et nous harnachons de la tête aux pieds pour une expérience plutôt inédite. Son dispositif simule la marche et la course comme une machine de sport. J’ai eu pour la première fois la sensation de marcher dans un espace virtuel, sensation que je ne connaissais pas et que j’ai à nouveau ressentie ensuite dans un rêve : rentrer physiquement dans du virtuel !


Archie Pakrash est préparé par Shota Yamauchi, le concepteur de l’installation VR « Lonely Eyes ». © Isabelle Arvers

Dans « Lonely Eyes », le fusil avec lequel on tire dévoile des parties de l’image : on « tire pour voir ». On suit une jeune femme dans ce qui ressemble d’abord à un labyrinthe, puis se révèle un musée. On finit par parvenir à une salle d’exposition et découvrir qu’on est une statue au centre de l’espace… et que deux ou trois spectat-eurs-rices nous regardent sans grand intérêt. On est l’œuvre recherchée. Le joueur devient l’objet (la sculpture) à regarder. « Un corps spirituel plutôt qu’une sculpture », précise alors Shota Yamauchi.

Shota a trouvé là une façon amusante de mêler deux de ses passions : il a d’abord été formé à la sculpture avant de s’intéresser aux nouveaux médias puis à la relation entre réel et virtuel. Lui aussi se met en scène dans ses pièces, courant en permanence comme dans un jeu de plateforme en mode « Super Mario ». Dans ses premières installations vidéo, il utilise les éléments du quotidien, sacs et produits ménagers, et court en incrustation dans des lieux traités comme des espaces de fiction.

L’une de ses œuvres les plus déroutantes, « Wanna Go Further », est la transformation de sa chambre en sculpture. « Mon but était de changer mon espace familier en un monde différent. » Il a passé plus deux mois à recouvrir entièrement sa chambre d’argile afin de transformer son environnement quotidien en sculpture pour pouvoir l’explorer ensuite à la lumière d’une torche, lui-même couvert d’argile… Et faire de nous des explorateurs de grotte à l’intérieur d’un jeu vidéo.


La maison en argile de Shota Yamauchi (capture écran). © DR

Si le Japon ne m’a pas permis de découvrir énormément d’œuvres engagées, je m’y suis en revanche beaucoup promenée dans des espaces virtuels, où l’humour, la poésie et le fantastique sont convoqués.

💄👾✈︎💄👾✈︎💄👾✈︎💄👾✈︎💄👾✈︎💄👾

Retrouvez les précédentes étapes du tour du monde art et jeu vidéo d’Isabelle Arvers : épisode 1 en Corée, épisode 2 à Taïwan, épisode 3 en Indonésie, épisode 4 à Bangkok.

isabelle arvers 

votre email :

email du destinataire :

message :