Vectoglyph



Les formes vectorielles comme langue étrangère

L’intelligence artificielle GPT-2, perturbée par l’apprentissage de symboles visuels, amplifie l’étrangeté, l’abstraction et l’instabilité du langage.




En intégrant puis analysant des corpus énormes de textes en anglais, l’intelligence artificielle (IA) GPT-2, créée par l’organisation non lucrative OpenAI, peut générer des textes cohérents en anglais à la demande (notamment des « fake news »). Si on l’entraine à nouveau avec un corpus de textes spécifiques (par exemple, toutes les pièces de théâtre de Shakespeare), elle peut composer un texte de théâtre comparable. Mais l’IA comme l’homme n’échappe pas à la difficulté inhérente à tout apprentissage d’une langue. En fonction du degré d’assimilation de la machine et des aléas de traduction, - par erreur, par omission, par répétition, par incompréhension contextuelle -, de subtiles variations peuvent perturber la signification d’un mot. Et ce d’autant plus que l’IA n’a pas conscience d’elle-même et du sens de sa production.

J’ai choisi de me saisir de ce moment de bascule entre intelligence artificielle et humaine, moment confus entre projet ambitieux, mais aveugle de l’IA et celui de l’humain, en l’occurrence l’artiste, capable de sélection subjective, critique et esthétique, d’expérimentation et de remise en sens.

L’originalité de mon travail est ici de perturber l’apprentissage de GPT-2 en lui proposant une langue étrangère non plus textuelle, mais « visuelle ». C’est le format vectoriel de données SVG qui me permet d’établir cette transcription entre texte et image. Le SVG est un format ASCII, c’est-à-dire qu’il peut être lu dans un éditeur de texte ; les points, les formes et les couleurs de l’image sont représentés sous la forme d’un texte.
Par exemple, le texte définissant l’image d’un emoji « cœur » se présente de la sorte :

<svg xmlns="http://www.w3.org/2000/svg » viewBox="0 0 36 36"><path fill="#BE1931 » d="M2.067 11.319C2.067 2.521 14.251-.74 18 9.445 21.749-.741 33.933 2.52 33.933 11.319 33.933 20.879 18 33 18 33S2.067 20.879 2.067 11.319z"/>

Malgré ses capacités à comprendre et interpréter la langue anglaise, GPT-2 est incapable d’utiliser les informations contenues dans un SVG pour générer un nouveau texte en anglais. Devant une telle contrainte, il va donc essayer d’écrire uniquement selon cette nouvelle forme syntaxique. Il produit alors une image vectorielle qui révèle une composition visuelle originale plus ou moins proche des images d’origine.

Grâce à l’aide de GPT-2, je vais donc créer une production hétéroclite et de qualité inégale. J’opère alors une forte sélection sur cette production, à raison de 10 images pour 1000 produites. Je joue avec les phénomènes d’émergence : les accidents et les mutations…

Je reprends ainsi le pouvoir sur la production de GPT-2, à la fois en amont, en alimentant et perturbant l’IA, et en aval, lors de l’écrémage de la production. Je souligne les errances de toute traduction et livre au lecteur un langage étrange et abstrait. Un langage qui garde ou dévoile à moitié son mystère en évoquant des formes familières à peine reconnaissables. Et ce d’autant plus, que j’ai choisi d’alimenter GPT-2 avec un « vocabulaire » connu du plus grand nombre : 1700 emoji issus de la collection Twemoji (Twitter).

Les emoji m’intéressent pour plusieurs raisons. Ces idéogrammes sont aujourd’hui utilisés mondialement et ils fonctionnent donc comme un langage nouveau et universel. Mais paradoxalement, cette universalité s’efface à partir du moment où ils sont décrits à l’oral et à l’écrit dans différentes langues. Leur apparente simplicité n’empêche donc pas les difficultés de traduction qui sont au cœur de ma problématique. Quand la langue universelle des emoji est traduite, interprétée, détournée par l’IA, le lecteur peut parfois repérer quelques traits familiers de ces emoji ou au contraire, découvrir une forme abstraite sans sens immédiat. Les emoji, et encore plus leur traduction par l’IA, s’affirment donc bien comme une langue à part entière, à la manière d’une ancienne langue disparue dont il ne resterait que quelques traces et fragments écrits, comme dans le cas des hiéroglyphes.

Ainsi, paradoxalement, l’IA ainsi détournée ne nous convie pas à une « traduction – retranscription » pure et simple, mais elle amplifie l’étrangeté et l’abstraction de la langue ; elle invite à la création infinie d’autres significations. Ce faisant, elle signifie surtout le caractère vivant et insaisissable de toute langue et de toute culture.
Ce travail me permet aussi de créer une collection de remix distanciés (formes abstraites) et des remix reflexifs (référentiels), qui témoignent de mon positionnement d‘artiste, en tension entre pure expérimentation artistique et intention critique.










Suite à cette recherche sur le langage visuel, j'ai décidé d'entrainer GPT-2 avec la plupart des alphabets du monde, en utilisant la collection de police Google Noto. À partir de ces polices, 16300 SVG ont été collectées, une accumulation de descriptions textuelles de la forme de chaque lettre. De ce nouvel entrainement, GPT-2 écrit de nouvelles formes, de nouveaux glyphes en noir et blanc.

Enfin, avec la contrainte de créer une nouvelle police, je choisis des formes abstraites ayant une certaine ressemblance avec les lettres de l'alphabet latin :


Vectoglyph-Noto.ttf - Téléchargez la police ici


Vectoglyph-Noto.ttf - "Le vif zéphyr jubile sur les kumquats du clown gracieux"


Vectoglyph-Noto.ttf - "The quick brown fox jumps over a lazy dog"


Vectoglyph

2019