technique

Réflexions provisoires liées aux intelligences artificielles

Résumé très succinct

• Évolution récente des IA
• Comment voient-elles notre Monde
• Un dialogue halluciné s’installe
• Que faire en tant que designer
• C’est foutu, mais il reste un espoir…

Introduction
Si vous me suivez un peu, vous avez dû remarquer que je me suis intéressé aux nouvelles avancées des programmes d’intelligences artificielles dans le domaine graphique et textuel. J’ai toujours été un peu dubitatif et méfiant (voir cynique) par rapport aux discours (souvent très marketé) autour des IA, mais depuis quelques mois avec les avancées de Disco Diffusion de Google ou du GPT-3 d’Open AI (et j’attends Dall-e 2 avec impatience), mon avis a totalement changé. Autant vous le dire franchement je suis bouleversé, enthousiaste et affolé en même temps, après avoir pu expérimenter moi-même ces nouveaux outils.
Je vais utiliser le terme « intelligence » artificielle (IA) dans ce petit texte, mais je suis bien conscient que ce terme d’intelligence est problématique (nous pourrions parler de machine à apprentissage profond, d’apprentissage automatique, d’apprentissage par renforcement, de réseau de neurones…). Je ne suis pas un spécialiste des IA en terme technique, je suis juste un utilisateur qui essaye de trouver un usage et un moyen d’expression en utilisant ces technologies.

Petit état des lieux
Pendant des années nous avons « appris » à ces IA à reconnaitre à partir d’images numérisées un chat, un chien, une voiture, un pont, un passage piéton, une police de caractère (avec les captchas par exemple)… et maintenant nous retournons la question, nous leur demandons, mais à quoi ressemble un chat pour toi ? Et c’est là que c’est passionnant, car nous découvrons littéralement un Nouveau Monde très étrange. En effet les IA ne peuvent appréhender le Monde comme nous. Elles n’auront jamais l’expérience du vécu, de la douleur, de la joie, du plaisir, de la passion, du fun… Elles ont une représentation du monde qu’à travers des données numériques que nous lui avons fournies. Elles ne peuvent comprendre notre monde qu’à travers les ombres numériques projetées de notre propre réalité (un peu comme dans le mythe de la caverne de Platon, si j’ose la comparaison). Elles voient notre monde uniquement grâce aux données numériques des internet et de nos échanges sur les réseaux.  Leurs réponses ne peuvent donc qu’être biaisées, simulées et décalées  par rapport à nous, humains. Nous sommes donc en face d’un sophisme numérique (un raisonnement faux malgré une apparence de vérité). Ce serait comme demander à un extraterrestre de nous décrire notre propre monde.  Mais ces réponses étranges (et souvent dérangeantes comme le montre la dernière image de mon article) sont justement passionnantes et intéressantes (un art brut numérique!), car curieusement cette mauvaise compréhension, ces approximations, ces erreurs, ces malentendus, ces collisions… peuvent générer des propositions graphiques ou textuelles originales et inattendues.

Un dialogue halluciné s’installe avec des images qui s’écrivent
À la différence du design génératif, le dialogue entre l’IA et son utilisateur se fait par le langage naturel (aucune de ligne de code à écrire, pas de syntaxe rigoureuse à apprendre, pas de bug, pas de blocage...) ; s’instaure alors très vite un dialogue naturel entre l’IA et l’humain, on écrit littéralement des images. La partie technique disparait totalement (on rentre dans la magie), et une certaine empathie s’installe, on essaye de trouver les bons mots et des références communes afin d’obtenir un résultat satisfaisant ou étonnant. Soudain, on trouve la bonne phrase (le « Prompt » parfait !) et les résultats semblent inouïs, cette phrase est semblable à une incantation magique secrète auprès d’une entité diabolique (je m’emballe un peu !). Je trouve très beau ce dialogue entre IA et humain, et ce sont ces imperfections, ces erreurs, ces glissements d’interprétations, ces malentendus qui sont si précieux.  C’est un peu comme discuter avec des enfants en bas âges en leur demandant de raconter des histoires ; ces histoires sont souvent totalement décalées ou absurdes par rapport à notre logique d’adulte, mais elles sont toujours surprenantes, originales et souvent belles. Ces étranges propositions éphémères déclenchent de nouvelles idées, de nouvelles directions de recherches (en tous cas pour moi), même si ces propositions ne sont qu’une accumulation de choses déjà réalisée (l’IA ne va rien inventer, elle collecte, remixe, puis reformule une proposition à partir de ces données). Et c’est nous qui projetons  des intentions, des idées… sur les réponses de ces IA (qui ne comprennent pas vraiment ce qu’elles font, mais ce n’est pas grave).Malheureusement, ces imperfections  vont  surement être gommées dans l’avenir (j’imagine que le but, inatteignable, étant de reproduire à l’identique une intelligence et une sensibilité humaine). J’espère que l’on pourra garder quelles une de ces  IA un peu « pataudes » et naïves dans l’avenir ? 

Maintenant que faisons-nous ?
Cette IA dessine mieux que moi, va mille fois plus vite et a vu et lu beaucoup plus d’images et de livres que moi (même si elle n’a pas vraiment tout compris) : que faire ?
La production artistique et éditoriale et donc à repenser, nous allons devoir nous positionner par rapport à cet évènement en tant que designer (ou créateur d’images, de sons ou de texte). Pour le moment je trouve le dialogue très stimulant, et je suis dans une phase d’exploration. Je me retrouve comme un dresseur (apeuré) de fauves, essayant de canaliser une fureur productive. J’essaye de guider, de trouver un vocabulaire commun avec ces IA (qui n’ont aucun bon sens, aucune morale...) afin d’avoir des textes ou des images à mon gout. Je me retrouve dans la position d’un guide, d’un directeur artistique essayant de formaliser mes idées par quelqu’un d’autre de totalement halluciné et qui ne se fatigue jamais.

L’immense avantage (il faut bien en trouver un) que nous avons par rapport à ces IA, c’est notre expérience du vécu (notre savoir « expérientiel »), notre faculté à vivre dans le monde physique. L’usage est au cœur du travail du designer, j’estime qu’une grande partie de mon travail est de proposer de nouveaux usages par rapport à une problématique précise (sociale, ludique, technique…). Dans ce domaine, les IA ne peuvent absolument rien créer d’original, car elles n’ont justement pas cette expérience du vécu si inspirante et créatrice d’idée. Dans mon expérience personnelle, mes idées viennent souvent de l’observation de la vie quotidienne (un enfant tenant un téléphone à l’envers, une blague, le mauvais usage d’un objet, un accident technique, un film, une chanson, un jeu…), ou de la frustration (voir de la colère) venant d’un objet ou d’un service mal pensé. Ce mélange, d’étonnement, d’émerveillement, de surprise, de colère ou de frustration créatrice ne sera « jamais » accessible à une IA, et c’est donc dans ce domaine que nous devons nous différencier.
Pour conclure très temporairement, l’IA est un outil prodigieux permettant d’accroitre sa créativité (avec toutes les réserves que l’on peut apporter). L’IA ne va pas créer du sens, c’est à nous d’y trouver du sens à travers nos choix, notre imaginaire et notre expérience de la vie : nous sommes condamnés à devenir intelligents comme le disait Michel Serres.

Il faut tout de même savoir (histoire de se faire très peur) que pour Balazs Kegl (responsable chez Huawei des IA), la nouvelle étape consiste à trouver des systèmes « qui agissent et interagissent avec le monde physique » afin de faire une représentation du monde la plus proche de la notre. Ainsi, notre seul avantage risque de se voir concurrencer prochainement par cette nouvelle étape dans le développement des IA.

Remarques (en vrac)
Dans la création d’images, voici quelques remarques que j’ai pu observer :

Il faut utiliser des références connues (mieux vaut demander une image utilisant le style du studio Ghibli que le style d’Étienne Mineur ayant un peu moins d’occurrences sur Google image ;).
Il faut rester doux et demander gentiment de minimes variations afin d’obtenir des résultats intéressants.
Cela entraine une standardisation du rendu
Aucune originalité, mais une agrégation de style et d’images (pouvant parfois amener à découvrir tout de même une piste intéressante).

Uniquement un reflet de nos propres images
• C’est un vrai flux d’images assez angoissant (un synthétiseur d‘images) ,
• La vue de la production incessante et hallucinante d’images peut parfois démoraliser et fatiguer. On ne sait plus quelle image choisir (saturation de l’utilisateur)
• Surabondance, surproduction et saturation d’images sans signification par la suite (inventer une écologie de l'image).
• Le grand jeu étant de mélanger des styles totalement antagonistes (un minimalisme maximaliste…), trouver des axes de tensions...
• Regarder une machine produire des images est toujours aussi fascinant
• Mieux vaut travailler au début en noir et blanc afin d’éviter à gérer trop de paramètres.
• Si j’étais story-border, concept-artist, designer textile de motifs… je commencerai à m’inquiéter sérieusement.
• l’IA requiert une immense quantité de puissance de calcul pour fonctionner (je n’arrive pas trouver de chiffres précis).

Le futur (on en reparle dans 10-20 ans)
Nous pouvons déjà imaginer des  jeux vidéo dans lesquels les PNJ seraient capables d’interagir et de dialoguer avec le joueur sans obéir à de simples scripts ou à des arbres de dialogues déjà écrits. Mais nous pouvons aller plus loin, car des IA peuvent déjà quasiment « halluciner » un rendu visuel temps réel juste à partir d’annotations.

Nous pourrions donc imaginer dans le domaine des jeux vidéo, jouer/dialoguer avec des IA en pleine hallucination --> elles nous fournirait à l’écran des images et des animations suivant les actions du joueur, le jeu serait un vrai dialogue entre le joueur et l’IA ou chaque nouvelle partie de jeu serait unique.
Donc, plus de 3D, d’animation… juste un grand remix d’images en temps réel proposé par les IA à partir d’images déjà produites (dans le style de votre choix).

Il va falloir indiquer sur les images (et aussi textes, sons) : « fait avec l’aide d’une IA », un peu comme l’utilisation de l’auto-tune dans la musique.

Nous allons avoir des détecteurs d’images faites par des IA.


Exemples de « prompts » me permettant d'obtenir ces images :

typeface letter « A » with long hair in black and white

typeface letter « A » with long hair in black and white
A typeface, the letter "A" based on a bird's feather, black and white
typeface with long hair in black and white
typeface with long hair in black and white
Tree engineered by Escher and painted by Gustave Doré
Et pour finir une image un peu dérangeante (ce qui arrive fréquemment avec ces outils).


Electronic Dice

Voici un prototype de dé électronique permettant de communiquer avec un objet numérique.

--> le site web : https://www.electronic-dice.com/


https://www.youtube.com/watch?v=EerooKKX93w


un piano en papier version 2

Voici le deuxième prototype d’un clavier en papier utilisant un téléphone

Voici le deuxième prototype de mon piano en papier, cette fois, avec sept touches (et non pas cinq comme dans ma première version). Je ne suis pas arrivé à faire huit touches pour reproduire une gamme complète, car la taille de l’écran de mon téléphone est trop petite. Je suis en train de régler pour le moment le bon contact entre le matériau conducteur et l’écran, mais ça avance. J’ai maintenant la possibilité de rajouter des animations et de nouveaux sons facilement (un système de librairie). On peut aussi appuyer sur plusieurs touches en même temps (merci au multiTouch de ces téléphones). La prochaine fois, j’essayerai de faire un peu de musique avec tout un orchestre en papier ;)


https://vimeo.com/353566747

version 2 du prototype


un piano en papier

Voici le prototype d’un clavier en papier utilisant un téléphone

Cet objet ne demande qu’une feuille A4, une feuille d’aluminium, du scotch et (parfois) un élastique. Voici le déroulé de cette rapide fabrication. Une fois l’objet en papier réalisé, il faut glisser un téléphone dans l’étui de papier. J’ai développé (très) rapidement une application en flash (Air) permettant de jouer un son et une animation au moment où je touche le clavier.


https://vimeo.com/352670391

Premier prototype fonctionnel

Une feuille A4, de l’aluminium, de la colle et un élastique
découpage de la feuille A4
pliage de la feuille A4
séparation de la feuille d’aluminium en petites bandes qui sont collées sous le pliage
fin du collage des bandes d’aluminum sous l’objet
version finale du pliage
glisser le téléphone dans le pliage en papier
pose de l’élastique afin de bien appuyer les bandes d’aluminum sur l’écran.

St Noire

un jeu de plateau utilisant Alexa

Le studio  X2 Games développe actuellement un jeu de plateau portant le nom de St Noire.

Il s’agit à ma connaissance du premier jeu de plateau à commande vocale, utilisant Alexa.
Un meurtre a eu lieu dans la petite ville de Sainte-Noire et le meurtrier a promis de frapper à nouveau!
Pouvez-vous résoudre le mystère avant la fin du temps imparti et la fuite du tueur?
Trouvez les indices, interrogez les suspects et ne faites confiance à personne.

--> plus d’infos sur le site : https://www.st-noire.com/

https://www.youtube.com/watch?v=LksMIKq8sMg
https://youtu.be/3TV7lbN4X74


An Open Letter to Hobbyists ou les racines du mal!

La lettre de Bill Gates qui a tout changé.

An Open Letter to Hobbyists ( « Une lettre ouverte aux bricoleurs ») est une lettre ouverte écrite en janvier 1976 par Bill Gates (il avait donc 21 ans à l’époque). Dans cette lettre il demandait au (petit) monde des développeurs de l’époque de payer leur software. Cela s'opposait à la logique de l’époque basée sur la partage des informations dans le monde scientifique.

Cette lettre est très importante, car il s’agit d’une des premières confrontations entre le point de vue mercantile et le point de vue des hackers/développeurs sur la nature même des logiciels.

De nombreuses questions passionnantes se sont alors posées publiquement : le logiciel doit-il être vendu avec le hardware, doit-il être donné, doit-il être vendu séparément, peut-il être partagé, peut-il être modifié, est-il une œuvre de l’esprit (et donc protégé par le droit d’auteur)...

Les réponses proposées par d'autres acteurs de ce domaine. Par exemple la proposition de Jim Warren du Homebrew Computer Club est très pertinente (même 40 ans plus tard).

« Il existe une alternative viable au problème soulevé par Bill Gates dans sa lettre vindicative contre les « computer hobbyists » : si un logiciel est gratuit ou si bon marché que l’acheter est bien plus facile que de le dupliquer, alors ce n’est pas du vol. »— Jim Warren, juillet 197629

Et nous pourrions même dire que cela à contribué à développer et à structurer le mouvement Open Source avec Richard Stallman et son projet GNU du début des années 1980.

--> source wikipédia : https://fr.wikipedia.org/wiki/An_Open_Letter_to_Hobbyists

Voici la traduction française faite par Michel Volle

De mon point de vue, le manque de bon cours de programmation, de bons livres et de logiciels est aujourd'hui la question la plus critique pour les hobbyistes. Sans bon logiciel, si l'utilisateur ne connaît pas la programmation, l’ordinateur du hobbyiste reste stérile. Écrira-t-on du logiciel de qualité pour ce marché ?

Voici près d’un an, Paul Allen et moi avons anticipé sa croissance, embauché Monte Davidoff et développé le BASIC pour l’Altair. Le travail initial n’a pris que deux mois mais nous avons tous les trois dû passer l’essentiel de l’année dernière à documenter ce BASIC, l’améliorer et l’enrichir en fonctionnalités. Nous avons maintenant 4K, 8K, EXTENDED, ROM et DISK BASIC. Nous avons utilisé pour plus de 40 000 dollars de temps d’ordinateur.

Nous avons reçu des réactions positives de centaines de personnes qui utilisent ce BASIC. Cependant, deux faits surprenants apparaissent : 1) la plupart de ces " utilisateurs " n’ont jamais acheté le BASIC (il a été acheté par moins de 10 % des possesseurs d’un Altair), 2) le montant des redevances venant de nos ventes aux hobbyistes rémunère le travail qui a été fourni sur le BASIC de l’Altair à moins de 2 $ de l’heure.

Pourquoi cela ? La plupart des hobbyistes savent bien qu’ils volent le logiciel. Il faut bien acheter le matériel, mais le logiciel, cela se partage. Qui se soucie de rémunérer les gens qui ont travaillé pour le produire ?

Est-ce honnête ? En volant le logiciel, vous ne vous vengez pas contre MITS pour les problèmes que vous avez pu rencontrer. MITS ne fait aucun profit en vendant le logiciel. La redevance qui nous est payée, le manuel, la bande etc. en font une opération tout juste équilibrée. Ce que vous faites, c’est d'empêcher la production de bon logiciel. Qui peut se permettre de faire travailler des professionnels pour rien ? Quel hobbyiste pourrait mettre trois hommes*année dans la programmation, détecter toutes les bogues, documenter le produit puis le distribuer pour rien ? Le fait est que personne, en dehors de nous, n’a investi d’argent dans le logiciel pour les hobbyistes. Nous avons écrit le BASIC pour le 8080, nous sommes en train d’écrire l’APL pour le 8080 et le 6800, mais rien ne nous incite à mettre ces logiciels à la disposition des hobbyistes. Vous êtes tout simplement des voleurs.

Que penser de ceux qui revendent le BASIC pour Altair ? Ne se font-ils pas de l’argent sur le marché des logiciels pour hobbyistes ? Oui, mais ceux que l’on nous a signalés pourraient finalement y perdre. Ils donnent une mauvaise réputation à tous les hobbyistes : on devrait les chasser des réunions des clubs où ils apparaissent.

J’aimerais recevoir des lettres de tous ceux qui souhaitent payer leur dette envers nous, ainsi que de ceux qui ont des suggestions ou des commentaires à formuler. Écrivez-moi à 1180 Alvarado SE, #114, Albuquerque, New Mexico, 87108. Rien ne pourrait me plaire davantage que d'embaucher dix programmeurs et de pouvoir inonder de bons logiciels le marché des hobbyistes.

Bill Gates

Directeur Général, Micro-Soft

--> une autre traduction est aussi disponible là : https://fr.wikisource.org/wiki/An_Open_Letter_to_Hobbyists


Une console avec une manivelle

Une nouvelle console minimaliste

Play Date est le nom de cette nouvelle console minimaliste (écran LCD et  résolution de 400 x 240 pixels en noir et blanc). La chose originale, en plus de son positionnement Hipster, est la possibilité d’utiliser une petite manivelle positionnée à la droite de la console. Pour le moment, on ne connaît pas les jeux qui seront disponibles sur cette machine. Nous savons juste que Keita Takahashi (Katamari Damacy), Zach Gage (de l’incroyable Ridiculous Fishing) et beaucoup d’autres Game designers de talents travaillent sur ce projet.

--> pour en savoir plus : https://play.date/


Cela me rappelle un très beau projet des étudiants de la HEAD (media design)  Margaux Charvolin et Israel Viadest; Penumbra.

https://vimeo.com/209578365

https://www.youtube.com/watch?v=urYo3TVlF7Y


Utiliser un écran pour scanner une forme

Une utilisation inversée d’un écran.

Au moment ou les LED (matrice 32 × 32) s'allument, un "phototransistor" capte la lumière et si le chemin est libre le système n'affiche aucun changement si le chemin est bloqué alors le capteur peut en obtenir une image précise et générer sa silhouette.

source : https://blog.arduino.cc/2019/05/01/use-an-led-matrix-as-a-scanner/


https://www.youtube.com/watch?v=9F9EUaXhj5M


l’ordinateur à aiguille à tricoter

Voici l’exemple d’un système précurseur de l’informatique utilisant uniquement du papier et une aiguille à tricoter.

Je connaissais les premières utilisations de la carte perforée avec les métiers à tisser dès 1725, (par Basile Bouchon,) puis son industrialisation avec le Métier Jacquard et aussi son utilisation dans les orgues de barbaries.

Mais je viens de découvrir une autre utilisation absolument géniale de ces cartes perforées avec les McBee Punch Card Set ou Edge-notched cards .

Avec ce système ingénieux (datant visiblement du début du XX ème siècle), différentes informations pouvaient être codées en perforant des trous autours des cartes pour désigner des catégories. Une encoche dans la carte signifiait que cette carte était, par exemple, dans la catégorie DESIGN, et une autre encoche plus loin allait signifier FRANCE et ainsi de suite.
Une fois les cartes correctement perforées (donc votre base de données à jour), il était possible de rechercher dans des paquets de cartes en passant juste une aiguille à tricoter dans l’encoche désirée (correspondant donc à une catégorie). En soulevant le paquet de cartes avec l’aiguille, seules les cartes correspondantes à sa recherche restent dans le bac, les autres sont soulevées par l’aiguille.

De plus, vous n’avez pas à garder les cartes en ordre. Vous pouvez les laisser dans le désordre, et la recherche sera toujours aussi efficace et rapide.

--> des informations sur les Edge-notched cards sur Wikipedia : https://en.wikipedia.org/wiki/Edge-notched_card

un exemple de carte avec deux catégories «poinçonnées»
le tri s’effectue en glissant une aiguille dans une encoche
Les outils permettant de créer les cartes et de les trier (aiguille)


Culture Numérique de Dominique Cardon

Le parfait guide d’initiation au monde numérique.

Dominique Cardon est directeur du Médialab de Sciences Po.
Il a été chercheur au Laboratoire des usages (SENSE) d'Orange Labs et professeur associé à l'Université Paris Est/LATTS.

Culture Numérique est un livre essentiel et didactique, permettant de se repérer facilement dans notre monde connecté. L’auteur nous détaille à travers de courts chapitres limpides les différents aspects du numérique et ses répercussions dans notre monde (avec de nombreuses références historiques et scientifiques).
Les chapitres vont traiter par exemple de la naissance de l'hypertexte, de l’auto-organisation (Wikipedia), l’identité en ligne, la démocratie numérique, les Fake News, Digital Labor, Civic Tech...
C’est à mon avis, le livre parfait d'initiation pour des étudiants, politiques et autres personnes non spécialistes voulant comprendre les enjeux liés au numérique.

Par contre, le terme Culture du titre peut être trompeur, L’auteur ne parle pas de création musicale, littéraire, ludique, audiovisuelle... mais se focalise surtout autours des GAFAM et des grands réseaux sociaux classiques.

Et bravo au studio AAAAA. pour de design graphique du livre.