La machine crée, mais énonce-t-elle? Le computationnel et le digital mis en débat

1.1 L’espace latent

Telle est en effet la demande que, traditionnellement, nous adressons à la machine: produire l’image d’un chien qui soit la plus proche possible des images de chiens servant à l’entraînement de la machine, après sélection et extraction des traits caractéristiques, après la transformation des informations en des suites de nombres (l'embedding constitue un vecteur de valeurs numériques représentant par des nombres des données hautement dimensionnelles) appartenant à un espace mathématique abstrait de grande dimension appelé « espace latent »,^[3] bref, après des compressions et des décompressions qui, inévitablement, s’accompagnent d’une perte informationnelle.

La partie compressée de l’espace latent, qui gère le passage de l’input à l’output grâce à l’encodeur et au décodeur,^[4] correspond au goulot d’étranglement (‘bottleneck’). Ce dernier comprend la représentation compressée de l’entrée: au niveau du décodage, il s’agit de construire l’output grâce à la représentation latente de l’input. Si l’écart entre les données d’entrée et de sortie s’accompagne de pertes appelées reconstruction loss, le but poursuivi est celui d’une reconstruction « correcte ». L’encodeur et le décodeur effectuent des calculs successifs au sein d’unités computationelles souvent appelées « neurones ». Ces derniers sont répartis en différentes couches. Ils sont sensibles à des patterns simples pour les couches proches de l’input (‘first layers’ ou ‘early layers’) et à des patterns plus complexes pour les couches dites plus « profondes » (‘deeper layers’ ou ‘last layers’).^[5]

D’où une circulation entre les couches de neurones qui est contrôlée. Des activations des premiers niveaux vers les derniers niveaux, et inversement, permettent de détecter des traits caractéristiques soit simples – ainsi des lignes, des courbes, des bords, pour la couche initiale qui peut avoir la même taille que l’image –, soit d’une plus grande complexité, quand la couche dégage non seulement des formes et des figures, des surfaces et des volumes, mais encore des configurations, voire des objets entiers (Somaini 2023). Au début des années 2010, les couches de la convolution (CNNs) sont chargées d’analyser les images en entrée par petits blocs de pixels, le produit de la convolution étant calculé entre le trait caractéristique extrait, qui a la fonction d’un filtre, et chaque portion de l’image balayée. L’application d’une couche de convolution produit une feature map. La couche de pooling réduit la taille de la feature map. Le processus se répète, de la couche de convolution à la feature map, au pooling, à la couche de convolution, au pooling… Non seulement l’opération de pooling réduit-elle le nombre des valeurs qui sont à mémoriser par la machine (en quelque sorte le nombre des informations dans les feature maps: significativement, alors que la forme des oreilles ou celle des pattes permet de distinguer le chient et le chat, la localisation précise de celles-là n’est pas retenue comme critère pertinent), mais encore elle permet à la convolution suivante d’avoir un champ réceptif plus grand. Elle opère en effet sur des « pixels » issus de parties de l’image initiale plus éloignées les unes des autres.

Globalement, la conversion poursuit alors un double objectif: la simplification de la représentation de l’image; la réduction de la sensibilité au bruit (‘noise’).

Plus précisément encore, quelles sont les conditions de possibilité de la créativité computationnelle quand, en vue de l’amélioration de la qualité de l’artefact, la fonction softmax produisant un vecteur de probabilité qui indique, dans un contexte de classification, la probabilité que « x » appartient à chacune des classes, transforme les logits qui, dans l’apprentissage profond, constituent les produits non normalisés d’un réseau neuronal? Comme le soulignent Berns et Colton (2020), dans le cas de la créativité computationnelle, la réduction au minimum des clip values, qui déterminent des seuils qu’il ne faut pas franchir, et la mise en avant de valeurs de données qui sont au-delà ou en-deçà du seuil correspondant à ces valeurs peut être décisive. Il incombe alors à des résultats sub-optimaux d’aider à dépasser les patterns ou régularités dans les données et à faciliter l’évolution des modèles génératifs vers des systèmes « autonomes ».

Ces quelques éclairages visent à préciser les opérations qui, dans l’espace latent, peuvent assurer une modélisation de patterns et une reconnaissance « adéquates » et, conjointement, à pointer certaines des conditions de possibilité et des modalités d’une génération d’artefacts qui « déborde » les ensembles finis de possibles liés au calcul, à la probabilité, à la discrétisation et à la quantification. Reformulons notre question de départ, qui comporte deux volets: comment, sous l’impulsion de la machine et/ou de l’humain, la composante créatrice exploitant la gamme des positions entre la ressemblance et la dissemblance réussit-elle à l’emporter sur la classification et à aller au-delà de l’ajout du « même au même »? Quelles sont les formes que cette (ré)génération peut revêtir?

D’abord, les couches latentes peuvent jouer en faveur du développement d’une créativité de la machine: pourvues de fonctions plus ou moins spécifiques au fur et à mesure que l’input initial est transmis aux first layers ou aux deeper layers, elles sont mises à contribution de manière variable, selon les cas de figure. Notamment, une part de « flottement » due à la mise à l’écart de la couche œuvrant pour la classification des images peut aider à faire surgir une singularité.

Dans les années 2010, on a franchi un pas avec les algorithmes d’apprentissage non supervisé à la base de réseaux de neurones artificiels, antagonistes et génératifs (GANs), introduits par Goodfellow et al. (2014). Contrairement aux techniques d’analyse de données traditionnelles telles que les classifications, qui apprennent la discrimination de données issues de différentes classes en fonction de leurs descripteurs, ils rendent possible l’imitation de distributions de données à travers la génération de données associées. D’un point de vue sémiotique, il n’est pas anodin qu’ils proposent une description formelle d’interactions stratégiques entre agents (appelés « joueurs »). Les réseaux GANs sont construits sur des « divergences actives » (Berns et Colton 2020), l’apprentissage revêtant la forme d’un jeu à somme nulle: alors que le générateur correspondant au premier réseau génère un échantillon (par exemple, une image) à partir de l’espace latent, en cherchant à tromper le discriminateur, son adversaire, ce dernier s’interroge sur la nature de l’échantillon, réel ou produit par le générateur. Le discriminateur est ainsi entraîné avec des données réelles et des données fausses (‘fake data’). Enfin, le feedback sur les données générées qu’il donne au générateur permet à celui-ci d’évoluer. Parlera-t-on d’une activité de la machine se hissant au niveau méta-, fût-ce de manière embryonnaire? Ou cette interprétation témoignerait-elle, tout comme la narrativisation sur le modèle du jeu inspirée par les GANs, d’une vue excessivement anthropocentrique, qui attribue à la machine des propriétés humaines, de manière analogique?

Pour l’instant, la question reste en suspens. Ajoutons plutôt qu’avec les GANs, il s’agit d’intercaler des cycles d’évolution artificielle qui visent la typicalité et la nouveauté (sur la base d’algorithmes évolutifs en quête de la qualité et de la diversité).^[6] Est alors visée l’amélioration de l’image avant qu’elle ne soit visualisée. Quand les GANs recherchent la conformité, la production de bruit est contrebalancée.

De manière plus significative encore, l’introduction du bruit (souvent gaussien) dans le processus de synthèse met en tension des trajets largement contrôlés. Elle se conjugue avec l’introduction de doses d’aléatoire. En témoigne le modèle de diffusion,^[7] avec deux phases de diffusion, vers l’avant et vers l’arrière. Si, au moment de l’entraînement, la diffusion vers l’avant (‘forward diffusion’) se solde par la transformation graduelle des images en des « images-bruits » (Somaini 2023: 100) avec des pixels aléatoires – elle a ainsi un effet de « corruption » des données pour l’entraînement en intégrant du bruit gaussien –, les données sont recouvrées à travers une inversion du processus du bruitage. D’où, à chaque étape, une complexification des données et leur mise en évidence au moment de la diffusion vers l’arrière (‘reverse diffusion’),^[8] c’est-à-dire de leur reconstruction. On y voit déjà un processus de génération aléatoire qui, à partir de valeurs aléatoires, opère par une décompression progressive. Quand la reconstruction ne vise pas le retour à l’état initial, quand elle rompt avec toute standardisation, les requêtes textuelles (‘prompts’) et leurs reformulations (prompts révisés par la machine, en l’occurrence ChatGTP 4) peuvent, par exemple avec Midjourney et DALL•E, générer des images multiples concurrentes (D’Armenio et al. 2024b). Comme le note Somaini (2023: 99), les modèles « texte à image » opèrent en deux temps: (i) un transformeur transforme le texte input en une représentation latente, à travers l’association de vecteurs numériques avec des mots organisés d’une certaine manière dans une phrase; (ii) l’images est générée à partir de la représentation latente. Nous le verrons mieux infra.

Nous ne nous attarderons pas, ici, sur les auto-encodeurs variationnels – un type d’auto-encodeurs –, qui ne se contentent pas du mappage des données vers une représentation compressée, mais qui confient à une modélisation le soin de générer des données nouvelles, au-delà de celles visées par l’entraînement. Tout cela en accord avec une dynamique interne aux processus machiniques: en 2020, Marissa Connor et Christopher Rozell ont pu identifier des trajets ou trajectoires (‘space walks’) qui prennent forme notamment de l’espace latent vers un espace de données multidimensionnel (Colas-Blaise à paraître a).

L’essentiel, ici, est ailleurs: dans la mise à nu de certaines des formes que revêt la créativité computationnelle comprise, nous l’avons suggéré, comme la production d’outputs variés et imprévus pour l’homme, qui le surprennent vivement et appellent une validation a posteriori.

1.2 La génération d’images par DALL•E 3

La notion de variation est essentielle, et avec elle l’idée soit d’une succession de propositions sémiosiques, qui se relaient, soit d’une saisie paradigmatique des variantes qui, comme dirait Focillon (2010 [1943]), permet de mettre en exergue la différence interne et de combattre toute idée d’évolution linéaire et tendue vers un but. La variance du modèle peut être causée par des variations au niveau des données proposées à l’entraînement; elle peut également être interne au modèle, quand, nous le verrons, un prompt textuel proposé par l’humain est révisé, c’est-à-dire réécrit, grâce à ChatGPT 4. Par le truchement des prompts révisés, le prompt primaire donne lieu à des images différentes, grâce au modèle DALL•E 3. Globalement, l’on décèle une des raisons pour lesquelles, plutôt que de parler de représentations verbales ou visuelles (d’une réalité déjà donnée ou à construire), nous considérons des propositions sémiosiques éminemment changeantes et précaires.

Une petite expérimentation avec DALL•E 3 permet de vérifier le principe de la variation, au-delà de tout achèvement caractéristique d’un tout de sens stabilisé. Soit le prompt textuel primaire Bacchus, Venus, and Cupid, by Rosso Fiorentino (Figure 1). Il comprend un renvoi au tableau Bacchus, Vénus, et Cupidon (1531–1532) de Rosso Fiorentino, exposé au Musée d’Art et d’Histoire au Luxembourg.^[9]

Figure 1:

Rosso Fiorentino, Bacchus, Vénus et Cupidon, huile sur toile, 209 × 161 cm, Luxembourg, Musée national d’Histoire et d’Art, entre 1531 et 1532.

Le prompt primaire, de la main de l’homme, donne lieu à des prompts « révisés » par la machine, grâce à ChatGPT 4, et associés à des images que la machine génère en puisant dans la base de données qui sert de référent, dans la mémoire des archives entretissées de culture.^[10] Avec DALL•E 3, dont les tâches excèdent de loin la classification d’images, nous sommes, typiquement, face à un de ces modèles qui ont vu le jour au début de l’année 2022 et qui appartiennent à l’IA générative (Somaini 2023; la génération d’images fixes ou mobiles à partir de textes verbaux) (Figure 2).

Figure 2:

Image générée par DALL•E 3.

Prompt révisé 1:

An Italian Renaissance painting that shows three mythological figures, personifying Wine, Love, and Desire, in an idyllic countryside setting. The first figure, Bacchus, is depicted as a young man, full of vitality and holding a bunch of grapes. Standing beside him is Venus, portrayed as a beautiful and love-inspiring lady. Between them flutters Cupid, the symbol of romantic desire, with his bow and quiver of arrows. All figures are dressed in the attire typical of the Renaissance period, and the landscape shows hints of Italian architecture in the background. This artwork is an original interpretation inspired by Fiorentino Rosso’s famous painting “Bacchus, Venus and Cupid.”

D’un point de vue sémiotique, l’intérêt réside d’abord dans les traductions impliquées par le prompt engineering, quand une requête textuelle initiale plus concise, qui en appelle à l’apprentissage de l’IA générative à partir d’une base de données et à ses capacités d’adaptation à la situation, est relayée par une requête textuelle plus développée, « augmentée », qui multiplie les précisions et réduit d’avance les possibilités de l’interprétation par l’utilisateur humain. Cette traduction, que l’on pourra qualifier de réénonciation (Colas-Blaise 2023b), produit des effets de sens itératifs et nouveaux; elle doit minimiser les biais de la « perception » machinique (Offert et Bell 2020).

Dans notre exemple, il est question d’une « interprétation originale »: on constate, d’emblée, que les ressemblances entre la scène produite et le tableau de Fiorentino sont tout au plus ponctuelles (même nombre de personnages, en même temps sur-présence des attributs qui, stéréotypiquement, permettent de les reconnaître: on notera l’insistante figure du raisin qui, comme telle, est absente du tableau de Fiorentino). Globalement, l’analyse non seulement des formants figuratifs, mais encore des formants plastiques (Greimas 1984) rend attentif au pouvoir de reconfiguration de DALL•E 3, le passage du blanc crémeux des corps nus à des personnages vêtus attestant une différence parmi bien d’autres. Si, globalement, les relations entre les personnages constituent des invariants, les dissimilarités sont fonction d’une recontextualisation et d’une relocalisation: chez Fiorentino, aucun paysage vallonné organisé en profondeur et encadrant la scène (des groupes de cyprès dans les parties latérales, assortis de la représentation d’un village toscan). Dans l’image numérique, la flèche est-elle sur le point d’être tirée, alors que chez Fiorentino, le carquois posé par terre est vide? En même temps, verra-t-on des réminiscences minimales dans le fait que l’incurvation du paysage draine le regard légèrement vers la partie gauche du tableau, en vertu de la ligne diagonale reliant entre elles deux représentations de Cupidon (chez Fiorentino, une diagonale unit le satyre à l’arrière-plan à Cupidon enjambant un lion)? L’indice le plus probant réside peut-être dans la mise en tension des diagonales avec la ligne zigzagante tracée par les regards (de Bacchus vers Vénus, de celle-ci vers Cupidon, comme en écho au tableau de Fiorentino).

Cet exemple, retenu sur un ensemble de cinq prompts textuels révisés et de cinq images, peut être mis en résonance avec les résultats d’une deuxième expérimentation: avec deux prompts textuels révisés issus du prompt primaire succinct Bacchus, Vénus, et Cupidon (sans la mention du peintre) et deux images générées à partir des prompts. L’absence de la mention « Rosso Fiorentino » infléchit-elle les résultats de manière significative? En d’autres termes, le titre du tableau est-il ou non suffisant/nécessaire pour mettre en branle la mémoire de la machine? (Figure 3)

Figure 3:

Image générée par DALL•E 3.

Prompt révisé 2:

A scene set in mythical antiquity showcases three divine figures. First, a robust and jovial deity of wine and enjoyment shown with a bunch of grapes and a goblet in his hands, symbolizing his dominion over the vine’s bounty. Next, the goddess of love and beauty stands elegantly, characterized by her enchanting beauty and charm. Lastly, a cherubic figure of love possessing a small bow and quiver of arrows, spreading affections via his archery. This tableau brings together the divine personifications of wine, beauty, and love in a harmonious composition.

Il n’est sans doute pas anodin que, localement, le geste de Bacchus montrant la grappe de raisins rappelle celui de Bacchus soulevant une coupe. Mutatis mutandis, un invariant gestuel opère comme un indice facilitant la reconnaissance du tableau de Fiorentino, alors même que le nom du peintre n’est pas indiqué dans le prompt primaire. Cependant, même si le triangle formé par les personnages est globalement maintenu, leur positionnement dans l’espace diffère (Vénus passe à un second plan, à la droite de Cupidon). Significativement, le vin, omniprésent, sert de trait d’union entre Bacchus et Vénus (qui tient à la main un verre de vin). La flèche a-t-elle déjà été tirée, même si l’arc de Cupidon est toujours armé (de plus, un vase en terre cuite comprend un nombre de flèches considérable)? Vénus étant représentée comme la déesse de l’amour, comme le prompt l’indique explicitement, l’ambiguïté inhérente au tableau de Fiorentino – Vénus serait-elle frigide? – paraît levée, plus nettement encore que dans l’image 1. Autre indice d’une traduction « inventive » (par rapport au tableau de Fiorentino): un étagement conduit le regard vers, en arrière-fond, un décor naturel encadré par des massifs, ou encore un jeu sur les couleurs vives et saturées.

Il n’est pas anodin que le prompt révisé commente l’image en qualifiant la composition d’harmonieuse. Y verra-t-on un choix stylistique, en accord avec un mouvement artistique qui valorise les proportions, les équilibres ou encore un jeu sur les couleurs inhabituel dans les tableaux de la Renaissance florentine s’inscrivant dans la tradition du disegno? Ce style renverrait-il, en définitive, à un style DALL•E 3, distinct de celui de Midjourney, par exemple?

L’intéressant, c’est qu’à partir du même prompt « Bacchus, Vénus, et Cupidon » initial, un prompt révisé différent peut donner lieu à une image entièrement recontextualisée et relocalisée (homme « méditerranéen », femme « caucasienne »), recadrée, qui « réinvente » les relations entre les personnages (Figure 4).

Prompt révisé 3:

A classical art scene featuring three figures from ancient Roman mythology. Firstly, Bacchus, the god of wine, who is depicted as a middle-aged man of Mediterranean descent, sporting a laurel wreath and holding a goblet of wine. Secondly, Venus, the goddess of love, an elegant woman of Caucasian descent, draped in a flowing robe, displaying a sense of grace and beauty. Lastly, Cupid, the deity of love, is represented as a cherubic boy of mixed-race descent with small wings, holding his signature bow and arrow.

L’isolement de Vénus, dont le regard est frontal et qui est entourée de personnages détournant leur attention, remplace le zigzag des regards centripètes chez Fiorentino et donne lieu à une topographie inédite. Quant au dédoublement de Cupidon, sous les traits d’un enfant et d’un jeune homme, il interpelle. On pourrait multiplier les analyses de détail, par exemple focaliser l’attention sur la prédominance de la couleur bronze ou encore sur le demi-cercle qui, dans l’image 4, semble contenir les personnages et ainsi contrebalancer les forces centrifuges manifestées par les regards et les gestes orientés vers la gauche et vers la droite, comme s’il s’agissait d’enjamber les contours. L’important, au terme de ces quelques investigations, c’est que, sur un fond de variation permanente, de reprise et de renouvellement, la précision by Rosso Fiorentino semble restreindre le nombre des settings dans l’image possibles, en privilégiant ceux à consonance toscane.

Figure 4:

Image générée par DALL•E 3.

Ce qui continue à résister, c’est la détermination du degré de créativité de ces images. Mais aussi, plus largement, la définition de la créativité machinique ici manifestée. Quels sont les critères qui nous autorisent à reconnaître aux images générées par DALL•E 3, qui ne représentent rien, mais qui présentent, c’est-à-dire qui donnent à voir des configurations éminemment précaires, une teneur créatrice, voire à leur accorder le statut d’œuvre d’art? Telle quelle, la question risque d’être mal posée: ce qui importe, ce sont moins les qualités plastiques et figuratives des images que les traductions langagières entre les deux types de prompts et entre les prompts et les images, les convergences et les divergences entre une description verbale (ici stratifiée par une entrée en résonance de prompts engagés dans un processus de reformulation) et un rendu visuel. La prouesse technique – les « merveilles techniques » liées à des dispositifs rhétoriques et soutenues par tout un contexte valorisant le mystère (Leone 2024; nous traduisons) – l’emporte sur l’évaluation de la composition plus ou moins harmonieuse et aboutie au plan de l’immanence, de tel choix chromatique ou de tel texturème (Colas-Blaise 2023c). Dégager une esthétique particulière, voire parler d’une esthésie qui se traduirait, par exemple, par une vision haptique (Colas-Blaise à paraître b) faisant résonner ensemble le corps de l’internaute et l’image, serait sans doute passer trop rapidement sur les spécificités de la génération automatisée et de la réception de ces artefacts numériques: celle-ci est attachée, d’abord, au processus de création.

L’essentiel tient dans la gestion de l’écart entre les prompts primaire et révisé et entre les deux prompts et la visualisation. La notion de créativité computationnelle n’est pertinente que si est mise en avant la « justesse » du processus de la conversion machinique texte-image et, plus spécifiquement, de la traduction multimodale^[11] (on constate des ajustements, mais aussi des ruptures, par exemple dans le cas de la transposition d’un contexte antique dans un contexte de la Renaissance ou encore dans un contexte « méditerranéen/caucasien »).

On le sait, la question nodale concerne le caractère « déterministe » de la génération d’images. L’urgence est donc de mettre en évidence la pression exercée par l’aléatoire, alors même que la programmation « déterministe » n’est pas absente. Il s’agit d’évaluer le poids des reproductions et des anticipations, des profilages, figuratifs, thématiques et plastiques, décidant de la suite. Ils sont responsables de la cohésion et de la cohérence globale de la texture visuelle générée. À la composition, aux choix plastiques (chromatiques, eidétiques et topologiques) s’ajoutent l’adaptation des attributs des personnages au contexte de la Renaissance en fonction d’une grille de prévisibilité « automatique » fondée sur des stéréotypes, mais aussi des ruptures.

Plus généralement, la spécificité des modalités des traductions machiniques texte-image doit être évaluée par rapport aux modalités de la transposition, valables également pour l’image non numérique, d’une linéarité verbale dans une tabularité. Ainsi, dans quelle mesure le fait que l’espace écrit fait se déployer « à la fois des relations tabulaires et des relations linéaires » (Klinkenberg 2018: 114) facilite-t-il ici les traductions entre langages et les conversions, après la segmentation et le (dés)assemblage du texte verbal? Il s’agit de scruter les changements également au niveau des organisations matérielles qui affectent les interactions « projectives ». D’une part, nous savons que, dans le cas du tableau peint, les interactions concernent une prothèse de la main, par exemple un pinceau, un matériau fluide ou compact (craie, encre, peinture, sang…) et un support matériel (la toile avec son grain, le carton plus ou moins rugueux, le papier lisse…) qui s’accorde avec le support formel (des « règles topologiques d’orientation, de dimension, de proportion et de segmentation »; Fontanille 2005: 186). D’autre part, dans le cas de la génération d’images par l’IA, le geste technique dûment médié rencontre une matérialité « autre » (Browaeys 2019).^[12]

L’objet de nos débats, c’est alors la part que l’aléatoire prend dans ces processus de traduction d’un langage (verbal) dans un autre (visuel) et de conversion (par adaptation et ajustement) multimodale.

1.3 L’aléatoire et le glitch

L’aléatoire peut être provoqué par l’humain: ainsi, Zammit et al. (2022) envisagent le remplacement de 5 % des gènes d’un individu associés à des segments et choisis de manière aléatoire par des nombres entiers aléatoires; il en résulte un coefficient de mutation qui peut créer des perturbations perceptibles dans l’image sans la rendre non reconnaissable. On constate la nécessité de mesurer les mutations, plus ou moins nombreuses, mais aussi plus ou moins importantes: donc aussi leur empan qualitatif (corrélation entre des degrés d’extensité et d’intensité sémiotique tensive; Fontanille et Zilberberg 1998).

Existe-t-il également un aléatoire typiquement technique? Une première réponse, peut-être trop rapide, consiste à dire qu’il y a tout au plus du pseudo-aléatoire (‘pseudo-randomness’) quand, dans le cas d’algorithmes, mais aussi dans le domaine de la cryptographie, les objets construits se comportent comme s’il y avait de l’aléatoire, alors même que la dose d’aléatoire est faible sinon nulle. La distinction entre différents types d’aléatoire permet une meilleure compréhension de ce phénomène essentiel. Ainsi, si le pseudo-aléatoire repose sur la collecte d’une « graine » (‘seed’) en fonction d’un facteur environnemental, son processus déterministe peut le faire tendre vers un degré d’aléatoire zéro. Il n’en va pas de même de l’aléatoire conditionnel (‘conditional randomness’): si la prédictibilité est réelle, si l’incertitude peut être réduite jusqu’à un certain point, grâce à un savoir contextuel par exemple, elle ne peut l’être totalement. Ensuite, l’aléatoire « martingale », issu de la théorie des jeux, déboucherait-il sur un aléatoire total, possible uniquement si la séquence est a priori inconnaissable? Les changements observés dans notre cas renvoient plutôt au pseudo-aléatoire ou à l’aléatoire conditionnel. Un des enjeux consiste à en étudier les manifestations: ainsi, les glitches qui, nous l’avons suggéré dans l’introduction, peuvent constituer des accidents ou des « événements » (Marenko 2015a).

Les accidents peuvent être provoqués par des « erreurs » du système, des « dysfonctionnements » (Meunier et al. 2019) et ils peuvent être considérés comme des « événements » de sens par l’humain, en vertu d’une esthétique valorisant l’imprévu. Quand la machine produisant des glitches « fait ce qu’elle a à faire », elle peut aller jusqu’au bout du processus, efficacement, à moins que ce dernier ne soit interrompu par l’humain. Les glitches attestent alors les capacités de génération des algorithmes, c’est-à-dire une rationalité propre, différente de celle de l’humain (Fazi 2019a). Encore faut-il qu’il y ait, au sein même du code, une part d’indétermination. Nous explorerons ces différentes voies.

Que dire des glitches observables dans des images générées sous l’impulsion de Galanos et al. (2021)? Afin que la requête textuelle (‘prompt’) donne lieu à la production d’une image synthétisée, deux modèles sont sollicités: d’une part, CLIP de OpenAI (Contrastive Language-Image Pre-training, un modèle d’apprentissage entraîné sur 400 millions de couples images-annotations textuelles) et, d’autre part, VQGAN. VQGAN est un modèle hybride avec des éléments GAN – le Generative Adversarial Network génère des données associées – ainsi qu’avec un transformer. Le modèle non génératif CLIP, multimodal et associant des informations textuelles et visuelles en déterminant, globalement, le degré de proximité entre un texte et une image, apporte de l’information sémantique. VQGAN est entraîné sur un ensemble de données WikiArt. Il apprend un vocabulaire visuel appelé codebook.

Concrètement, Galanos, Liapis et Yannakakis sélectionnent quatre états affectifs – la dépression, le calme, la colère et le bonheur – en laissant l’AffectGAN générer quatre images à travers huit types de peinture (par exemple portrait, peinture de paysage, paysage urbain, nature morte, etc.). D’où l’obtention de 32 images, à partir de la requête sémantique « A (emotion) (genre) ».^[13] Parmi les images produites, celle d’« un paysage urbain heureux » (Figure 5).

L’apparition d’une émoticône, comme dans les images 5, 6 et 7, ou encore, ailleurs, l’inclusion d’éléments collés sur un environnement avec lequel ils n’ont pas de lien, peuvent être interprétées comme une erreur, un accident. L’émoticône peut concentrer la teneur sémantique de l’image, comme par un raccourci à la fois largement stéréotypé et singularisant.

Figure 5:

« Un paysage urbain heureux » (dans Galanos et al. 2021).

Figure 6:

« Une peinture de genre heureuse » (dans Galanos et al. 2021).

Figure 7:

« Une nature morte déprimée » (dans Galanos et al. 2021).

« Biais » (notamment perceptif) de la machine ou erreur, accident ou « événement » aux yeux de l’humain (Marenko 2015a). Au début des années 2000, le lien se fait avec le glitch art qui met les glitches, c’est-à-dire les « bavures », les « failles », au service d’une esthétique valorisant la génération non standard.^[14] D’une « contre-esthétique » fondée sur une générativité « destructrice » (Marenko 2015a: 112), qui perturbe les perceptions et modes de compréhension ou, plutôt, qui porte à un degré suprême la capacité disruptive du bruit inhérent à tout acte de communication. Plus largement, Betti Marenko définit le glitch comme un « bégaiement procédural » révélant des mondes « entièrement non humains » et un agencement machinique ancré dans une pensée « pilotée par les algorithmes » (2015a: 112; nous traduisons). Ce sont les relations entre la machine et l’humain qui sont reconfigurées, au point de mettre en évidence l’altérité irréductible de celle-là. Le glitch donnerait à voir le caractère non humain de la machine, qui dicte les règles, plutôt que de s’y soumettre.

Deux exemples permettent de constater davantage les résultats de cette « ouverture inattendue » (2015a: 113), de ces potentialités ou virtualités qui animent et traversent la matérialité digitale en déjouant toute fixité, toute stabilisation, tout achèvement (Figure 8).

Figure 8:

Esstro9, Glitch Artists Collective, 4 juin 2020; https://www.facebook.com/photo/?fbid=3007071262742266&set=a.555304783293795.

Si les exécutions programmées de la machine qualifiée par Marenko (2015a: 113) de « triviale » ou de « banale » suivent un ordre généralement linéaire entre les inputs et les outputs, dans le cas de ce qui se soustrait à la prévision et à la connaissance (du moins partiellement), on peut supposer une délinéarisation ou plurilinéarisation. Mieux, dirons-nous, non pas des trajets le long de lignes existantes, mais le surgissement de celles-ci à travers la différenciation et les trajectoires. Marenko (2015a) s’interroge sur la possibilité d’« erreurs » générées non pas par des instructions fausses, mais par des instructions valides réalisées dans des « situations » qui ne sont pas « prévisibles », en raison de modulations et de déplacements constants. La contingence s’explique alors par l’ouverture d’espaces de possibilités. De virtualités, ajoutons-nous, les espaces de possibilités étant par définition délimités. Dans nos exemples, l’on constate le pouvoir de la différenciation incessante. Elle est attestée par la fragmentation des images, la déconstruction des figures et le réajustement des parties de manière non conventionnelle. Des agencements d’emblée improbables sont tendus vers l’à-venir – ça ne colle pas. Ils minent toute organisation structurale assignant des positions définitives, qui seraient justifiées par l’entrée des composantes dans une construction sémiosique unifiée. Les interrelations sont à chaque fois questionnées à nouveau: elles sont sur le point de se défaire et de se refaire, tels éléments juxtaposés – par exemple l’esquisse de la nef d’une église, un bout de plage? – agissant comme éléments fondamentalement perturbateurs incapables de signifier au sein d’un tout de sens cohésif et cohérent. Le sens est construit par les écarts, les béances et leur pouvoir de subversion (Figure 9).

Figure 9:

Tom Okina, Glitch Artists Collective, 18 février 2021; https://www.facebook.com/photo/?fbid=3007071262742266&set=a.555304783293795.

La réflexion sur les glitches rend ainsi possible une redéfinition de la créativité computationnelle comme « fondée sur la différenciation » (‘differentiation-driven’; Marenko 2015a: 114). Plus largement encore, elle nous conduit à nous interroger sur la nature même du code: Marenko (2015a) cite Parisi et Portanova (2011): le code « n’est pas une forme d’instruction préétablie, mais est plutôt produit en continu à partir de processus informatiques » (nous traduisons). La pensée algorithmique, qui va de pair avec l’autonomie du code, comprendrait-elle un coefficient d’incertitude, d’indétermination? Confrontons la position de Marenko (2015a: 115) avec celle défendue par Fazi (2021): relisant Deleuze et se tournant vers Whitehead, celle-ci loge l’indétermination au sein du code, du formel, du discret, du quantitatif.

2.1 De l’évolution à l’émergence

La tentation est grande de jeter un coup d’œil sur le evolutionary computing, concerné non point par la génération de glitches, mais par la résolution de problèmes: il n’est pas anodin que dans leur ouvrage Introduction to evolutionary computing (2015 [2003]), Agoston E. Eiben et Jim E. Smith considèrent des domaines de variables qui – cas extrêmes – sont soit toutes discrètes, soit toutes continues. Ils ajoutent que dans le cas de problèmes d’optimisation combinatoire, des éléments discrets cohabitent avec des éléments continus. Selon eux, la réflexion théorique sur les espaces (‘search spaces’) continus et les stratégies évolutives est plus avancée que celle consacrée aux espaces discrets.

Plus spécifiquement, la notion d’évolution en vient à définir le glitch lui-même comme une « représentation génotypique de l’Art évolutif » (nous traduisons; Den Heijer 2013). Le glitch est alors un art du processus (‘process art’). L’idée plus générale est celle d’une genèse couplée avec une « technogenèse », c’est-à-dire, si nous adaptons la pensée de Simondon à notre propos, d’un processus morphogénétique d’émergence des objets techniques. La question des relations entre la machine et l’humain fera l’objet de la troisième partie de cet article; cependant, il n’est peut-être pas inutile d’introduire d’ores et déjà la notion de coévolution. Sa pertinence sera évaluée ultérieurement.

Nous ne poursuivrons pas dans la voie de l’evolutionary computing tel que conçu par Eiben et Smith (2015 [2003]), les stratégies d’optimisation ne constituant pas, ici, notre priorité. En revanche, interrogeons-nous sur les affinités des algorithmes évolutifs, attelés à la résolution de problèmes, y compris à travers une itération aléatoire, avec des évolutions biologiques. Confrontons la finitude d’un ensemble de possibles avec la force créatrice du « vivant ».

Comme le montre Giuseppe Longo (2023) en se référant notamment à Turing, la notion d’émergence proposée en physique permet de rendre compte de l’identification de dynamiques « élémentaires », d’une part, et du niveau global de nouvelles formes de structures, d’autre part. Les unes et les autres sont « pré-supposées » et « pré-données » d’un point de vue mathématique (nous traduisons). Les trajectoires possibles se déploient dans un espace « pré-décrit ». Si la trajectoire est imprévisible, cette imprévisibilité renvoie à un espace de possibilités qui peut être très large, voire infini, tout en se prêtant, en mathématique, à une description a priori. Il faut pour cela un nombre fini de propriétés formelles, d’axiomes ou de définitions (Longo 2023). Dans ce cas, gagne-t-on à penser les changements de formes inhérents à la créativité computationnelle sur le modèle de trajectoires évolutives au sein de réseaux biologiques? Détectera-t-on des déformations (reproduction avec variation, production d’une diversité) affectant tant les réseaux que les organismes pris dans des interactions qualifiées par Longo d’écosystème? L’intéressant pour nous, c’est l’invitation à rendre compte des mutations en termes de rythmes et de fréquences. La définition de la temporalité d’un écosystème proposée par Longo est éloquente:

Le temps d’un écosystème est un tissu de rythmes et de fréquences en interaction: en déformant ces interactions ou leurs tissus, les rythmes, les fréquences et leur accord changent; en retour, une déformation des rythmes ou des fréquences et de leur accord modifie le tissu, le temps de l’écosystème. (Longo 2021; nous traduisons)

Osons donc considérer l’œuvre de 2023 de Miguel Chevalier intitulée Méta-natures AI comme un « écosystème numérique » au sein duquel se déploient des forces sous-tendant des apparitions et des disparitions de formes.^[15] Pour cette projection monumentale sur DDP, Dongdaemum Design Plaza, dans le cadre de Seoul Light 2023 « Digital + Nature: Nouvelles expériences naturelles réalisées avec la technologie numérique », l’artiste recourt à une base de données réunissant différentes espèces d’arbres, de feuilles et de fleurs, en 2D et 3D, c’est-à-dire des images de fleurs et de feuilles réalistes ou plus abstraites produites par l’IA. Les images sont générées à partir de textes (Figure 10).

Figure 10:

Miguel Chevalier, Méta-natures AI, Seoul Light, 2023. Musique et logiciel: Claude Micheli Group show. Courtesy de l'artiste.

Les métamorphoses d’un végétal imaginaire selon les quatre saisons drainent l’attention sur les processus « biologiques », au croisement du langage mathématique et de la morphogenèse. D’un point de vue sémiotique, on peut confier à la notion d’aspectualisation temporelle, mais aussi spatiale et actorielle, couplée avec celle de rythmique, le soin de rendre compte des émergences, des éclosions, des épanouissements et des déclins sur le fond d’une mouvance généralisée. Si la notion d’écosystème numérique a un sens, c’est à travers des processus de différenciation et d’adaptation-ajustement, en fonction d’isochronies et d’hétérochronies (Longo 2021). La reproduction se conjugue avec la variation, l’instabilité et la mobilité. Au-delà du processus déterministe linéaire, le végétal « artificiel » peut explorer de nouvelles relations avec son milieu, qui témoignent de changements au niveau des affordances naturelles. Il en résulte une dialectique toujours relancée entre ruptures et (ré)intégrations dans un ensemble mouvant.

Rùptures: on sera attentif à un certain type de flux « incidentiel » – ce qui invite à se rapprocher du glitch art. Ce flux s’affranchit de la finalité qui serait la « forme fondamentale » du flux « technique » (Chatonsky 2007): les technologies « ne fonctionnent que par métastabilité entre fonction et incident, palpitation incessante de l’un à l’autre » (Chatonsky 2007). Si la dislocation du flux technique peut prendre la forme de la « fragmentation » (Chatonsky 2007),^[16] malgré, dans le cas de Méta-nature AI, l’impression d’un enveloppement unifiant, le glitch art – art « incidentiel » au carré – ne fait au fond qu’exacerber la différenciation et la création d’hétérogénéités (désordre):^[17] de la « diversité par la diversité », pour traduire et citer librement Sarti et al. (2022). Ou encore, pour le dire autrement: de l’irrégularité se détachant sur un fond continu, contre un flux vectorisé. C’est multiplier les écarts, les béances et créer (la possibilité) de l’indétermination. Afin que s’esquissent, in fine, les contours d’un ordre (Leveau-Vallier 2023) nouveau, infiniment précaire.

Comment dire mieux l’urgence de saisir les tensions entre la continuité et la discrétisation-segmentation, même si les problèmes théoriques posés sont ardus? Réexaminant la germination « biologique » sous les traits du virtuel, nous remettrons sur le métier l’opposition « continu vs. discontinu » pour, dans une perspective philosophico-sémiotique, cerner la part que les théories de Deleuze et de Whitehead prennent dans la réflexion sur l’indétermination.

2.2 Créativités computationnelles et virtualités

Sans doute l’évolution computationnelle n’est-elle inféodée entièrement ni à des processus algorithmiques formels, c’est-à-dire à la modélisation abstraite, ni aux processus naturels, ni aux interventions humaines. C’est dans les formes que revêt leur contribution conjointe aux processus sémiosiques, à des dosages variables, que réside sans doute une des clefs de la production d’une diversité. Il s’agit en tout cas de dépasser la logique de l’optimisation mettant à contribution des espaces pré-décrits et le classement (par exemple, par similarités et dissimilarités entre le chien et le chat), de déborder le nombre fini des possibles, de remettre en question la grille de prévisibilité supposée infaillible, issue des combinaisons de nombres, voire le probable. Cela en faveur du virtuel au sens deleuzien du terme, qui est créateur de nouveauté, à l’inverse du possible qui, selon Deleuze, n’ajoute rien.

Après Marenko dans Deleuze and Design (2015b), nous nous interrogeons ailleurs (Colas-Blaise à paraître a) sur la pertinence, dans le débat sur la créativité computationnelle, de la distinction entre l’objet et l’objectile (Deleuze 1988). Aller dans cette voie permet d’être sensible aux modulations temporelles aves des pulsations et des intensités, à la production grâce à des forces, des densités et des mouvements. En résultent une « mise en variation continue de la matière autant qu’un développement continu de la forme » (Deleuze 1988: 26).

On peut ainsi supposer une liquidité générale autorisant des circulations dans un réseau, voire un flou et un vague qui, en-deçà ou au-delà de la précision du code, alimenteraient l’indétermination dont il a été question. Mais, dans ce cas, l’exploitation de virtualités créatrices et la liquidité que celles-ci présupposent, ou encore les explorations mobiles, seraient-elles freinées par la programmation, qui capture et encapsule des identités localisées? La question adressée supra devient de plus en plus pressante: comment concevoir la cohabitation de variables de natures différentes, continues et discrètes? La cohabitation du flou ou du vague, quand la prévisibilité totale est battue en brèche, et de la précision mathématique, c’est-à-dire celle du virtuel et du possible? Comment articuler le discontinu et le continu, comment penser ensemble les combinaisons de nombres et le déploiement des forces redynamisant en profondeur les déplacements entre les couches et espaces mis à contribution par la génération d’artefacts numériques? Nous argumentons en faveur d’un élan fondateur – de l’élan associé, précisément, au virtuel et aux virtualités: selon Vitali-Rosati (2009), le virtuel correspond (i) au principe de mouvement nécessaire à la production de quelque chose de nouveau, (ii) à la force au-delà même du « passage à l’acte » et (iii) à la multiplication des fonctions dépendant d’une multiplicité interne.

Nous défendons alors l’idée d’une générativité en IA alliée à une genèse « organique »; ensemble, elles mettent à contribution différents niveaux et espaces. Rappelons que le modèle proposé par Valle et Mazzei (2017) prévoit, à la base, la mémoire de la machine abstraite, de la machine de Turing; elle peut être manipulée. Si le premier niveau est celui du langage de la machine avec son codage binaire non linguistique, le deuxième accueille un langage d’assemblage qui introduit déjà la composante linguistique; le troisième niveau est celui des langages de programmation. Nous formons alors l’hypothèse d’un soubassement tensionnel continu et sensible – ce qui viendra conforter la thèse de l’esthésie digitale défendue par Munster (2006).^[18] Ce socle se caractérise par du flou et du vague, du virtuel et de l’indétermination, avant que, progressivement, les embeddings ne prennent le relais, avant que des configurations encore précaires ne s’ébauchent et que des formes visuelles ne se densifient, se précisent et se stabilisent. Cela à mesure que les strates superposées sont traversées, que l’on passe de l’espace latent à l’espace de la programmation et de l’implémentation, jusqu’au moment de la visualisation sur un écran. Les forces souterraines exercent des pressions à tous les niveaux et servent ainsi de « liant » entre eux. L’énonciation de l’artiste numérique peut alors être qualifiée de transénonciation, à l’image de la transénonciation non numérique (Colas-Blaise 2023b), mais selon des modalités très spécifiques.

Parmi ces modalités, le fait que l’indétermination se loge au sein même du code, comme le note Fazi. Dans un article intitulé “Digital aesthetics: the discret et the continuous” (2019a), Fazi parle d’une impasse causée par l’incompatibilité apparente entre la continuité de la sensation et le caractère discret de la technologie et invite à remédier au problème à travers une reconceptualisation des formalismes computationnels: en dépit de leurs vertus de systématisation et de quantification d’opérations mécaniques et du recours au discret, ou grâce à eux, ces derniers comprennent une indétermination inhérente. L’idée de cette indétermination créatrice, argumente Fazi, gagne à être mise en résonance avec la notion d’incompatibilité étudiée par Turing. Il y va de la possibilité même d’une esthétique computationnnelle du quantitatif, du discret et du formel, attentive aux digits (codage en 0 et 1) et aux pixels.

Pour Fazi, ce qui est en jeu, c’est la conceptualisation, d’un point de vue ontologique, de la relation entre l’esthétique, liée à la création et à l’exploitation de potentialités, et l’abstraction formelle, entre la contingence et le caractère axiomatique du computationnel (2019a): comment tirer parti de l’écart entre la continuité de la perception et de la sensation, d’une part, et du caractère discret du computationnel, d’autre part? En admettant que la générativité est couplée avec une genèse sensible, comme nous l’avons proposé, que la discrétion des formalismes informatiques comprend une part d’indétermination intrinsèque. Il n’est pas anodin que Fazi (2011) confie cette double tâche au soft computing, opposé à un computing rigide. On ne constate aucun abandon des logiques d’optimisation, de compression ni de synthèse: l’essentiel réside au contraire dans cette tension entre les modèles formels, les règles axiomatiques, les déterminations et l’expérience de la contingence et de l’indétermination. Il incombe au soft computing, qui gère l’« incertitude, l’approximation, l’aléatoire et la vérité partielle », et qui s’accommode d’une logique floue et du computing évolutif (2011; nous traduisons), de rendre compte de la dimension « préhensive », au sens où l’entend Whitehead, des procédures quantitatives. Désormais, grâce à une relationalité généralisée, l’expérience n’est plus cantonnée à l’humain; elle s’étend à l’ensemble des « réalités ». Une fois encore, le lien avec la sélection naturelle et l’évolution biologique sert à expliquer l’émergence de nouvelles combinaisons, configurations et formes visuelles à partir de l’aléatoire.

On cerne mieux, désormais, les enjeux philosophico-sémiotiques d’une telle réflexion sur la créativité computationnelle: comment rendre compte des spécificités de la machine, de son caractère déterministe, déductif, axiomatique et procédural, de sa capacité à discrétiser et à quantifier, et en même temps, penser un ferment interne faisant jaillir des éléments nouveaux? Nous défendons l’idée que l’indétermination que Fazi loge au sein du code^[19] est la trace, d’une certaine manière, d’un flux sous-tendant et innervant toutes les opérations algorithmiques.

Dans ce cas, ces investigations peuvent alimenter une discussion non point sur les émotions de la machine – ne serait-ce pas payer un lourd tribut à une vision anthropocentrée de la machine? –mais sur la manière dont celle-ci est affectée. D’un point de vue théorique, un des enjeux concerne la possibilité de combiner des opérations inductives et déductives avec l’abduction.

2.3 Le Affective Computing: affects et émotions

Le Affective Computing est un domaine multidisciplinaire qui combine l’informatique, la psychologie et les sciences cognitives afin de permettre aux machines ou aux systèmes de reconnaître, d’interpréter, voire de simuler les sentiments humains, en apprentissage supervisé ou non supervisé, c’est-à-dire selon que la base de données est étiquetée – ainsi, l’étiquetage de l’émotion exprimée dans des images de visages – en amont ou à la fin du processus.

Nous ne poursuivrons pas dans cette voie et préférerons cerner la notion d’affect davantage.^[20] Dans Embodying technesis (2000: 4), Mark Hansen donne une assise théorique aux investigations: pour prendre en considération le tournant affectif dans les nouveaux médias, il faut remonter vers ce qui se trouve en deçà du seuil de la représentation. Par un autre biais théorique, nous retrouvons l’idée de la présentation et de la proposition.

Ensuite, si, selon Deleuze (1981: 68), l’affect opère une transition entre états expérientiels, le système peut-il être affecté? Maude Bonenfant, Laura Iseut Lafrance St-Martin et Lucile Crémier prennent appui, dans “Affected data: Understanding knowledge production in algorithmic events” (2019), sur la théorie de l’affect de Spinoza et sur celle de Massumi pour avancer que les relations indéfinies qui se nouent entre des corps constituent les effets produits par les affects et permettent de faire l’expérience de la réalité. Rappeler que pour Deleuze et Guattari (1980: 498), les affects sont des « projectiles » qui laissent des traces, c’est-à-dire considérer que les effets observables sont tendus entre le déjà-là et le à-venir, c’est se donner les moyens de penser une interaction entre le « corps » de l’humain et celui de la machine, qui est de l’ordre de l’in(ter)corporation. Affectée, la machine est également affectante. Ainsi, en vertu des « technologies affectives » (Alloing et Pierre 2020), les affects constituent « des vecteurs tendus entre humains ou non-humains et traçant pour eux un devenir potentiel par des oscillations d’intensité, des orientations émotionnelles, cognitives et comportementales et l’attribution de valeurs ».

Le problème qui se pose à nous se précise: dans quelle mesure l’affect échappant à une syntaxe avec ses règles, ses articulations et ses codifications, est-il digitalisable? Ou encore: si l’affect est considéré comme une forme de connaissance intuitive, la digitalisation autorise-t-elle une production des connaissances non plus seulement déductive et inductive, mais encore abductive? Quand des relations intercorporelles se nouent, enclenchant une modification de la puissance d’agir de l’humain et de la machine, les données abductives peuvent être à l’origine d’« événements algorithmiques »:^[21] au-delà ou en-deçà de toutes les représentations construites déductivement ou inductivement, l’abduction continue à jouer un rôle dans la structuration d’un monde signifiant.

Résumons. Au fil de ces explorations, la notion de créativité computationnelle a pu être étoffée. Si, à la base, elle renvoie à un continuum entre le faire (‘making’) et le poeien, le processus de création se traduit volontiers par une diversification qui surprend. La production de quelque chose de nouveau peut être le fait d’une erreur de la machine, quand la machine est confrontée à des incompatibilités selon Turing, à de l’inconnaissable qu’elle ne saurait gérer. La machine rend possibles des perturbations et des recombinaisons non programmées quand, déjouant une pleine prédictibilité, certains algorithmes se comportent de manière inductive et exploratoire, en puisant dans des virtualités et potentialités, plutôt que de manière logique et causale (Marenko 2015a). Il n’est pas anodin, nous l’avons vu, que les glitch-événements puissent être le résultat d’instructions valides, l’absence de prévision étant voulue par le caractère changeant et contingent des situations. Si les changements morphiques réclament une continuité qui est combattue par les discrétisations au niveau du code, nous avons défendu l’idée d’une traversée de tous les niveaux, de l’espace latent sousdimensionné à l’espace de données multidimensionnel, de l’espace de la programmation et de l’implémentation à l’espace de la visualisation. La génération d’artefacts accepte une composante « génétique » sensible, que l’on peut concevoir, avec beaucoup de précautions, à la lumière du « biologique ». Cette composante est responsable du débordement des ensembles finis de possibles, au profit des virtualités et des potentialités, d’une germination, et elle permet d’étayer l’hypothèse non seulement d’une esthétique « incidentielle » gagnée sur le flux « technique », avec sa part d’indétermination, mais encore d’une esthésie digitale.

En quoi cela nous aide-t-il à concevoir mieux les relations entre l’humain et la machine? Suffit-il de mettre en avant l’implication de parties hétérogènes dans des agencements différents et de plaider pour une coévolution, un « cofonctionnement » (Deleuze et Parnet 1999: 84)? L’ensemble des intersections et des interactions tissent entre autres de nouveaux rapports entre l’humain et le langage de la machine, le programme informatique, l’algorithme, l’application, le système de visualisation… Surtout dans le cas d’une génération non supervisée, l’humain à la fois commande et se laisse surprendre. En quoi a-t-il besoin de l’agentivité ou de la performativité d’une machine? Celle-ci se hisse-t-elle au rang de sujet d’énonciation? Ce point sera creusé dans la troisième partie.

3.1 L’intelligence artificielle: (en quoi) la machine est-elle intelligente?

Selon certains, la machine est capable de se hisser à un niveau méta-. Suivons Ventura (2019): le modèle sémantique DARCI, qui produit des images, comprend des réseaux neuronaux qui ont été entraînés pour « asserter » la qualité esthétique et le style artistique ainsi que le contenu sémantique des images. Selon Ventura (2019), il peut choisir entre les concepts à susciter, évaluer non seulement d’autres images, mais encore ses propres artefacts, au profit de la production d’images de plus en plus pertinentes. D’une part, il est dit « imaginer » des artefacts pour des concepts observés précédemment ou seulement similaires, pour des combinaisons de deux ou plusieurs concepts, qui peuvent être changés, en fonction de plusieurs domaines… D’autre part, il est supposé expliquer et justifier le processus, fût-ce de manière rudimentaire, par exemple dans ces exemples qui montrent comment DARCI, partant de concepts tels que « ardent », « Alaska » et « bossu », dans le premier cas, « bizarre », « guerre », « art », « meurtre » et « faim » dans le deuxième, produit des images originales (Figure 11).

Figure 11:

Dan Ventura, Autonomous Intentionality in Computational Creative Systems, 2019.

Dans ce premier cas, les images sont générées à partir d’images stockées dans la base de données et de concepts proposés verbalement. Les images suivantes ont les concepts comme source unique (Figure 12).

Figure 12:

Dan Ventura, Autonomous Intentionality in Computational Creative Systems, 2019.

D’autres chercheurs en IA sont plus circonspects. Il paraît opportun de distinguer l’abstraction, dans le cas d’un espace vectoriel dont chaque dimension correspond à une discrimination (de collections d’objets), et des « machines inductives » (Cardon et al. 2018). Ces dernières mettent en œuvre une connaissance par expérience (Leveau-Vallier 2023: 346). Et Leveau-Vallier d’ajouter:

Pour ce qui est de la perception, de l’abstraction et de l’imagination, les réseaux de neurones proposent des modèles qui, s’ils divergent de celui du cerveau, n’en fonctionnent pas moins remarquablement bien. Cela permettrait-il de les qualifier de machines intelligentes, voire intuitives? Elles peuvent en donner l’apparence … (Leveau-Vallier 2023: 347)

La machine est-elle intelligente? Nous tendons à répondre par l’affirmative, mais en qualifiant l’intelligence d’artificielle. À l’instar de l’« imagination artificielle », qui serait attestée par la fabrication d’images à travers le rééchantillonnage de points correspondant à une région préalablement définie. Les images « s’inspirent de la réalité sans correspondre à aucun objet réel » (2023: 364). Elles sont ainsi « fictionnelles », doublement: en ce qu’elles véhiculent une charge d’imaginaire et en ce qu’elles sont fabriquées (Colas-Blaise 2024). En même temps, l’intuition humaine associée au potentiel vécu, à une pensée sensible, à la mise en résonance des formes avec d’autres formes – ce qui leur permet de « croître et de se perpétuer » –, ne saurait être assimilée à l’« intuition » machinique. Dans le cas des modèles génératifs, celle-ci constitue un « circuit de stockage et d’activation d’automatismes acquis par l’expérience, qui permet d’obtenir des réponses sans savoir comment elles se sont formées » (Leveau-Vallier 2023: 355–356). Pour le dire autrement: certes, l’on peut entendre par « créativité computationnelle » le surgissement de configurations et de formes, comme nous l’avons suggéré; le code comprend de l’indétermination; il est possible de concevoir un amont du formalisme correspondant à un type d’intuition « numérique ». La machine, qui met en œuvre des règles, qui effectue une tâche programmée avec plus ou moins de succès, sent-elle et perçoit-elle pour autant? Somaini (2020) parle bien de « machine vision ». Mais pense-t-elle et comprend-elle, comme le fait le sujet d’énonciation? La prudence est de mise et la définition de la créativité computationnelle se joue sur de nouveaux frais. Pour Leveau-Vallier, le changement de la règle du jeu et, a fortiori, la paidia ou « fantaisie sans règle » sont interdits à la machine (2023: 358). Ainsi, quand la situation de crise est voulue par l’artiste, le glitch art suit des règles qui ont été aménagées ou modifiées par lui. Le hasard ne suffit pas pour rendre tel geste pleinement créatif (au titre du poeien).

Reprenons donc l’hypothèse que nous avons émise: celle d’un soubassement tensionnel, flou et vague, et de forces se propageant aux niveaux du langage de la machine, du programme informatique, de l’algorithme, de l’application, du système de visualisation. Elles y exercent des pressions. Dans ce cas, si l’humain injecte une dose d’aléatoire (par exemple en diminuant les seuils correspondant aux clip values, comme nous l’avons suggéré supra), celle-ci accentue l’aléatoire inhérent. Sur le fond de ce « double » aléatoire émergent des organisations signifiantes plus ou moins spontanées: des ordres ^[22] prennent forme.

Pour le dire de manière un peu abrupte: l’humain et la machine collaborent-ils, comme le soutiennent beaucoup de spécialistes en IA? Et aussi, en termes énonciatifs: coénoncent-ils (D’Armenio et al. 2024a)? Adoptent-ils la posture du sujet énonciateur, fût-il, dans ce cas, « artificiel »? Des hiérarchies se dessinent-elles quand, selon le mythe de la machine toute-puissante, fort répandu, celle-ci est supposer délester l’humain d’une partie de son initiative et le réduire au rôle du sous-énonciateur, ou quand, inversement, l’humain met la machine sous sa tutelle, en accédant lui-même à celui du sur-énonciateur? Ni l’un ni l’autre, dirons-nous, en prenant modèle sur DALL•E ou sur Midjourney: l’urgence est de rendre compte de l’agentivité et de la performativité de la machine sans occulter le fait qu’à l’heure actuelle, le geste de création humain consiste à impulser les processus machiniques, à leur donner une certaine orientation, notamment en rédigeant des prompts textuels, et à valider les interprétations machiniques a posteriori. Ceci à la fin d’une séquence énonciative machinique.

3.2 Une séquence énonciative machinique

Plutôt que d’être mon « alter ego informatique », la machine affiche sa différence. Le terme « technique » désigne selon Latour (2010) une « exploration toute nouvelle de l’être-en-tant-qu’autre, une nouvelle déclinaison de l’altérité, une abaliété propre ».

Nous proposons de vérifier l’hypothèse d’une séquence énonciative machinique, où le sujet d’énonciation humain occupe les positions initiale (programmation, mise à disposition d’une base de données, commandes, prompts, etc.) et finale (sélection des artefacts, évaluation et interprétation). L’étape moyenne voit s’affronter des instances ou des agents machiniques (Figure 13).

Figure 13:

Séquence énonciative machinique

Plus que jamais, c’est confirmer l’intérêt et la pertinence pour le numérique d’une conception de l’énonciation qui hisse celle-ci au rang de « méta-langage »:^[23]

en prédiquant l’énoncé, elle affiche sa propre activité, elle la code et en fait un événement sensible et observable. L’énonciation est le lieu où le discours déclare ce qui advient, grandeurs, actes, événements, dans son propre champ. (Fontanille 2003 [1999]: 283)

Le sujet d’énonciation a ainsi pour mission de fixer les conditions pour qu’un régime sémiotique rattaché à un des quatre niveaux de pertinence sémiotique – signes, œuvres (textes), processus (pratiques stratégiques, formes de vie), existences (modes d’existence) – puisse se déployer (Fontanille et Couégnas 2018: 236–237). Ou encore, l’énonciation est chargée de déterminer les conditions de possibilité d’un processus sémiotique et de gérer les modalités de son advenue (Colas-Blaise 2023b). Si telle est notre perspective, quelle est la nature des agents machiniques installés à la suite d’une opération de débrayage? Quels rôles endossent-ils? Plusieurs points méritent considération.

Considérer l’instance machinique comme médiatrice ou comme un filtre (en écho aux nombreux filtres impliqués dans le traitement des données dans l’espace latent), c’est sans doute rendre insuffisamment compte de son autonomie partielle. Opter pour la machine-prothèse, qui donne lieu à une expérience inédite de corps-à-corps et débouche sur une nouvelle écologie des gestes, c’est-à-dire affirmer que l’ordinateur constitue une « peau du sensible » ou une surface d’inscription, « de mémoire et d’attente, de rétentions et de protensions » (Fontanille 2001), a l’avantage de mettre en avant l’aspect sensible. Le problème du « sujet artificiel » doté d’une autonomie et apte à créer n’est pas résolu pour autant. Ajoutons en revanche que, selon Simondon, on peut entendre par « quasi-prothèse » le statut de l’organe humain qui devient lui-même un support de certaines technologies (Carbone 2020: 59; ainsi, dans le cas de certains dispositifs de réalité augmentée, la projection des commandes sur la rétine de l’œil ou sur la peau; Ferretti 2023). Dira-t-on, finalement, que la machine – peut-être aussi l’humain – constituent, au moment de la visualisation sur un écran, une surface d’impression où viennent se composer et se découvrir, se révéler, des textes verbaux ou visuels?

Notre proposition est différente. Projetons sur les relations humain-machine une déhiscence: non point entre deux instances d’énonciation, originelle et citée, d’un côté, et rapporteuse ou citante, de l’autre, comme dans le cas de la polyphonie, mais entre un sujet d’énonciation et une instance débrayée. Celle-ci met en œuvre différents langages – du langage de la machine au langage de la programmation, aux algorithmes, aux applications, au langage de la visualisation sur un écran – pour créer un artefact plus ou moins inédit.

Ainsi, l’instance débrayée est chargée du processus de la textualisation numérique. Ce dernier est présupposé par le texte verbal ou visuel produit, avec sa structuration interne, sa cohésion et sa cohérence. En d’autres termes, l’instance débrayée est responsable d’une forme de manifestation linguistique ou visuelle, de matérialisation et d’inscription sur un support. En même temps, le processus de la textualisation numérique opère également à d’autres niveaux de pertinence: à travers des combinaisons de nombres, des instructions intégrant déjà une composante linguistique, jusqu’aux configurations de propriétés et agencements donnant naissance à des formes visualisées sur un écran.

Lors de la phase médiane de la séquence énonciative « machinique », c’est-à-dire au moment de la textualisation numérique, l’agentivité se distribue sur une pluralité d’instances machiniques obtenues à la suite de l’opération du débrayage (approche pluri-instancielle distributive). On peut les considérer comme des centres machiniques internes au processus de la création computationnelle. Leur équipement modal est incomplet: le devoir-faire (selon des règles de programmation) et le savoir faire (exécuter des commandes), voire le pouvoir faire sont découplés d’un véritable vouloir faire (comme le notent beaucoup de chercheurs en intelligence artificielle, la volonté peut être distinguée du faire intentionnel si celui-ci est simplement défini par rapport à un but).

Qu’en est-il, dès lors, de la prise en charge d’un contenu, qui est définitoire de l’énonciation méta-linguistique selon Greimas et Fontanille? Les agents computationnels sont incapables de produire des énoncés représentant (construisant) la réalité: tout au plus s’agit-il d’instances citationnelles, qui transforment machiniquement des énoncés existants, qui fournissent des possibles et mettent à profit des potentialités dans des propositions de sens. Tout au plus ces agents machiniques prennent-ils les artefacts produits en compte, la prise en charge étant réservée à un sujet d’énonciation humain évaluant et commentant la production d’un énoncé a posteriori. L’utilité de la définition de l’énonciation humaine comme méta-langage y trouve une confirmation supplémentaire. Nous avons suggéré que le sujet d’énonciation humain énonce les conditions de la textualisation numérique et la supervise, en particulier la manière dont l’instance machinique convoque les données proposées à l’entraînement pour les renouveler, sur le modèle de la praxis énonciative.

Franchissons un ultime pas. Dirons-nous que la phase médiane de la séquence énonciative humain-machine est caractérisée par une « régression » en-deçà de l’énonciation humaine proprement dite? Le détour par les travaux de Bruno Latour (2012) et la notion de délégation (Latour 2000) est éclairant. La technique est envisagée par Latour (2012) comme un des « régimes d’énonciation » (avec la fiction, la science, la religion, etc.); c’est dans le mode du technique que s’opère la distinction entre l’énonciation et l’énoncé et c’est grâce à lui qu’émergent un quasi-objet et un quasi-sujet (Dondero 2017). Maintenant fermement l’hypothèse de l’énonciation métalinguistique et adaptant les propositions de Latour à notre propos, nous concevons un niveau plus profond, en-deçà même des agents computationnels, là où des délégations correspondent au déploiement de forces computationnelles encore impersonnelles et anonymes. Celles-ci sont de l’ordre du « on », voire du « ça »; en partie, ça se fait, les connexions se font et se défont, quand la supervision est ramenée à un minimum; les agents qui émergent sont faits par ce qu’ils font faire (Latour 2000), faits notamment par les calculs et les combinaisons d’éléments. Dans ce cas, parler d’« instances-effets » machiniques, comme nous le proposons ici, c’est opter pour une version radicale de la pluri-instancialité. Celle-ci envisage la production d’instances qui ne sont pas présupposées ni définies d’emblée: elles constituent des concrétions provisoires issues d’une connectivité textuelle généralisée.

Le sujet d’énonciation humain sort-il indemne de ce processus? Nous avons parlé de « coévolution ». Cela ne suffit pas. En cette étape médiane, la prolifération des agents menace la possibilité, pour l’humain sujet, de cerner son champ déictique et l’empêche d’exercer un parfait contrôle: « décentré » (Berry et al. 2015), l’humain peut être débordé. Les instances d’énonciation humaines sont affectées par la machine. Conclura-t-on avec Salanskis (2015) que l’« ère du computationnel n’est pas forcément en harmonie et en phase avec l’ethos de la subjectivité »? Sans doute. À moins que l’on ne pense, avec Masure (2016), et pour la phase médiane uniquement, des « subjectivités sans sujet ». Unies aux instances machiniques plurielles, effets plutôt que sources, elles seraient marquées, temporairement, par des conjonctions médiatrices numériques (Vitali-Rosati 2021), c’est-à-dire par une relationalité qui est connectivité, sur la base, en fin de compte, du virtuel et de l’indétermination que Fazi loge au sein du code lui-même. Contre la réduction à l’entendement en « mathématiques pures » (Arendt 1958) et contre les logiques « infaillibles ». Peut-être est-ce grâce au plongeon dans la pluri-instancialité machinique que le « sujet digital » humain finit par accéder à l’« horizon d’une découverte infinie » (Salanskis 2015).