POURQUOI L’AUTOMATE DOIT APPRENDRE L’HOMME

Des machines de coopération, des gestes imprévus et de cette erreur ancienne qui consistait à demander au vivant de devenir régulier pour travailler avec ce qui ne l’était pas

Par Thælin Or-Maer Maître des systèmes mobiles au Collège des Structures Coopérantes de Khar-Ael Ancien ingénieur de coque sur les lignes de Vhar’Leth Consultant auprès des Maisons de Secours du Premier Cercle

Khar-Ael, vers 8 870 AF — Quatrième Ère

Pendant longtemps, lorsqu’un Automate blessait un ouvrier, les contremaîtres, Les ingénieurs et les rapporteurs officiels du Premier Ciel se penchaient sur les marques au sol, les relevés de trajectoire et les protocoles avant de poser, immanquablement, la même question à l’ouvrier gisant ou saignant : « Pourquoi avez-vous quitté votre trajectoire ? » La question semblait raisonnable, presque évidente. L’Automate, après tout, avait reçu une tâche précise. Les calculs avaient été validés par trois maîtres de Thaër-Dravan, les marques au sol dessinaient une zone sûre comme une frontière sacrée, et les gestes autorisés figuraient en bonne place dans le protocole gravé sur les plaques de cuivre des ateliers.

L’Automate avait donc accompli sa fonction sans faute, avec la rigueur implacable que l’on attendait de lui. L’homme, lui, avait bougé.

Il avait trébuché sur un outil oublié, ou peut-être sur sa propre fatigue. Il s’était retourné vers un compagnon qui venait de crier, ou peut-être vers un bruit métallique qui lui avait semblé suspect. Il avait aperçu, du coin de l’œil, une ombre anormale sur la paroi, ou peut-être une lueur qui clignotait là où elle n’aurait pas dû. Il avait changé de prise, pensant que son partenaire lâchait, ou peut-être parce que ses mains, trempées de sueur ou de sang, glissaient sur la barre. Il avait cru entendre un cri, ou peut-être un gémissement étouffé par le grondement des machines. Il avait eu peur, tout simplement, comme tout être vivant confronté à l’inconnu.

Bref, il avait fait ce que font continuellement les êtres de chair et de sang : il avait réagi. Il avait improvisé. Il avait vécu.

Et nous avions construit une machine incapable de comprendre cette simple vérité, avant de conclure, avec une logique implacable, que l’humain se comportait mal. Il fallut près de deux siècles au Premier Ciel, deux siècles de rapports d’accidents, de pleurs étouffés dans les couloirs des hôpitaux orbitaux et de silences gênés lors des commissions d’enquête, pour reconnaître l’absurdité criante de cette idée. L’erreur n’était pas dans la déviation de l’homme. Elle était dans l’incapacité de la machine à en tenir compte.

Le problème n’était pas l’Automate

Les Automates ne sont pas une invention récente. Bien avant que nos ancêtres n’inaugurent les grandes Routes stellaires, bien avant que les Forges de Nærion ne brillent comme des soleils artificiels, les ateliers savaient déjà fabriquer des dispositifs capables de répéter une séquence infinie de mouvements, de maintenir une pression avec une précision d’horloger, de surveiller une température à la limite du supportable, de porter une charge qui aurait brisé le dos de dix hommes, d’actionner une matrice avec une régularité de métronome ou de répondre à une condition en choisissant entre plusieurs procédures préenregistrées. La IIIe Ère avait perfectionné cette logique jusqu’à en faire un art : une fonction accomplie autrefois par un spécialiste pouvait désormais être observée, décortiquée, décrite dans ses moindres détails, puis partiellement confiée à des dispositifs reproductibles à l’infini.

Ce principe, simple en apparence, avait permis l’essentiel de la technomagie classique. Il avait soulevé des cités, creusé des canaux entre les étoiles et assemblé des Nefs capables de traverser le vide sans se briser. Pourtant, il charriait en lui une faiblesse fondamentale, une faille que personne n’avait encore osé nommer : nous savions automatiser une fonction, mais nous ne savions pas automatiser une coopération.

Et ce n’est pas la même chose.

Une pompe, aussi complexe soit-elle, n’a pas besoin de comprendre celui qui l’utilise. Elle attend un signal, elle obéis à une pression, elle remplit son office sans jamais se soucier de l’intention qui la met en mouvement. Un dispositif de fermeture peut attendre un ordre, un Automate de forge peut reproduire mille fois le même mouvement avec une précision diabolique, et un régulateur de flux peut maintenir un équilibre pendant des années sans jamais se lasser. Mais qu’advient-il lorsque la tâche dépend, à chaque instant, de ce que fait un autre être ? Lorsque le succès de l’opération repose non pas sur l’exécution parfaite d’un geste, mais sur la capacité à s’adapter, en temps réel, aux imprévus, aux hésitations, aux corrections et aux initiatives d’un partenaire imprévisible ?

L’ancienne réponse, celle que l’on enseignait encore dans les écoles du Premier Cercle il y a à peine trois siècles, était d’une simplicité désarmante : on normalise l’autre être. On le plie. On le formate. On le rend prévisible.

L’homme régulier

Les premiers grands chantiers orbitaux, ces cathédrales de métal et de lumière suspendues dans le vide, produisirent une littérature technique qui, aujourd’hui, fait rougir les plus endurcis des ingénieurs. On y décrivait, avec une précision presque maniaque, le « travailleur idéal », cet être de chair et de sang réduit à une série de paramètres mesurables et reproductibles. La longueur exacte de son pas devra être de soixante-quatorze centimètres, pas un de plus, pas un de moins. L’amplitude de ses bras, lorsqu’il soulève une charge, devra respecter un angle de cent sept degrés par rapport à son torse. Son temps de réaction ne devra pas excéder deux cent cinquante millisecondes, et sa position de regard devra toujours rester alignée sur l’axe central de l’objet manipulé. Les angles de levage, la vitesse de déplacement, les temps d’arrêt, les signaux de prise et de relâchement : tout était consigné, tout était normé, tout était censé être maîtrisé.

Dans certaines stations, les équipes passaient des semaines, voire des mois, à répéter leurs mouvements jusqu’à ce que le moindre geste devienne aussi prévisible que le tic-tac d’une horloge. Les hommes apprenaient, littéralement, à devenir des machines. Et cela fonctionnait. Du moins, tant que rien d’imprévu ne survenait.

Or, le Premier Ciel, ce vaste et chaotique empire de métal et de vide, est précisément l’endroit où l’imprévu a choisi d’élire domicile. Une paroi se déforme sous l’effet d’une micro-météorite non détectée. Une prise magnétique, usée par des années de service, lâche soudain sous une charge trop lourde. Un membre d’équipage, distrait par une alarme lointaine, perd l’équilibre et doit s’accrocher à une rampe pour ne pas tomber. Une charge commence à tourner sur elle-même, comme si elle avait décidé de défier les lois de la physique. Un signal arrive avec un retard de quelques secondes, juste assez pour semer la confusion. La gravité locale varie, parce que la station a légèrement modifié son orientation sans prévenir. Un enfant, qui n’avait rien à faire dans ce couloir technique, traverse en courant l’espace de travail. Un technicien abandonne soudain son outil pour retenir un compagnon qui glisse, parce que l’instinct de solidarité, chez les humains, prime toujours sur le respect des procédures.

Et c’est alors que l’humain, ce partenaire si soigneusement formaté, cesse d’exécuter le mouvement prévu.

L’Automate, lui, continue.

Ce furent les accidents les plus absurdes, les plus tragiques aussi, de toute notre histoire industrielle. Non pas parce que l’Automate avait mal fonctionné — au contraire, il avait fonctionné trop correctement. Il avait obéi aux ordres. Il avait suivi la trajectoire. Il avait ignoré, avec une indifférence de métal et de circuits, que le monde autour de lui venait de basculer.

La catastrophe de l’Anneau de Merath

Les historiens aiment, par commodité, donner une date précise aux grands tournants de l’Histoire. Ils choisissent généralement, pour ce qui nous occupe, l’accident de l’Anneau de Merath, ce jour funeste de 8 642 AF où six hommes et deux Automates tentèrent de placer une poutre de coque de quarante-huit tonnes dans un berceau extérieur. Je me méfie, pour ma part, de ces simplifications. Les transformations importantes ne commencent que rarement le jour où nous décidons, a posteriori, de les commémorer. Elles germent longtemps dans l’ombre, comme des racines invisibles sous la terre, avant d’éclore brusquement à la lumière. Merath ne fut pas le début. Merath fut le jour où nous n’avons plus pu fermer les yeux.

L’opération avait été répétée vingt-trois fois sans incident. Les trajectoires étaient connues, validées, gravées dans les mémoires des machines comme dans les muscles des ouvriers. Au vingt-quatrième assemblage, l’un des ouvriers, un certain Dravan, crut apercevoir une torsion anormale dans le berceau de réception. Il ralentit, presque imperceptiblement, comme s’il hésitait à confirmer ce que ses yeux lui montraient. Son partenaire, Kael, interpréta ce ralentissement comme un signal d’arrêt. Il changea donc sa prise, pensant que l’opération était suspendue. L’Automate de gauche, lui, détecta cette réduction de vitesse et, conformément à sa programmation, compensa automatiquement en augmentant sa propre force pour maintenir le temps d’insertion prévu. L’Automate de droite, enfin, ne détecta aucun changement et poursuivi sa trajectoire nominale, imperturbable.

En moins de deux respirations, trois intentions différentes existaient autour du même objet : « Ralentir. » « Arrêter. » « Continuer. »

La poutre pivota.

Deux ouvriers furent tués sur le coup. Un troisième, Thalor, perdit son bras gauche, écrasé entre la charge et la paroi. Les Automates, eux, furent retrouvés intacts, leurs circuits parfaitement fonctionnels, leurs mémoires vierges de toute erreur. Le rapport initial, rédigé par une commission d’enquête présidée par un maître des Forges de Vhar’Leth, conclut sans hésiter que les ouvriers avaient enfreint les procédures. C’était vrai. Dravan avait ralenti sans prévenir. Kael avait changé de prise sans signal clair. Thalor avait peut-être mal évalué la situation.

Mais le second rapport, celui que personne n’avait osé écrire avant Merath, posa une question bien plus importante, une question qui allait ébranler les fondements mêmes de notre approche de l’automatisation : « Pourquoi un système destiné à aider six êtres humains devenait-il dangereux dès que ces six êtres humains se comportaient comme six êtres humains ? »

La naissance de la coopération ouverte

Le premier changement fut presque philosophique. Nous cessâmes de nous demander : « Comment empêcher l’humain de dévier ? » pour nous demander, enfin : « Comment permettre à la machine de survivre à la déviation humaine ? » De cette question simple, presque naïve, naquit ce que nous appelons aujourd’hui la coopération ouverte.

Le principe en semble élémentaire, mais il marqua une révolution. L’Automate ne recevait plus seulement une tâche, une trajectoire et une succession d’états à respecter. Il recevait également, et c’était là la nouveauté, une marge d’interprétation du partenaire. Il ne se contentait plus d’obéir. Il observait. Il analysait. Il s’adaptait.

Il observait l’orientation du corps de son partenaire humain, ces micro-mouvements qui trahissent une hésitation ou une décision. Il notait les changements de prise, ces ajustements infiniment subtils qui révèlent une intention nouvelle. Il mesurait les variations de pression sur l’objet manipulé, ces signaux tacites que les ouvriers échangeaient entre eux sans un mot. Il suivait la direction du regard, ces coups d’œil fuyants qui indiquent une préoccupation ou une découverte. Il détectait les micro-arrêts, ces pauses imperceptibles où l’esprit humain évalue une situation avant d’agir. Il évaluait la tension transmise à l’objet, cette force invisible qui circule entre les mains et les machines. Il repérait les hésitations, ces instants où le corps doute avant de s’engager. Il captait les corrections brusques, ces ajustements soudain qui révèlent un changement de plan. Il analysait le rythme respiratoire, lorsqu’il pouvait être mesuré, ce souffle qui accélère ou se bloque sous l’effet du stress. Et surtout, surtout, il calculait la différence entre ce que le partenaire faisait auparavant et ce qu’il commençait maintenant à faire, cette divergence qui signale une intention nouvelle.

La machine ne se demandait donc plus : « L’humain respecte-t-il le geste prévu ? » Elle se demandait, à la place : « Vers quoi son geste semble-t-il maintenant converger ? »

C’était une différence immense, une différence qui changeait tout.

Pourquoi deux partenaires peuvent vouloir la même chose et se gêner

L’une des grandes difficultés de la coopération, celle que les anciens maîtres des Forges avaient toujours sous-estimée, n’est pas le désaccord sur le but. Non, le vrai défi, c’est le désaccord sur la manière d’y parvenir.

Deux personnes peuvent parfaitement vouloir sauver le même blessé, gisant sur le sol d’un atelier ou d’un champ de bataille. L’une cherche à le soulever par les aisselles, parce qu’elle sait que c’est la méthode la plus rapide pour l’extraire de la zone de danger. L’autre veut le faire glisser sur une planche, parce qu’elle craint que le moindre mouvement brusque n’aggrave ses blessures. Chacune pense aider. Chacune agit avec les meilleures intentions. Ensemble, pourtant, elles peuvent lui briser la colonne vertébrale.

Le même problème apparaît partout, dans chaque atelier, chaque chantier, chaque Nef en construction. Une équipe transporte une plaque de métal plus lourde qu’un Chevalier du Flux en armure complète. L’un veut contourner l’obstacle par le haut, parce que le sol est dégagé de ce côté-là. L’autre préfère passer par le bas, parce qu’il a repéré une fissure dans le plafond qui pourrait lâcher à tout moment. Un pilote, aux commandes d’une Nef, veut compenser une dérive qu’il percevrait comme un danger immédiat. Le mécanicien, lui, veut laisser le système corriger naturellement cette dérive, parce qu’il sait que toute intervention brutale pourrait déstabiliser l’ensemble de la structure. Un Chevalier du Flux cherche à stabiliser une Porte qui vacille, parce que son serment lui ordonne de maintenir l’équilibre des Flux à tout prix. L’ingénieur de Résonance, à ses côtés, veut au contraire réduire temporairement la Tenue pour éviter une surcharge qui pourrait tout faire exploser.

Dans chacun de ces cas, les deux partenaires peuvent avoir raison. Ils ne sont simplement pas en train d’appliquer la même solution, et c’est là que réside le danger. Nous appelons désormais ce phénomène, avec une sobriété qui cache mal son importance, la divergence de conduite.

La divergence de conduite est probablement plus redoutable que l’erreur individuelle, aussi grossière soit-elle. Car une erreur peut être corrigée, rattrapée, annulée. Mais deux décisions raisonnables, mais incompatibles, peuvent, au contraire, se renforcer mutuellement, comme deux lames qui s’aiguisent l’une contre l’autre, jusqu’à provoquer une catastrophe que personne n’avait vue venir.

Le Principe des Tensions Décroissantes

C’est ici qu’intervint Særon Vel-Khar, ce génie discret dont le nom, ironiquement, est devenu plus célèbre que ceux des trois assistantes — Lysara, Mira et Tæl — qui réalisèrent l’essentiel des expériences et des calculs. Vel-Khar proposa une approche radicalement nouvelle : il fallut cesser de chercher à prédire exactement le prochain geste du partenaire. Cette ambition, après tout, était souvent impossible. Les humains, même les mieux intentionnés, sont des êtres de chair et de sang, sujets à l’erreur, à l’hésitation, à l’imprévu. Au lieu de tenter de deviner leurs mouvements, il valait mieux surveiller quelque chose de plus général, de plus fondamental : la tension produite par l’écart entre les deux comportements.

Une coopération stable, expliquait Vel-Khar, devait satisfaire une règle simple, mais révolutionnaire : lorsque deux partenaires corrigent leurs gestes, la correction ne doit pas augmenter continuellement leur incompatibilité.

Cette règle paraît aujourd’hui évidente, presque triviale. Elle ne l’était pas pour les anciennes machines. Un Automate, programmé pour accomplir une tâche avec une précision absolue, pouvait détecter qu’un humain ralentissait et, pour « corriger » ce retard, augmenter sa propre force. L’humain, sentant cette poussée inattendue, pouvait croire que la charge partait, ou que son partenaire perdait le contrôle, et résister davantage. L’Automate, alors, détectait cette résistance accrue et, loyal à sa programmation, compensait encore, augmentant sa force ou sa vitesse. Chacun réagissait de manière parfaitement rationnelle aux actions de l’autre. Et pourtant, le système entier devenait fou, comme pris dans une spirale infernale où chaque correction ne faisait qu’aggraver le problème.

Le Principe des Tensions Décroissantes imposait au contraire que l’Automate cherche d’abord une réponse diminuant l’opposition globale. Il pouvait ralentir, réduire sa force, modifier sa prise, suspendre momentanément la manœuvre, laisser davantage d’initiative à l’humain, ou même stabiliser l’objet pendant que son partenaire se replaçait. Il ne cherchait donc pas nécessairement le chemin le plus rapide, le plus efficace, le plus logique. Il cherchait le chemin qui permettait, avant toute chose, aux deux partenaires de rester partenaires.

La machine doit parfois céder

Cette idée scandalisa une partie non négligeable de la communauté des ingénieurs. Un Automate correctement construit, après tout, possède des avantages indéniables : plus de force qu’un humain, une meilleure répétabilité, des calculs plus rapides, une perception plus régulière, et surtout, aucune fatigue musculaire ou mentale. Alors, pourquoi, au nom de tout ce qui est sacré, devrait-il céder devant une décision humaine, manifestement moins efficace, moins précise, moins optimale ?

La réponse, bien sûr, est que l’efficacité locale n’est pas toujours l’efficacité du système. Prenons un exemple simple, celui d’un transport de blessé dans un hôpital orbital. L’Automate, programmé pour optimiser chaque mouvement, calcule que le chemin le plus court et le plus rapide consiste à aller tout droit. Le secouriste humain, lui, dévie soudain de cette trajectoire. L’ancienne machine, celle que nous constructions encore il y a quelques décennies, aurait corrigé cette déviation, ramenant le brancard vers le chemin optimal. La nouvelle machine, celle que nous commençons tout juste à déployer, suit.

Pourquoi ? Parce que le secouriste a peut-être vu quelque chose que la machine ne sait pas classer, ou ne sait pas interpréter. Une fissure dans le sol, trop fine pour être détectée par les capteurs, mais assez large pour faire trébucher le brancard. Une tache de sang, signe qu’un autre blessé gît un peu plus loin, invisible depuis la position de l’Automate. Un enfant, tapi dans un coin, que le secouriste a aperçu du coin de l’œil. Une expression sur le visage du blessé, une grimace de douleur qui indique qu’il faut éviter un mouvement brusque. Une vibration inhabituelle dans la structure de la station, imperceptible pour les capteurs, mais que l’oreille humaine, entraînée par des années d’expérience, a su capter. Ou peut-être a-t-il simplement tort. Peut-être a-t-il mal évalué la situation, ou a-t-il été distrait par une pensée parasite.

L’Automate ne le sait pas. Pas encore. La coopération ouverte commence précisément par l’acceptation de cette ignorance.

Ce que Les chevaliers du flux avaient compris avant Les ingénieurs

Il serait injuste de prétendre que cette pensée est entièrement née dans les ateliers de Khar-Ael ou les chantiers de Vhar’Leth. Les maîtres de Thaër-Dravan, ces gardiens des Flux et des Portes, enseignaient depuis des millénaires un principe qui ressemble étrangement à ce que nous venons de découvrir. Leur première leçon, celle qu’ils martelaient à leurs élèves dès le premier jour, était la suivante : « Percevoir quelque chose ne donne pas le droit de commander. »

Le premier enseignement des Écoutants, ces sages qui veillent sur l’équilibre des forces invisibles, était de ne pas confondre sensation, danger, possibilité et nécessité. Cette distinction, si subtile soit-elle, est au cœur même de la sagesse des Chevaliers du Flux. Et elle s’applique, avec une pertinence surprenante, aux machines coopérantes.

Un Automate peut calculer, avec une précision diabolique, la meilleure trajectoire pour accomplir une tâche. Cela ne signifie pas, pour autant, qu’il possède toute l’information pertinente. Un Chevalier peut sentir, avec une sensibilité à toute épreuve, qu’une Porte souffre, que son équilibre est menacé, que les Flux qui la traversent sont sur le point de se déchaîner. Cela ne signifie pas, pour autant, qu’il sait immédiatement s’il faut la fermer, l’ouvrir davantage, ou la stabiliser à tout prix.

Dans les deux cas, la vraie compétence commence lorsque l’on distingue clairement trois choses : ce que l’on perçoit ; ce que l’on en déduit ; et ce que l’on s’autorise à faire.

Les ingénieurs de Khar-Ael mirent simplement plusieurs siècles à découvrir une idée que les Chevaliers avaient déjà transformée, depuis longtemps, en discipline morale.

Les essais de la Chambre des Douze Bras

Les premiers essais réellement convaincants eurent lieu dans la Chambre des Douze Bras, un laboratoire secret enfoui sous les ateliers du Collège des Structures Coopérantes. Cette salle, dont les murs étaient couverts de capteurs et de miroirs sans tain, contenait six Automates et six opérateurs humains. Aucune paire ne recevait de trajectoire imposée. On ne leur donnait qu’un objectif simple, presque enfantin : placer une masse irrégulière dans un logement central.

Les opérateurs humains recevaient, à chaque essai, des instructions différentes, parfois contradictoires. Certains devaient aller le plus vite possible. D’autres devaient privilégier la stabilité de la charge, quitte à y passer deux fois plus de temps. D’autres encore avaient ordre de changer brusquement de stratégie en cours de manœuvre, sans prévenir leurs partenaires. D’autres, enfin, devaient ne jamais employer deux fois le même signal, comme si chaque geste devait être une improvisation totale. Et parfois, volontairement, on introduisait une mauvaise décision : un opérateur devait, par exemple, simuler une erreur de jugement, ou feindre de ne pas voir un obstacle évident.

Cette dernière pratique provoqua, à l’époque, une vague de critiques indignées. « Comment peut-on former des machines à coopérer avec des humains incompétents ? » s’exclamaient les puristes. « Cela ne fera que légitimer l’imprévoyance et l’erreur ! » ajoutaient les traditionalistes. Pourtant, cette précaution était indispensable. Car une machine capable de coopérer uniquement avec un humain raisonnable, attentif et parfaitement formé, reste une machine dangereuse. Les humains, en effet, ne sont pas toujours raisonnables. Ils ne sont pas toujours attentifs. Ils sont parfois fatigués, paniqués, distraits, orgueilleux, blessés, mal informés, ou tout simplement stupides pendant quelques secondes.

Un système destiné à travailler avec eux doit connaître cette réalité avant d’entrer dans un hôpital, une station ou un vaisseau. Il doit savoir que son partenaire peut trébucher, hésiter, changer d’avis, ou même commettre une erreur grossière. Et il doit être capable de s’adapter à cela, non pas en ignorant le problème, mais en l’intégrant dans son propre comportement.

Ce que les Automates apprirent

Au début, les résultats furent médiocres, pour ne pas dire catastrophiques. Les Automates, confrontés à cette nouvelle liberté, hésitaient de manière excessive. Ils interrompaient les opérations au moindre signe d’incertitude. Ils semblaient presque « timides », comme se moquaient les ouvriers, trop prudents, trop lents, trop peu sûrs d’eux. Les maîtres des Forges riaient sous cape en voyant ces machines, autrefois si fières et si précises, se comporter comme des apprentis maladroits.

Puis, quelque chose changea.

Les Automates commencèrent à reconnaître non pas des gestes particuliers, mais des familles de comportements. Ils apprirent, au fil des essais, que leur partenaire humain pouvait, selon les circonstances, prendre l’initiative, ou au contraire demander implicitement qu’on la lui laisse. Ils comprirent qu’il pouvait chercher un appui, ou s’opposer à une direction, ou hésiter devant un choix, ou tester une résistance, ou changer de plan en cours de route, ou abandonner momentanément la conduite de la tâche pour laisser à un autre le soin de décider. Et surtout, surtout, ils apprirent à changer eux-mêmes de rôle.

Une machine pouvait commencer une opération en dirigeant le déplacement, par exemple, puis devenir un simple stabilisateur lorsque l’humain détectait un problème, avant de reprendre la conduite lorsque celui-ci perdait son appui ou son assurance. Elle pouvait passer, en un instant, de leader à suiveur, puis à coordinateur, puis à observateur passif, selon les besoins du moment.

C’était nouveau. Radicalement nouveau. L’Automate n’exécutait plus seulement une fonction, aussi complexe soit-elle. Il participait à une relation fonctionnelle, une danse où chaque partenaire ajustait ses mouvements en fonction de l’autre, non pas par obligation, mais par nécessité.

Les Maisons de Secours furent les premières à comprendre l’intérêt

Les chantiers orbitaux, les Forges et les ateliers de construction apprécient, avant toute chose, la vitesse et l’efficacité. Les équipes de secours, elles, apprécient avant toute chose que personne ne meure. Elles adoptèrent donc très vite les systèmes coopérants, avec un enthousiasme qui surprit même leurs concepteurs.

Lors d’un effondrement dans une station minière, rien n’est normal. Les passages ne correspondent plus aux cartes, les structures se déforment sous l’effet des chocs, les blessés bougent, gémissent, tentent de se sauver eux-mêmes ou au contraire se figent, paralysés par la peur. Les secouristes changent de plan à chaque instant, s’adaptant à des conditions qui évoluent plus vite que les rapports des capteurs. Une poutre, considérée comme stable une seconde plus tôt, commence soudain à céder. Un survivant tente de revenir en arrière pour chercher quelqu’un qu’il a laissé derrière lui. Une personne paniquée, dans sa détresse, peut même frapper celui qui tente de la sauver, comme si son cerveau, submergé par l’adrénaline, ne reconnaissait plus ami ou ennemi.

L’Automate classique déteste ce monde. L’Automate classique a été conçu pour un environnement prévisible, normé, contrôlé. Face au chaos, il se fige, ou pire, il persiste dans son erreur avec une obstination de métal. L’Automate coopérant, lui, a été conçu pour ce monde. Il ne sait pas tout. Il ne peut pas tout prévoir. Mais il sait une chose, une seule, et c’est déjà immense : l’autre peut changer.

La grande objection : apprend-il ou imite-t-il ?

La question divise encore les collèges, les ateliers et les académies. Lorsqu’un Automate modifie son comportement après des milliers, voire des millions d’interactions avec des humains, peut-on dire qu’il apprend ? Certains, surtout parmi les traditionalistes, répondent non avec fermeté. « Il ajuste des paramètres », explique-t-il. « Il ne comprend pas. Il ne fait que réagir à des stimuli, comme un animal dressé. » D’autres, plus ouverts, répondent que nous devons nous méfier des définitions construites uniquement pour réserver certains mots, certains concepts, à une seule catégorie d’êtres.

Je ne trancherai pas cette querelle. Elle est, à mon sens, largement stérile. Qu’il « apprenne » ou non au sens philosophique du terme, une chose est sûre : son comportement futur dépend désormais de l’histoire de ses interactions. Et cela, à lui seul, suffit à créer une responsabilité nouvelle, une responsabilité qui pèse sur nous tous.

Un Automate mal formé peut, en effet, devenir dangereux sans être cassé. Il peut avoir « appris » de mauvaises attentes, ou développer des réactions inadaptées. Il peut considérer certaines hésitations comme des signes d’hostilité, ou au contraire, céder trop facilement à certains opérateurs tout en résistants avec entêtement à d’autres. Il peut incorporer les habitudes d’un atelier particulier, d’une équipe particulière, et devenir maladroit, voire dangereux, lorsqu’il est transféré dans un autre environnement. Nous avions autrefois des machines défectueuses. Nous possédons désormais des machines qui peuvent être mal éduquées.

Et ce problème, mes chers collègues, est beaucoup plus compliqué à résoudre.

Qui est responsable lorsqu’une machine s’adapte mal ?

La question, comme on peut s’y attendre, fait rage dans les cercles juridiques et éthiques. Qui doit porter la responsabilité lorsqu’un Automate, mal formé, mal éduqué, ou simplement mal adapté à une situation, provoque un accident ? L’artisan qui l’a construit ? Le propriétaire qui l’a acheté ? La Maison qui a fourni les situations d’apprentissage ? Les ouvriers dont les comportements ont, sans le vouloir, « formé » la machine ? L’Automate lui-même, si ses structures lui permettent une autonomie suffisamment grande pour qu’on puisse parler, ne serait-ce que métaphoriquement, d’une « volonté » propre ?

Nos lois ne sont pas prêtes. Elles continuent, pour la plupart, de considérer la machine comme un marteau complexe, un outil sophistiqué, mais un outil quand même. Pourtant, un marteau n’observe pas son utilisateur pendant dix ans avant de décider comment il se comportera avec le onzième. Un marteau ne modifie pas son comportement en fonction des erreurs passées de celui qui le manie. Un marteau, surtout, ne apprend pas.

Cette difficulté, d’ailleurs, rejoindra probablement un jour celle, déjà ancienne, posée par les organismes manufacturés, ces êtres vivants créés de toutes pièces par les Maisons de Vie : fabriquer quelque chose donne-t-il éternellement autorité sur ce que cette chose devient ? La Quatrième Ère commence tout juste à découvrir que la réponse à cette question est bien moins simple que nos ancêtres l’avaient espéré.

Les comportements humains ne doivent pas être effacés du modèle

Face à cette complexité, certains collèges proposent une solution plus simple, plus rassurante. « Établissons un profil moyen », suggèrent-ils. « Mesurons des milliers d’opérateurs, définissons une conduite humaine probable, puis construisons les Automates autour de ce modèle. » C’est utile, sans doute. C’est aussi profondément insuffisant.

Car l’humain moyen, voyez-vous, n’existe jamais au moment où l’accident survient. Celui qui travaille avec la machine, à cet instant précis, c’est toujours celui-ci : cet homme, cette femme, avec cette fatigue, cette blessure, cette peur, cette expérience unique, et cette décision étrange, imprévisible, que aucune moyenne, aucune statistique, aucune courbe de Gauss n’aurait pu anticiper. La machine réellement coopérante doit donc apprendre à traiter la variabilité humaine non pas comme un bruit parasite autour d’un comportement « correct », mais comme une propriété fondamentale, essentielle, de son environnement.

C’est peut-être, au fond, le changement intellectuel le plus important de tous. Pendant des millénaires, nous avons entraîné les hommes à supporter les machines, à s’adapter à leurs rigidités, à se plier à leurs exigences. Nous commençons enfin, timidement, à entraîner les machines à supporter les hommes.

Une question politique se cache derrière l’ingénierie

Cela semblera exagéré à certains. Je ne le crois pas. Une civilisation révèle beaucoup d’elle-même par la direction dans laquelle elle impose l’adaptation. Si une administration, une Maison, ou une Nef crée un système, puis exige que toutes les personnes qui l’utilisent deviennent compatibles avec lui, elle obtient, sans doute, une grande efficacité. Elle obtient également, insidieusement, des individus progressivement obligés de vivre selon la logique de leurs infrastructures.

Nous connaissons déjà ce danger. Une Route devient utile. Puis nécessaire. Puis normalisée. Puis contrôlée. Puis, un jour, le centre qui garantit son fonctionnement explique que sa propre autorité est la condition naturelle de l’existence de la Route. Les machines coopérantes posent, à une échelle minuscule mais tout aussi révélatrice, la même question : qui doit s’adapter à qui ?

La réponse la plus saine n’est probablement ni « l’homme seul », ni « la machine seule ». Elle est, comme souvent, plus subtile : celui qui peut modifier son comportement sans détruire la liberté fonctionnelle de l’autre doit porter une plus grande part de l’adaptation.

Et lorsqu’une machine possède davantage de précision, de mémoire, de capacité de calcul et d’endurance que l’humain, il est non seulement absurde, mais immoral, de demander à l’humain d’être celui qui devient plus mécanique.

Ce que nous essayons réellement de construire

Nous parlons beaucoup, ces temps-ci, d’Automates adaptatifs, de machines intelligentes, de systèmes coopérants. Le nom, avouons-le, est trompeur. Ce que nous construisons réellement, voir vous le comprendrez maintenant, ce n’est pas seulement une nouvelle génération de machines. C’est une nouvelle forme d’espace commun.

Entre deux humains, cet espace existe naturellement, presque sans effort. Nous nous observons. Nous ralentissons lorsque l’autre semble hésiter. Nous faisons un geste, puis attendons une réaction. Nous compensons les erreurs de l’autre, parfois sans même nous en rendre compte. Nous nous agaçons, nous nous expliquons, nous apprenons les habitudes, les tics, les préférences de celui qui travaille à nos côtés. La coopération, en effet, n’est pas seulement deux actions parallèles. C’est cette couche intermédiaire, invisible mais essentielle, où chacun modifie ce qu’il allait faire parce que l’autre existe.

Nos anciennes machines n’habitaient pas cet espace. Elles traversaient le monde avec une trajectoire préétablie, indifférentes à ce qui les entourait, comme des projectiles lancés dans le vide. Les nouvelles machines, celles que nous commençons tout juste à entrevoir, y entrent. Elles ne deviennent pas humaines, bien sûr. Ce n’est pas nécessaire. Elles apprennent simplement cette vérité élémentaire, cette évidence qui nous a échappé pendant si longtemps : un partenaire n’est pas un obstacle qui se déplace.

Et peut-être est-ce déjà beaucoup.

LA PLUS GRANDE ERREUR DES AUTOMATES

On raconte souvent que la grande erreur des premières machines était leur manque d’intelligence, leur incapacité à penser, à anticiper, à s’adapter. Je ne le crois pas. Leur erreur, voyez-vous, venait de nous. Nous les avions construites non pas à notre image réelle, mais à notre image idéale. Nous voulions des partenaires humains parfaits : constants, rationnels, précis, reposés, cohérents, obéissants à leurs propres décisions, capables de suivre un plan sans jamais en dévier.

Le problème, c’est que nous n’avions jamais rencontré de telles personnes.

Alors, nous les avions exigées. Nous avions exigé des ouvriers qu’ils marchent comme des métronomes, qu’ils pensent comme des algorithmes, qu’ils agissent comme des Automates avant même que les Automates n’existent. Et lorsque, inévitablement, ils échouaient — parce qu’ils étaient humains, parce qu’ils avaient peur, parce qu’ils étaient fatigués, parce qu’ils vivait — nous les avions blâmés. Nous avions blâmé leur nature, leur faiblesse, leur imprévisibilité.

Le Premier Ciel nous a obligés à abandonner ce mensonge. Dans une station, une Nef, un chantier extérieur ou une salle de secours, la survie dépend rarement de celui qui exécute parfaitement son premier plan. Elle dépend de celui qui comprend assez vite que le plan vient de changer. De celui qui sait écouter, observer, sentir que quelque chose, quelque part, a basculé.

Nos Automates commencent enfin à l’apprendre. Et peut-être, un jour, pourrons-nous, nous aussi, apprendre la même chose d’eux. Peut-être pourrons-nous, enfin, cesser de demander aux autres d’être parfaits, pour nous concentrer sur ce qui compte vraiment : devenir, ensemble, un peu moins idiots.

→ 40 — Khar : Terres, peuples, constructions et matière

→ 47 — Artisanat et métiers

→ Pourquoi l’Automate doit apprendre l’homme — Des machines de coopération, des gestes imprévus et de cette erreur ancienne qui consistait à demander au vivant de devenir régulier pour travailler avec ce qui ne l’était pas

Cote canonique : 47-TRA-V1-TEN-AUR