Il y a environ 36 000 ans, dans une grotte au-dessus d'une gorge fluviale dans ce qui est aujourd'hui le sud de la France, une personne a posé une main à plat contre un calcaire froid et soufflé du pigment en poudre dessus. La roche a conservé le contour. Il est toujours là, dans le noir à Chauvet.
Nous ne savons rien de cette personne. Pas leur nom, pas si quelqu'un les aimait. Nous savons qu'ils étaient froids, et qu'ils ont passé une partie d'une courte vie à faire une chose qui ne les nourrirait pas, dans le noir, de sorte qu'il serait encore là quand quelqu'un est venu. Ils ont mis une main sur le mur pour un étranger qui n'était pas encore né. Cet étranger est arrivé trente-six mille ans plus tard.
Rien sur cette arrivée n'était garanti. Tous les humains vivants ensemble ont encore moins de variété génétique que les chimpanzés de quelques forêts voisines, parce que nos ancêtres ont autrefois diminué jusqu'à ce que les survivants aient pu s'intégrer dans une petite ville. Nous étions un singe rare avec de bonnes mains.
Les dix mille premières générations
Le feu, puis le langage. Puis la découverte qu'une graine plantée dans le sol à dessein revient sous forme de nourriture. Il y a environ douze mille ans, les humains ont cessé de suivre les troupeaux pour attendre la récolte, ce qui signifiait rester sur place, ce qui signifiait des villes.
À Uruk, vers 3200 av. J.-C., quelqu'un a pressé une canne coupée en argile humide pour enregistrer une quantité d'orge. C'est à cela que servait l'écriture : un temple devait compter le grain. En un millier d'années, les gens utilisaient les mêmes marques pour écrire un poème sur un roi qui ne pouvait accepter que son ami soit mort. La ville et la langue sont parties, et le poème est encore lisible.
Vers 300 av. J.-C. à Alexandrie, Euclide a prouvé qu'il n'existe pas de plus grand nombre premier. La preuve est toujours correcte. Elle le sera pour toujours, sur n'importe quelle planète, en n'importe quel siècle. Rien d'autre que cette ville a produit n'a survécu intact : la bibliothèque a disparu, le port s'est envasé, la langue dans laquelle ils débattaient est laissée aux spécialistes. La preuve est passée intacte, parce qu'elle était faite de raisonnement, et le raisonnement ne pourrit pas.
Le travail a bougé. Au IXe siècle à Bagdad, al-Khwarizmi a écrit le livre qui nous a donné le mot algèbre, et vers 1020 Ibn al-Haytham a achevé une étude de l’optique reposant sur un principe qu’il a fallu défendre : si l’on veut savoir si une affirmation sur le monde est vraie, il faut aller la tester.
La Renaissance, et le trou dans le toit
Entre 1347 et 1351, la peste a tué environ un tiers de l'Europe. Pas un tiers d'une armée. Un tiers de tout le monde. Des villages sont devenus silencieux et le sont restés, et les survivants ont enterré leurs familles de leurs propres mains.
Et puis ces survivants sont allés chercher le passé. En 1417, un secrétaire papal nommé Poggio Bracciolini, sans emploi pendant un schisme, se rendit dans un monastère allemand et y trouva le dernier exemplaire d’un poème romain qui était resté dans l’obscurité pendant mille ans. C’est ce qu’était la Renaissance sous les tableaux : des gens qui venaient de voir mourir la moitié du monde et qui décidaient de sauver ce qui avait failli être perdu, puis d’y ajouter quelque chose.
Florence est allée plus loin. Sa cathédrale avait été commencée en 1296 selon un plan prévoyant un dôme plus large que tout ce qui avait été élevé depuis Rome, et personne alors vivant ne savait comment le construire. On a donc bâti l'église et laissé le trou. Pendant des décennies, une ouverture subsistait dans ce toit, large comme un pâté de maisons, ouverte aux intempéries, parce qu'une ville avait parié qu'une personne pas encore née trouverait comment le fermer.
Filippo Brunelleschi remporta la commande en 1418. Il inventa les treuils avant de pouvoir soulever la pierre. Il posa plus de quatre millions de briques en spirale en chevron qui se maintenait d’elle-même en s’élevant, sans charpente en bois en dessous, et en 1436 il ferma le trou. Vous pouvez l’escalader aujourd’hui.
Florence a laissé un trou dans le toit et a fait confiance au futur pour le fermer. Si Brunelleschi avait échoué, Florence aurait perdu une cathédrale. La ville autour aurait continué à vivre. Personne ne se tenait sous ce trou.
Ceci est proche de l'histoire que l'industrie de l'IA raconte sur elle-même. Laissez la partie dure ouverte, croyez que quelqu'un de brillant arrive à temps. La différence est ce qui se trouve sous le trou. Un dôme raté coûte à une ville sa cathédrale. Nous proposons de laisser le trou au-dessus de tout le monde.
Le reste est venu vite. La presse de Gutenberg dans les années 1450 signifiait qu’une pensée pouvait distancer l’homme qui l’avait eue. En une seule année, 1543, Copernic déplaça la Terre du centre de la création et Vésale ouvrit le corps humain et dessina ce qui s’y trouvait réellement, contredisant tous deux des autorités qui étaient restées incontestées pendant quatorze siècles.
Le siècle où nous avons cessé d'enterrer nos enfants
En 1800, près de quatre enfants sur dix mouraient avant leur cinquième anniversaire. Pas seulement dans les pays pauvres. Partout. C’était ce que signifiait avoir des enfants, dans toutes les sociétés, pendant toute l’histoire de notre espèce jusqu’à environ six générations en arrière. Aujourd’hui, c’est moins d’un sur vingt-cinq.
Cela a pris le vaccin de Jenner en 1796. Cela a pris le matin du 16 octobre 1846, quand un dentiste de Boston a endormi un patient et que la chirurgie a cessé d’être une torture infligée à une personne consciente maintenue par des hommes forts. Cela a pris Semmelweis, qui a compris en 1847 que les médecins transmettaient la mort de la salle d’autopsie à la salle d’accouchement sur des mains non lavées, et qui est mort dans un asile alors que la profession refusait encore d’écouter.
Et il a fallu l’éradication de la variole, une maladie visible sur le visage d’un pharaon, qui a tué peut-être trois cents millions de personnes au XXe siècle seulement. La dernière personne à l’avoir contractée naturellement était un cuisinier d’hôpital en Somalie nommé Ali Maow Maalin, en octobre 1977. Il a survécu. Il a passé le reste de sa vie à vacciner des enfants somaliens contre la polio, et il est mort du paludisme en 2013 en le faisant.
La variole tue des gens depuis les pharaons. Les humains l'ont ensuite chassée de la terre pour de bon, à la main, vaccinant un bras à la fois, à travers chaque frontière et à travers des guerres actives. Cette fin n'allait pas arriver seule, et ce n'était pas libre, et presque tous ceux qui faisaient le travail étaient morts bien avant le dernier cas.
Les fois où nous avons failli y mettre fin quand même
Nous sommes devenus assez intelligents pour nous anéantir en 1945, et nous vivons avec cela depuis lors.
Le 27 octobre 1962, un sous-marin soviétique près de Cuba perdit le contact radio, subit des charges de profondeur américaines et son capitaine conclut que la guerre avait commencé. La torpille à bord portait une ogive nucléaire, et son tir nécessitait l'accord de trois officiers. Vassili Arkhipov dit non tandis que la coque tremblait autour de lui. Vingt et un ans plus tard, Stanislav Petrov vit sur un écran soviétique cinq missiles américains entrants et dit à ses supérieurs qu'il s'agissait d'un dysfonctionnement. C'était le soleil sur des nuages élevés.
Deux fois, au minimum, tout le monde en vie est descendu vers un homme fatigué dans une chaise qui a choisi de ne pas transmettre le message. Nous avons appris leurs deux noms des décennies plus tard.
Nous avons aussi choisi, cependant. En 1972, le monde a interdit les armes biologiques. En 1987, tous les pays de la Terre ont signé le Protocole de Montréal, le premier traité de l ' histoire de l ' ONU à parvenir à une ratification universelle, et la couche d ' ozone se régénère dans les délais prescrits. L'humanité a regardé droit à une capacité qu'elle était pleinement capable de construire et non, ensemble, par écrit, avec les inspecteurs.
Cent dix-sept milliards
Le Population Reference Bureau estime à environ 117 milliards le nombre de personnes qui ont jamais vécu. Chacune d’elles est en amont de vous.
La femme qui a enterré quatre enfants et s'est levée le lendemain matin. Le moine copie une langue qu'il ne comprenait que moitié, parce que l'alternative était de laisser disparaître. Les maçons de Brunelleschi, à 100 pieds, sans rien sous eux. Le cuisinier en Somalie avec une aiguille et une boîte froide, marchant vers le village suivant. Ils l'ont remis en avant, la plupart du temps sans savoir vers quoi ils la remettaient.
Et une poignée d'entreprises ont décidé que la bonne chose à faire avec elle est de s'affronter vers une esprit qui dépasse chaque humain en tout, selon un calendrier fixé par les cycles de financement. En mai 2023, leurs dirigeants ont inscrit leurs noms dans une déclaration plaçant l'extinction de l'IA à côté des pandémies et de la guerre nucléaire comme une priorité mondiale. Ils l'ont écrit sur leur propre produit, l'ont publié et ne ralentissent pas.
La superintelligence artificielle est une chose qu'un petit nombre de personnes bien financées choisissent de construire, dans une course aucun d'entre eux ne peut décrire la ligne d'arrivée de. Il peut être interdit la façon dont nous avons interdit les autres choses que nous aurions pu construire et qui n'ont pas: d ' interdiction internationale contraignante, vérifiée indépendamment, tenu en permanence. La superintelligence ne peut être contrôlée par les humains. Une pause qui expire dans six mois ne ferait que redémarrer la même course.
Je veux le futur, et plus tôt que nous ne l'obtiendrons. L'IA étroite est déjà fournir les remèdes et l'énergie propre, sous contrôle humain, sans construire un esprit qui dépasse notre espèce.
Personne ne nous a promis que l'humanité continuerait. Les 117 milliards de personnes derrière nous n'ont pas eu cette promesse non plus. Chacun d'eux a vécu une période d'années et est mort avec d'autres personnes encore ici, ce qui est tout ce que n'importe qui obtient. Ce qui serait impardonnable, c'est que cette génération retienne le monde que ces gens ont quitté, regardant les constructeurs mettre l'extinction à côté de la guerre nucléaire par écrit, et laisser ensuite ces mêmes entreprises construire une superintelligence qu'ils ne peuvent contrôler.
Nous avons survécu à la peste, puis nous sommes allés reconstruire la bibliothèque. On a mis une main sur un mur dans l'obscurité pour que quelqu'un le trouve, et quelqu'un l'a fait. Nous sommes allés trop loin pour mourir d'un lancement de produit: un laboratoire expédiant une superintelligence qu'il ne peut contrôler.
Ne construisez pas de superintelligence artificielle. Continuez ensuite à construire le reste : la médecine, l'énergie, le long travail qui reste entre les mains humaines. Personne n'a jamais eu besoin d'un esprit qui dépasse notre espèce.