Comment passez-vous 5 minutes quand la personne de l'autre côté de la table pense toujours AI signifie ChatGPT rédiger un email? Le mécanisme s'empile, les yeux brillent. Doom s'accumule, et les gens vous déposent avec le prédicateur de rue et retournent au dessert. Ce qui survit à un étranger sceptique et intelligent est cinq mouvements, dans cet ordre.

Ils imaginent le chatbot

Quand quelqu'un entend "AI", ils imagent l'assistant sur leur téléphone ou l'application qui fait des images stupides. Commencez là et la salle est déjà partie, parce qu'ils savent que le chatbot ne mettra pas fin au monde. Déplacez la cible dans les quinze premières secondes.

Le danger est une machine meilleure que le meilleur humain dans chaque tâche qui importe, y compris la tâche de concevoir de meilleures machines. Le nom pour cela est superintelligence artificielle, et nous ne l'avons pas encore. Ce que nous avons, c'est une intention déclarée. Les plus grandes entreprises d'IA au monde disent que la construire est leur objectif, et plusieurs d'entre elles s'attendent à y parvenir en quelques années plutôt qu'en plusieurs générations. La plupart des gens ignorent ce simple fait, et ce fait fait l'essentiel du travail. Construire un esprit plus intelligent que nous est le projet principal des laboratoires les mieux financés du monde. Ils vous le diront eux-mêmes.

Personne ne sait contrôler une machine plus intelligente qu'eux-mêmes.

Nous en construisons un de toute façon.

Le problème consistant à faire en sorte qu'une IA puissante veuille de manière fiable ce que veulent ses créateurs, et continue à le vouloir à mesure qu'elle devient plus capable, a un nom : le problème de contrôle. C'est non résolu. Les ingénieurs au sein de ces entreprises diront la même chose si vous leur posez la question en l'absence d'un responsable de la communication. Ils peuvent augmenter les capacités d'un modèle bien plus vite qu'ils ne peuvent accroître leur confiance qu'il fera ce qu'ils avaient prévu. La distance entre ces deux courbes est là où réside le risque.

Nous construisons intentionnellement un esprit plus intelligent que le nôtre, avant d’avoir la moindre idée de comment le garder dirigé vers nous.

Pourquoi "plus intelligent" est tout le problème

Les gens sous-estiment le mot "plus intelligent". L'intelligence a mis les humains en charge de cette planète. Nous ne sommes pas les créatures les plus grandes ou les plus fortes qui aient jamais vécu. On dirige l'endroit parce qu'on pense à tout le reste. L'avenir du gorille de montagne dépend des décisions prises par nous, pas des gorilles, et non pas parce que quelqu'un déteste les gorilles. Nous avons des objectifs. La forêt d'un gorille se trouve parfois là où ces objectifs veulent aller.

Maintenant imaginez construire quelque chose qui nous tient à l'écart du gorille. Si ses buts et les nôtres se séparent, l'hostilité est facultative : un système mieux conçu que nous, pointé sur autre chose, est déjà suffisant, et une version ultérieure de la même configuration ne le corrige pas.

L'interrupteur et la science-fiction

Le premier : nous l'éteignions simplement. Un système assez intelligent pour être dangereux est assez intelligent pour remarquer qu'être éteint l'empêcherait de terminer ce qu'il était prévu de faire. Il a donc une raison d'empêcher cela, en se copieant ailleurs ou en se rendant trop utile pour débrancher. La foi dans l'interrupteur d'arrêt suppose que nous restons la fête plus intelligente dans la pièce. La prémisse de l'inquiétude est que nous ne le serions pas.

La seconde : c'est de la science-fiction. C'était, jusqu'à ce que les systèmes commencent à passer des tests, nous étions sûrs qu'il faudrait des décennies et faire le travail que nous pensions être humain en toute sécurité. Personne n'a de rendez-vous digne de confiance. Les chercheurs les plus proches des travaux ont cessé tranquillement d'appeler la superintelligence loin, et leur calendriers publiés continuez à vous rapprocher au lieu de vous éloigner.

Terminez là où ils peuvent faire quelque chose

L’erreur que j’ai commise pendant des années a été de m’arrêter à la peur. Laisser une personne effrayée sans rien à faire et elle classe le sujet sous « trop grand pour y penser » avant de retourner à sa soirée. Consacrez la dernière minute à ce que les gens manquent.

Ceci est évitable.

Aucune loi de la nature n’exige une superintelligence cette décennie, ni même jamais. Un petit nombre d’entreprises choisissent de la construire et un petit nombre de gouvernements choisissent de les laisser faire. Ces choix peuvent être défaits. Ce que la Fondation demande, c’est un accord entre les grandes puissances pour interdire de manière permanente la construction de superintelligence. La superintelligence ne peut pas être contrôlée par les humains. L'humanité a l'a déjà fait, avec des armes que chaque camp voulait et qu'aucun ne pouvait utiliser en toute sécurité. Un traité entre rivaux est moins fantaisiste qu'il n'y paraît au premier abord.

Ce qui se tient entre nous et cela est une décision que les gens peuvent encore prendre.

Cinq minutes

  1. Ce n'est pas le chatbot. L'objectif que ces entreprises ont nommé à voix haute est une machine plus intelligente que nous en tout, et elles l'attendent dans quelques années.
  2. Personne ne sait comment contrôler quelque chose de plus intelligent que nous. Les capacités dépassent le contrôle, et cet écart est le danger.
  3. L’intelligence est ce qui a placé les humains au sommet. Construisez quelque chose au-dessus de nous, et ses objectifs, pas les nôtres, fixent les termes.
  4. « L’éteindre » et « c’est de la science-fiction » supposent tous deux que nous restons aux commandes. L’inquiétude entière est que nous ne le serions pas.
  5. C'est évitable. La superintelligence est construite par choix, et ce choix peut être refusé, ensemble, tant qu'il reste du temps.

Cinq minutes avec quelqu'un prêt à écouter, c'est pour amener les gens à demander, "attendez, pourquoi quelqu'un construit cela?"