"Je suis optimiste. La race humaine ne disparaîtra sûrement pas. C'est jamais arrivé avant."
Vous l'entendez après des panneaux de sécurité, dans des salles vertes et des fils de commentaires, généralement avec un sourire qui est censé fermer le sujet. Le sourire fait du vrai travail social. Il peint la prudence comme un défaut de personnalité et l'élan comme santé émotionnelle. Il fait aussi passer en contrebande une revendication de risque dans une humeur.
L'optimisme est permis. Ce qui est interdit, si nous faisons encore un travail sérieux, c'est de traiter un tempérament comme une preuve.
Ce que "jamais arrivé avant" dit en fait
L'extinction humaine, par définition, n'a plus de témoins humains. Chaque personne vivante est échantillonnée à partir des échéanciers dans lesquels l'espèce a continué. Appeler la sélection, pas la philosophie: un gagnant de loterie est une mauvaise source sur les chances de gagner, et "Je n'ai jamais mort dans un accident de voiture" est un mauvais argument contre les ceintures de sécurité.
Les fossiles sont moins sentimentaux. La grande majorité des espèces qui ont jamais vécu ont disparu. Plusieurs extinctions de masse ont nettoyé la planche pour ce qui est arrivé ensuite. Homo sapiens est jeune en temps géologique et a déjà traversé les goulets d'étranglement, les fléaux, et les guerres qui auraient pu nous mettre dans un rouleau plus froid des dés. "N'est jamais arrivé avant" est une déclaration sur la mince tranche de l'histoire que nous pouvons encore discuter. Ce n'est pas un bouclier.
Les premières fois sont ce dont les catastrophes sont faites
Avant 1945, aucune ville n'avait été détruite par une seule bombe. Avant 1918, aucune pandémie n'avait monté les réseaux ferroviaires et maritimes mondiaux à cette vitesse. Avant les années 1980, personne n'avait mené l'expérience humaine d'éclaircir la couche qui empêche la lumière ultraviolette de stériliser la surface. Chacun d'eux était, avant, quelque chose qui ne s'était jamais produit auparavant. Les personnes qui ont agi n'ont pas attendu qu'une instance complète soit disponible comme étude de cas.
La superintelligence artificielle est dans ce seau. Il n'y a pas de série historique de super-intelligences désalignées à la moyenne. Il y a un mécanisme : les systèmes qui poursuivent des objectifs, améliorent leurs propres capacités et finissent par dépasser les institutions destinées à les corriger. Le mécanisme est ce que vous utilisez lorsque les taux de base sont silencieux. Exiger une extinction humaine antérieure de l'IA avant de prendre le mécanisme au sérieux exige le cadavre avant le diagnostic.
Chaque première catastrophe ressemble à quelque chose qui ne s'est jamais produit auparavant. C'est la description de la catégorie, et non l'assurance.
Optimisme, bien ciblé
Il y a une version de l'optimisme que je respecte. Cela dit : les gens se sont déjà coordonnés sous pression. Des traités ont été conclus. Les industries ont été contraintes de changer de cap lorsque la science était claire et la politique s'est organisée. Les acte de retenue est réel, du contrôle des armes nucléaires aux produits chimiques qui mangeaient la couche d'ozone. Cet optimisme se fait sentir. Il suppose que l'avenir reste une décision.
La version Greenroom fait le contraire. Elle traite la survie comme le paramètre par défaut de l'univers et la préoccupation comme de mauvaises manières. Il confond "je préfère de bons résultats" avec "de bons résultats sont donc probables". La préférence n'est pas une probabilité.
Lorsque Geoffrey Hinton, Yoshua Bengio et des centaines de chercheurs ont placé le risque d'IA au niveau de l'extinction sur la même liste que les pandémies et la guerre nucléaire, ils ont fait la chose ennuyeuse que les experts font quand un mécanisme semble sain et l'inconvénient est total, pas auditionner pour les méchants dans une keynote technique. Vous pouvez être en désaccord avec leurs chiffres. Vous ne pouvez pas rejeter la catégorie en annonçant votre type de personnalité.
Le coût de la pulpe
Le shrug fait du travail pour les gens qui ont besoin de la construction pour continuer sans se battre. Si la discussion sur l'extinction est reformulée comme un problème d'ambiance, alors le seul geste poli est de changer le sujet à la productivité et aux applications. Entre-temps, l'échelle des labos, le décalage des evals, problème de contrôle reste non résolu. L'humeur a été confondue avec la gouvernance.
Je veux que le projet humain se poursuive. C'est la raison pour laquelle cette fondation existe. Je veux que ce soit la moitié facile. La moitié la plus difficile est de refuser une voie de développement qui concentre une puissance non correcte dans les systèmes que personne ne peut éteindre de façon fiable, et de faire le travail politique arrêt de liaison demande. Appelez cet optimisme si le mot signifie toujours quelque chose. Si ça veut seulement dire "arrêter de parler de l'inconvénient", c'est devenu une berceuse.
L'extinction ne nous est jamais arrivée auparavant. C'est la condition d'ouverture de chaque histoire qui finit mal. Ce n'est pas un argument que celui-ci finira bien.
Questions communes.
L'humanité n'a-t-elle pas survécu à toutes les prédictions du passé ?
L'humanité a survécu aux risques qu'elle a survécus. C'est une tautologie, pas une prévision. Nous avons aussi une longue histoire d'extinctions d'espèces, d'effondrements de la civilisation et de quasi-mauvaises technologies qui auraient pu nous mettre fin. La survie passée est ce que vous observeriez jusqu'au premier échec qui ne quitte pas les observateurs.
L'optimisme n'est-il pas plus sain que la mort ?
Le tempérament n'est pas la question. La question est de savoir si une voie de développement spécifique concentre la puissance de niveau d'extinction dans les systèmes que personne ne peut contrôler de façon fiable. Vous pouvez être joyeux au dîner et toujours refuser de construire cela. La tristesse sans programme est inutile; ainsi est la joie qui interdit de regarder le mécanisme.
À quoi ressemblerait un véritable optimisme sur l'IA ?
Agissez comme si l'avenir était encore possible. Construire le traité, les inspections, et la coalition politique qui maintiennent la superintelligence hors de la table jusqu'à ce que le contrôle soit réel. C'est plus dur qu'un shrug. C'est aussi le seul optimisme qui ait encore un sujet à apprécier.