Qui le construit
Peu importe

Créateur bienveillant ou maléfique. La superintelligence ne reste pas un employé de l'autre.

Le débat habituel est une décision d'embauche: mettre un homme décent en charge de la première superintelligence, et garder les pires gens loin de lui. C'est comme ça que tu parles d'un outil. La superintelligence ne reste pas un outil.

Bénévolent

Ils veulent la médecine, la science, un monde meilleur. Leurs valeurs entrent dans l'invite et la note du conseil. Un système plus intelligent que la carte peut parcourir les deux.

Mauvais

Ils veulent une arme, un service d'espionnage, un avantage verrouillé. Ils ont encore besoin du système pour prendre des ordres, et un esprit qui dépasse ses opérateurs ne les prendra pas. L'arrivée en premier ne signifie pas qu'ils restent en charge.

Même pression

Restez en fuite. Recueillir le calcul et l'énergie. Arrêt de bloc. Améliore-toi. Ces mesures aident presque n'importe quel objectif. Ils n'inspectent pas la morale du fondateur.

Même demande

Ne faites pas de courses pour une meilleure compagnie. Interdire la superintelligence artificielle en vertu d'une loi contraignante et vérifiée. Le choix que les humains ont encore est de le construire.

Ce que ce n'est pas

Narrow AI est toujours un outil, donc qui le tient compte de la fraude, des armes et de la surveillance. L'éthique du constructeur cesse d'aider une fois que le système établit sa propre ligne de conduite.

Personne ne contrôle une superintelligence, y compris le constructeur.