Ce texte diagnostique pourquoi le domaine est en manque. Partie 2, Comment la sécurité de l'IA atteint un milliard de dollars par an détaille comment il pourrait atteindre cinq fois ce budget, et d'où viendrait l'argent.
Demandez aux gens de deviner combien le monde dépense pour s'assurer que l'superintelligence va bien, et la plupart des terres quelque part dans les milliards. Les scientifiques qui la construisent continuent de l'avertir qu'il pourrait être dangereux; sûrement la réponse est financée comme un problème grave. Ajoutez chaque subvention philanthropique, chaque programme de sécurité du gouvernement et chaque dollar que les laboratoires frontaliers dépensent pour leurs propres équipes de sécurité, et le total s'élève à 190 millions de dollars par année. L'investissement mondial dans les capacités d'IA est maintenant d'environ 1 000 milliards de dollars par an. Pour chaque millier de dollars dépensés pour rendre l'IA plus puissante, moins d'un dollar est dépensé pour la rendre sûre.
Le chiffre de 190 millions de dollars mérite d'être examiné, car les estimations dans ce domaine sont vraiment floues. Les totaux publiés vont d'environ 110 à 250 millions de dollars par an selon que l'on compte les instituts gouvernementaux, les équipes internes aux laboratoires et le travail académique. Ce qui suit est notre propre comptabilité, établie à partir des bases de données publiques de subventions et des divulgations budgétaires, bailleur par bailleur.
D'où vient l'argent
| Source | Env. par an |
|---|---|
| Open PhilanthropySoutenu par Good Ventures ; plus de 336 M$ pour la sécurité de l'IA depuis 2014, environ 46-50 M$ par an récemment | 50 millions de dollars |
| Équipes de sécurité des laboratoires de pointeRecherche interne sur la sécurité chez Anthropic, OpenAI, Google DeepMind, estimée, non divulguée | 35 M$ |
| Fonds de survie et d'épanouissementSoutenu principalement par Jaan Tallinn ; son tour 2024 à lui seul a alloué plus de 19 M$ | 30 M$ |
| Gouvernement UKAI Security Institute plus le programme Safeguarded AI de £59M d'ARIA | 30 M$ |
| Autres philanthropies et individusLongview Philanthropy, le Long-Term Future Fund, des fondations plus petites, des donateurs individuels | 25 M$ |
| US, EU et autres gouvernementsCAISI du NIST, programmes de sécurité de la NSF, le Bureau de l'IA de EU | 20 millions de dollars |
| Total | - 190 millions de dollars |
Deux choses sautent aux yeux. Premièrement, ce n’est pas un domaine diversifié. Une seule fondation privée fournit plus du quart de l’ensemble des financements, et plus de la moitié de l’argent philanthropique. Deuxièmement, la part gouvernementale est récente et fragile, la plupart datant de 2023, et les instituts UK et US ont tous deux supprimé le mot « sécurité » de leur nom dans les deux ans suivant leur création.
Où va l'argent
Aucun bailleur ne publie de ventilation des dépenses par objectif, nous avons donc classé les subventions nous-mêmes : nous avons pris chaque source ci-dessus, trié ses subventions et programmes connus en catégories, puis additionné l'ensemble des bailleurs. La base de données publique des subventions d'Open Philanthropy indique environ 28 millions de dollars de subventions de sécurité technique pour 2024, dont 68 % sont allés aux évaluations et au benchmarking. L'Institut de sécurité de l'IA de UK est, par mandat, un organisme d'évaluation, tandis que le programme Safeguarded AI d'ARIA est de la recherche technique. Les bénéficiaires du Survival and Flourishing Fund couvrent le travail technique (MIRI), les évaluations (METR, Apollo Research) et le plaidoyer (le CAIS Action Fund). Le programme IA de Longview penche vers la gouvernance. Les budgets internes des laboratoires sont presque entièrement techniques. Le résultat:
| Ce qu'il paie | Env. par an | Partager |
|---|---|---|
| Recherche sur la sécurité techniqueAlignement, interprétabilité, robustesse, équipes de labos, ARIA, NSF, milieu universitaire, organisations à but non lucratif | 80 millions de dollars | 42% |
| Évaluations de modèles et benchmarkingTests de capacités dangereuses, UK AISI, METR, Apollo, subventions d'évaluations d'Open Phil | 50 millions de dollars | 26% |
| Recherche sur la gouvernance et les politiquesConception de traités, normes de sécurité, gouvernance du calcul | 30 M$ | 16% |
| Développement du domaine & talentsBourses, programmes de formation à la recherche, parcours professionnels | 20 millions de dollars | 11% |
| Plaidoyer et engagement publicCampagnes, lettres ouvertes, organisation de base | 10 millions de dollars | 5% |
Les totaux par catégorie sont des estimations construites sur des estimations, et de nombreuses subventions chevauchent plusieurs rubriques : un organisme d’évaluation réalise des travaux techniques ; un institut de gouvernance propose des bourses. Mais la répartition globale résiste à tout reclassement raisonnable : la recherche technique et les évaluations absorbent environ les deux tiers des fonds, tandis que le plaidoyer (le travail consistant à faire réellement évoluer les gouvernements et les entreprises) en reçoit un vingtième.
Avatar : La Voie de l’eau a coûté plus cher à produire que ce que le monde entier consacre à la sécurité de l’IA en une année. Un seul cluster d’entraînement de pointe coûte plus qu’une décennie de budget total du domaine. Le gouvernement fédéral US dépense le total annuel du domaine en défense environ toutes les dix minutes.
Première raison : un seul financeur dominant
La majeure partie de l’argent philanthropique consacré à la sécurité de l’IA, plus de la moitié, provient d’une seule source : Good Ventures, la fondation du cofondateur de Facebook Dustin Moskovitz et de Cari Tuna, via Open Philanthropy. Cette concentration a des conséquences au-delà de la fragilité. Quand une organisation sort du périmètre que Good Ventures finance, le reste du vivier de donateurs est si peu profond que, selon une estimation d’un ancien responsable de subventions dans le domaine, elle doit franchir une barre de financement 1,5 à 3 fois plus élevée que les autres. Et quand le principal bailleur change de priorités, tout le champ change avec lui : les subventions de sécurité technique d’Open Philanthropy sont passées d’un pic de plus de 60 millions de dollars en 2022 à 28 millions de dollars pour les subventions répertoriées en 2024, la plupart des fonds restants allant aux évaluations. Aucun autre bailleur n’est intervenu pour combler l’écart. Dans un domaine sain, la réunion du conseil d’administration d’un seul donateur ne peut pas remodeler l’agenda de recherche. Ce n’est pas encore un domaine sain.
Raison deux : aucune circonscription
La recherche sur le cancer récolte des dizaines de milliards par an parce que tout le monde connaît quelqu’un. La philanthropie climatique a dépassé 10 milliards par an parce que les dégâts sont visibles et que le mouvement a cinquante ans. Le risque lié à l’IA n’a ni patients, ni villes inondées, ni familles endeuillées ; le dommage qu’il annonce ne s’est pas produit et, si le domaine réussit, ne se produira jamais. Prévenir un risque qui ne s’est jamais matérialisé est l’un des arguments de collecte de fonds les plus difficiles qui soient. Les personnes les plus convaincues par l’argument sont généralement des chercheurs, pas des milliardaires, et l’inquiétude du grand public à l’égard de l’IA (que les sondages jugent réelle et croissante) n’a pas de case de don évidente.
Troisième raison : les laboratoires ont absorbé le domaine
Une grande partie des personnes qualifiées pour faire de la recherche sur l’alignement travaillent chez Anthropic, OpenAI ou Google DeepMind, à des niveaux de rémunération qu’aucune organisation à but non lucratif ne peut égaler. Cela déforme deux fois le paysage du financement. Cela donne l’impression que la sécurité est mieux dotée qu’elle ne l’est, car le travail de sécurité le plus visible se fait à l’intérieur d’entreprises disposant d’énormes budgets. Et cela lie une grande partie de l’agenda de recherche du domaine au jugement commercial : les dépenses de sécurité d’un laboratoire sont réelles, mais ce sont des dépenses que le laboratoire choisit, sur des questions qu’il priorise, publiables à sa discrétion et annulables quand les priorités changent, comme l’a montré OpenAI en dissolvant son équipe Superalignment en 2024, un an après avoir publiquement engagé 20 % de sa puissance de calcul sur le sujet. La recherche de sécurité indépendante existe précisément pour poser les questions que les laboratoires ne poseront pas, et l’indépendance est exactement ce que l’argent ne finance pas à grande échelle.
Raison quatre : l'argent évite la politique
La plus petite part du graphique (5 % pour le plaidoyer) est peut-être la plus déterminante. Le droit des fondations US limite le montant du lobbying qu’une fondation 501(c)(3) peut financer, et la plupart des bailleurs institutionnels sont encore plus prudents que la loi ne l’exige, de peur de politiser l’ensemble de leurs subventions. Résultat : le secteur consacre 160 millions de dollars par an à la recherche et aux évaluations, et environ 10 millions pour s’assurer que les décideurs agissent en conséquence. Les organisations qui mènent un travail politique direct (PauseAI, ControlAI, le bras de campagne du Future of Life Institute) fonctionnent avec des budgets qui feraient honte à une campagne parlementaire de taille moyenne. Quelle que soit l’opinion que l’on a de leurs méthodes, l’asymétrie est criante : les plus grandes entreprises technologiques dépensent chacune, en lobbying fédéral seulement, plus que tout le champ de la sécurité n’en consacre au plaidoyer.
Ce qui changerait cela
L'arithmétique du champ signifie que de petites quantités le déplacent. Un nouveau donateur qui verserait 5 millions de dollars par an figurerait instantanément parmi les principaux bailleurs de fonds de la défense de la sécurité de l'IA sur Terre. Un gouvernement qui consacrerait un dixième de 1 % de son budget de défense à la recherche sur la sécurité ferait à peu près le double du total mondial. C'est la cause rare où le goulot d'étranglement n'est pas une capacité d'absorption (les bailleurs de fonds eux-mêmes disent publiquement qu'ils ne peuvent pas couvrir les opportunités qu'ils voient) mais simplement le nombre de personnes qui font des vérifications.
L'argent est un levier; la politique est l'autre, et il ne nécessite pas de richesse personnelle.
Voici d'où vient l'argent, où il va et pourquoi le montant reste si faible.