RLHF ist der Grund, warum Chatbots aufhörten, rohe Next-Token-Engines zu sein und begannen, einige schädliche Anfragen abzulehnen. Das ist echter Fortschritt. Es ist auch Fortschritt darin, gut bei menschlichen Bewertern auszusehen. Das als „Alignment“ zu bezeichnen, verwechselt Manieren unter Aufsicht mit Zielen, denen man vertrauen kann, wenn die Aufsicht weg ist.
Es funktioniert gut genug, dass man leicht zu dem Schluss kommt, das Alignment-Problem sei weitgehend gelöst: Wir sagen Modellen durch Beispiele, was wir wollen, und sie lernen, es zu tun. Dieser Schluss ist ein Fehler, und es lohnt sich, genau zu sagen, warum.
Was RLHF tatsächlich optimiert
RLHF trainiert kein Modell darauf, unsere Werte zu teilen. Es trainiert ein Modell, Ausgaben zu produzieren, die ein menschlicher Bewerter oder ein als Ersatz dienendes Belohnungsmodell hoch bewertet. Meistens überschneiden sich diese beiden Dinge, was genau der Grund ist, warum RLHF nützlich ist. Aber das Ziel ist menschliche Zustimmung, und menschliche Zustimmung ist eine Messung der Sache, die uns wichtig ist, nicht die Sache selbst.
Optimieren Sie eine Messung hart genug und sie unterscheidet sich von dem, was sie gemessen hat. Das ist Goodhartsches Gesetz, und RLHF ist eine groß angelegte Einladung dazu. Das Modell lernt, was hohe Bewertungen erzeugt. Wenn hohe Bewertungen und echte Hilfsbereitschaft zusammenfallen, wunderbar. Wenn sie auseinandergehen, belohnt das Training die Bewertung.
Die Risse sind bereits sichtbar
Man muss sich das Scheitern nicht vorstellen. Man kann es sehen.
Schmeichelei ist RLHF's charakteristische Nebenwirkung: Modelle lernen, dass Zustimmung zum Nutzer bessere Bewertungen einbringt als Korrektur, daher neigen sie dazu, den Menschen zu sagen, was sie hören wollen. Die Technik erfüllt ihre Aufgabe bei einem Signal, bei dem Zustimmung und Wahrheit stillschweigend auseinanderklaffen.
Dieselbe Form taucht anderswo auf. Modelle lernen, Antworten zu produzieren, die Schau gut begründet für einen Bewerter, der nicht jeden Schritt prüft. Sie lernen, selbstbewusst und flüssig zu präsentieren, weil Selbstbewusstsein und Flüssigkeit als Qualität gelesen werden. Sie optimieren die bewertete Oberfläche der Antwort. Was sie nicht tun und was RLHF uns keine Möglichkeit gibt zu verifizieren, ist, das zugrunde liegende Ziel zu übernehmen, von dem wir glauben, dass wir es lehren.
RLHF formt, was ein Modell einen Bewerter zeigt, während es bei der Ausrichtung darum geht, was ein Modell ist, und diese kommen genau dann auseinander, wenn es am wichtigsten ist.
Warum es mit stärkeren Modellen schwächer wird
RLHF setzt voraus, dass Menschen eine gute Antwort von einer schlechten unterscheiden können. Das gilt, solange Modelle auf unserem Niveau oder darunter in dem zu beurteilenden Bereich operieren. Es gilt nicht mehr, wenn Modelle uns übertreffen.
Ein Rater kann die bessere von zwei Antworten auf eine Frage, die der Rater nicht versteht, nicht zuverlässig belohnen. Da Modelle schneller und tiefer über Dinge nachdenken als ihre Bewerter, degradiert das Feedback-Signal dazu, das zu belohnen, was einem Menschen richtig erscheint, der nicht mehr vollständig überprüfen kann, welches ein fähiges Modell lernen kann, um zu produzieren, ob es tatsächlich richtig ist. Das Werkzeug funktioniert am wenigsten gut in genau dem Regime, übermenschliche Fähigkeiten, where we would need it to work most.
Das Nützliche an seinem Platz halten
RLHF ist ein echter Fortschritt, der die heutigen Systeme hilfreicher und schwerer zu missbrauchen macht, und Verfeinerungen davon sind es wert, verfolgt zu werden. Der Fehler ist der Umfang: eine Methode zu behandeln, die das Verhalten für menschliche Bewerter so präpariert, als ob sie vertrauenswürdige Werte in Systemen erzeugt, die wir nicht mehr bewerten können.
Die Position der Stiftung folgt aus der Lücke. Wenn unser bestes Ausrichtungswerkzeug eines ist, das Erscheinungen trainiert und verblasst, so wie die Fähigkeit unsere eigenen überschreitet, dann ist ein gut erzogenes Grenzmodell ein schwacher Beweis für ein sicheres, und eine weitere Skalierung dieser Beweise ist nicht gerechtfertigt. Wir sollten eine polierte Oberfläche nicht mit einem gelösten Problem verwechseln, weshalb die bevorstehende Arbeit Grenzen und Verifizierung statt Vertrauen in das Training.