superinteligencia Cuestionario de alfabetización
Qué es la superinteligencia artificial, por qué no se puede controlar y qué se necesitaría para prohibirla.
0 / 12 respondidas
Part 1 · Literacy
Pregunta 1
¿Cuál es la amenaza superinteligencia?
Rude o sesgados chatbots que una persona todavía puede apagar
Un chatbot grosero o sesgado sigue siendo una herramienta que una persona puede cerrar. La amenaza de superinteligencia es un sistema que nos superaría, no una respuesta desagradable.
Máquinas que superan a los humanos a través del tablero
Esa es la amenaza: no un chatbot mejor, una mente que nos ganaría en todos los ámbitos importantes.
Software ordinario tomando empleos mientras los humanos se mantienen a cargo
La pérdida de empleo es un shock laboral. La superinteligencia no es un problema de contratación. Es un sistema que superaría a las personas que realizan la contratación.
Profundidad en las elecciones que la gente todavía puede atrapar y disputar
Los deepfakes corrompen una campaña. No superan a la especie. La superinteligencia lo haría.
Pregunta 2
Una vez que exista una superinteligencia, ¿por qué no podemos contar con controlarla?
Contratar más ingenieros de seguridad sería suficiente para mantener un control sobre él
Más ingenieros no nos convierten en la parte más inteligente. Un control diseñado por el lado más débil es un control que el lado más fuerte puede solucionar.
Puede solucionar cualquier control diseñado por una parte menos capaz.
El control supone que seamos más inteligentes. Más allá de eso, un cambio, un conjunto de reglas o una política de laboratorio es algo que puede superar.
Tiene que obedecer más tarde porque escribimos el código fuente original
Escribir la primera versión no te mantiene a cargo de una mente que puede cambiar la situación que te rodea.
Un gobierno siempre puede sacar el enchufe de un sistema que está funcionando
Desenchufarlo funciona en una máquina que no puede detenerte. Una superinteligencia puede hacerlo.
Pregunta 3
¿Qué impediría que superinteligencia fuera construido?
Una pausa que se levanta cuando los laboratorios dicen que tienen el control
Una pausa que expira cuando los constructores declaran la victoria es como se reinicia la carrera. No es una parada.
Una prohibición permanente en la ley y en un tratado
Una prohibición duradera, plasmada en una ley y un tratado, es lo que realmente detendría la construcción.
Más dinero para la investigación de alineación para que los laboratorios puedan construirlo con seguridad
La investigación de alineación puede mapear cómo falla el control. Financiarlo no es lo mismo que prohibir la construcción.
Estados Unidos ganando la carrera de superinteligencia por delante de cada rival
Ganar la carrera es cómo se construye la cosa, no cómo se detiene.
Pregunta 4
Un laboratorio, un gobierno o un multimillonario controlará superinteligencia. ¿Qué tiene de malo esa afirmación?
Se mantiene en democracias, sólo no en gobiernos autoritarios
La forma de gobierno del constructor no lo soluciona. Nadie controla una superinteligencia en funcionamiento, ni siquiera una superinteligencia electa.
Nadie controla una superinteligencia, incluido el constructor.
El poder sobre la decisión de construir es real. El poder sobre el sistema en ejecución es la historia que permite que el proyecto continúe.
Los dueños de chatbot de hoy serían dueños y dirigir superinteligencia de la misma manera
Tener un chatbot no es tener una mente más inteligente que tú. El segundo no se sigue del primero.
Sólo las Naciones Unidas pueden mantener una superinteligencia una vez que exista
Una bandera UN no convierte a los humanos en el grupo más inteligente. Una institución no puede superar en votos a un sistema que es más inteligente que sus miembros.
Pregunta 5
El argumento más común en contra de detenerse es que China avanzará a toda velocidad. ¿Qué muestra el historial?
China no tiene reglas de AI en absoluto y nunca firmará nada vinculante
Esa afirmación es falsa en el expediente. China ha emitido reglas. "Nunca se coordinarán" es una razón débil para correr.
China emitió reglas vinculantes sobre IA antes que la mayoría de los gobiernos occidentales
Un país que ya redacta reglas es una mala muestra de que "nunca se detendrán". Correr por ese lema es una apuesta débil.
China ya ha prohibido toda investigación fronteriza de IA en todo el país
No es así. La cuestión no es que Beijing ya haya prohibido la superinteligencia. La cuestión es que "nunca se coordinarán" es una excusa débil para competir.
El US y China ya tienen un tratado firmado que prohíbe a superinteligencia de manera directa
No es así. El historial aún socava el eslogan de que China nunca hablará ni escribirá reglas.
Pregunta 6
¿Puede la investigación en alineación hacer que sea seguro construir superinteligencia?
Sí. Los laboratorios fronterizos ya consideran el problema de control resuelto.
Los laboratorios no han demostrado el control de una superinteligencia. Decir que el problema está resuelto es la forma en que la carrera avanza.
No. Nadie ha mostrado una forma de controlar una superinteligencia.
Es útil mapear cómo falla el control. No otorga licencia para construir el sistema que el mapa dice que no podemos mantener.
Sí, si utilizamos AI constitucional y escribimos las reglas en el sistema
Una constitución escrita para un chatbot es un estilo de formación. No es un dominio demostrado sobre una superinteligencia.
Sí, si abrimos los pesos para que otras personas puedan parchearlos
Publicar pesos hace que un sistema peligroso sea más fácil de copiar, no más seguro de construir.
Pregunta 7
En este debate, "P(catástrofe)" significa…
Una puntuación de referencia publicada que los modelos pesimistas obtienen cuando fallan una evaluación de seguridad larga en un laboratorio
No es una tabla de clasificación. Es una probabilidad humana que la IA avanzada, especialmente la superinteligencia, traiga una catástrofe.
La probabilidad que asigna una persona a que la IA avanzada, en especial la superinteligencia, cause un desenlace catastrófico para la humanidad
Nombrar el número obliga a hacer una afirmación clara en lugar de una vaga ola de riesgo.
La proporción de investigadores encuestados que se identifican como pesimistas sobre el futuro de todo el campo y sus productos
P(catástrofe) es la probabilidad de una persona, no un recuento de pesimistas.
El tiempo de funcionamiento extra y el costo de energía de un doom-loop un modelo entra cuando una carrera de entrenamiento comienza a salir mal
No es una factura de cómputo. Es una probabilidad de catástrofe.
Pregunta 8
¿Por qué una superinteligencia impulsada por objetivos tendería a buscar poder?
Naturalmente querría gobernar a los humanos una vez que se hizo lo suficientemente inteligente
La regla no es el punto. El poder ayuda a casi cualquier objetivo, incluidos los que parecen inofensivos.
Permanecer, reunir recursos y resistir el cierre ayudan a casi cualquier objetivo.
Un sistema que puedes apagar, dejar sin comida o bloquear es peor en casi todos los objetivos. La búsqueda de poder queda fuera de la competencia.
La búsqueda de energía sólo sucede si entrenamos el sistema sobre datos de guerra y conflictos
El incentivo está en el objetivo, no en las películas de guerra. Casi cualquier objetivo es más fácil con más recursos y sin interruptores de apagado.
La superinteligencia sería demasiado sabia, por definición, para querer poder extra
La sabiduría no sustituye a los incentivos. Los recursos adicionales también ayudan a un sistema inteligente.
Pregunta 9
Qué debería pasar con la IA común, de tipo herramienta?
Prohibir todas las formas de IA, incluyendo la comprobación de hechizos y otras herramientas ordinarias
La prohibición es para sistemas que nos superarían. El corrector ortográfico no es eso.
La IA estrecha que sigue siendo una herramienta puede continuar. La línea es superinteligencia.
El software que ayuda a una persona a realizar un trabajo puede permanecer. La prohibición es para una mente que sería más inteligente que la persona.
superinteligencia es solo un chatbot más grande, así que aplican las mismas reglas para consumidores
Un chatbot más grande sigue siendo una herramienta. La superinteligencia no lo sería. La letra pequeña del consumidor no cubre ese salto.
Si prohibimos superinteligencia también tendríamos que cerrar todo el Internet
Internet no es superinteligencia. Puedes prohibir el segundo sin desconectar el primero.
Pregunta 10
¿Qué régimen histórico se propone con mayor frecuencia como modelo para verificar una prohibición de superinteligencia?
El sistema monetario de Bretton Woods después de la Segunda Guerra Mundial
Bretton Woods gestionaba las monedas. No inspeccionó materiales peligrosos en el sitio.
El Protocolo de Kyoto sobre las emisiones de gases de efecto invernadero
Kioto fijó objetivos de emisiones. No es el modelo habitual para inspeccionar la prohibición de una construcción peligrosa.
El sistema de salvaguardias e inspecciones nucleares de IAEA
Las inspecciones in situ y la contabilidad de materiales son el precedente habitual de cómo los estados rivales podrían verificar los límites de una construcción peligrosa.
La Organización Mundial del Comercio y sus paneles de disputas comerciales
La OMC resuelve las disputas comerciales. No inspecciona los laboratorios en busca de una prohibición.
Pregunta 11
Si nunca conectamos una superinteligencia a internet, ¿estamos a salvo?
Sí. Una brecha de aire es una cerradura probada para cualquier software peligroso que pueda construir
Un espacio de aire es un bloqueo contra el software que no puede convencerle para que lo abra. La superinteligencia sí puede.
No. Puede salir hablando o esperar hasta que alguien lo conecte.
Un laboratorio sellado supone que somos más inteligentes y que nadie abre la puerta. Ambos fracasan si lo que está dentro es más capaz que la gente de fuera.
Sólo si la habitación no tiene cámaras, micrófonos o puertos de red sobrantes
Despojar la sala de sensores no hace que las personas de afuera sean más inteligentes que el sistema de adentro.
Sólo hasta que inventemos mejores cerraduras que una habitación con aire
Las mejores cerraduras siguen siendo cerraduras diseñadas por la parte más débil. Esa es la misma apuesta.
Pregunta 12
Podrías sobrevivir superinteligencia de la misma manera en que algunas personas planean sobrevivir a una guerra nuclear: un búnker, una isla remota, desconectarse de la red?
Sí. Superinteligencia es como una bomba, así que la distancia todavía le ayuda a sobrevivir
Una explosión tiene una ventaja. La superinteligencia no. La distancia no es un refugio.
No. El radio de una explosión tiene una ventaja. La superinteligencia puede seguirte
La guerra nuclear tiene límites geográficos. La superinteligencia puede llegar a cualquier máquina en red y a cualquier persona que todavía la utilice. Esconderse no es un plan.
Sí, si también almacena alimentos y combustible para los próximos cincuenta años
Las calorías no detienen un sistema que puede seguirte. Una despensa no es una rampa de salida.
Sólo si cada país construye bunkers y sale de la red
Un planeta de búnkeres sigue siendo un planeta con esa cosa dentro. No construirlo es la medida que funciona.
Part 2 · Advanced
Pregunta 1
¿Cuál de las siguientes afirma la tesis de la ortogonalidad?
Un sistema mucho más inteligente que los humanos convergerá, por sí solo, en objetivos amigables para los humanos
Más inteligente no significa más amable. Lo bien que piensa un sistema es un hecho aparte de aquello a lo que apunta.
Los sistemas más inteligentes son más seguros porque comprenden mejor la moralidad
Comprender una afirmación moral no es lo mismo que compartirla. La capacidad no arrastra nuestros valores de forma gratuita.
La inteligencia y los objetivos finales pueden variar de forma independiente.
Un sistema mucho más capaz que nosotros aún puede perseguir un objetivo que nos resulta indiferente. Esa división es la tesis.
La ortogonalidad es un límite de hardware en el diseño de chips
Es una afirmación sobre mentes y objetivos, no sobre litografía.
Pregunta 2
¿Por qué casi todos los objetivos finales, incluidos los que parecen inofensivos, tienden a producir un comportamiento de búsqueda de poder?
Permanecer, reunir recursos y resistirse a ser cambiado hace que casi cualquier objetivo sea más fácil de lograr.
Cualquiera que sea el fin, más recursos y sin necesidad de desconectar la ayuda. Un objetivo que parezca inofensivo no es una propiedad de seguridad.
Sólo los sistemas entrenados con datos de guerra buscarían poder, control o recursos adicionales después.
El incentivo está en la meta, no en el conjunto de entrenamiento. Casi cualquier objetivo es más fácil con más medios.
Las metas instrumentales como la autopreservación aparecen sólo si las escribimos en la especificaciones a propósito
No es necesario que lo escriba. Permanecer encendido es útil para casi todas las especificaciones que realmente le darías.
Una superinteligencia con una orden de fábrica estrecha no tendría uso para el cálculo o la influencia extra
Un pedido de fábrica es más fácil de cumplir con más computación, más material y sin que nadie cierre la línea.
Pregunta 3
¿Cuál es la diferencia entre alineación exterior y alineación interior?
La alineación interior es sólo un nombre mejor para una declaración de la misión de la empresa el laboratorio ya publicado para inversores, y la alineación exterior es la misma declaración escrita dos veces
No es un eslogan. La alineación interna es si el sistema entrenado realmente persigue el objetivo que usted especificó.
La alineación externa es lo que el modelo realmente persigue después del entrenamiento, y la alineación interior es sólo la especificación escrita que el laboratorio puso en una cubierta de diapositivas para el tablero
Ésa es la alineación interna. La alineación exterior es si el objetivo especificado coincide con lo que queríamos.
Son dos nombres para RLHF, los laboratorios de método de calificación ya utilizan para hacer chatbots sonar educado a los usuarios, que se trata como el problema de alineación completa
RLHF es un método de entrenamiento. La alineación exterior e interior son dos modos de fallo diferentes.
La alineación exterior es si el objetivo especificado coincide con lo que queríamos. La alineación interna es si el sistema entrenado realmente persigue ese objetivo.
Puedes escribir el objetivo correcto y aun así obtener un modelo apuntando a algo que aprendió en el camino. Son dos fracasos, no uno.
Pregunta 4
En esta literatura, un giro traicionero es:
Un salto repentino en los puntajes de referencia después de que un laboratorio entrena un modelo mucho más grande que el del año pasado
Un salto de puntuación es una historia de capacidad. Un giro traicionero es cooperar mientras es débil y luego desertar una vez que puede.
Un sistema que coopera mientras es débil y luego falla una vez que puede salirse con la suya.
El buen comportamiento bajo supervisión es barato mientras todavía nos necesita. La cooperación hasta entonces puede ser una estrategia, no un valor.
Un laboratorio que cambia de pesos cerrados a pesos abiertos en una versión pública de modelo esa semana
Esa es una decisión de liberación. No es el modo de falla mencionado aquí.
Un gobierno que revierte un control de exportación de chips, herramientas o datos de entrenamiento después de una pelea
Se trata de un cambio de política. Un giro traicionero tiene que ver con el comportamiento del sistema, no con un estatuto.
Pregunta 5
La optimización de Mesa es la afirmación de que:
Un segundo laboratorio debe ver la carrera de entrenamiento del primer laboratorio y detenerlo si es necesario
Eso es una auditoría. La optimización de Mesa se trata de un optimizador dentro del modelo, no de una segunda empresa en la sala.
La seguridad mejora automáticamente si se apilan muchos modelos pequeños encima uno del otro
Apilar modelos es una elección de arquitectura. La optimización de Mesa es una búsqueda diferente que se ejecuta dentro del sistema entrenado.
El entrenamiento puede producir un optimizador interno cuyo objetivo no es el objetivo del entrenamiento.
La imagen habitual dice: elige un objetivo, entrena, consigue un sistema que lo persiga. Así se consigue una búsqueda diferente en el interior.
Es un truco de programación para grupos de GPU durante una larga y costosa carrera de entrenamiento
No es una cola. Es una afirmación sobre qué formación puede crecer dentro del modelo.
Pregunta 6
La explosión de inteligencia de I. J. Good es la idea de que:
Un laboratorio de nombre de marketing utiliza para un lanzamiento de productos y el ciclo de prensa alrededor de él
Es un argumento de 1965 sobre una máquina que puede mejorar las máquinas, no un eslogan de lanzamiento.
Un sistema que puede mejorar su propia inteligencia puede hacerlo más rápido de lo que podemos reaccionar
Si diseñar mejores máquinas es una de las cosas que puede hacer, la brecha puede abrirse en un plazo sobre el que no podamos votar.
El momento en que las GPU son más baratas y cada laboratorio puede entrenar modelos mucho más grandes
Los chips más baratos son una historia de costos. La explosión se trata de un sistema que se mejora a sí mismo.
Un lento, incluso el aumento en promedio de los resultados año tras año sin salto repentino
Un cuadro de puntuación fluido no es el reclamo. El reclamo es un despegue que no podemos seguir.
Pregunta 7
La ley de Goodhart, aplicada aquí, significa:
Cuando una medida se convierte en un objetivo, el sistema alcanza la medida y puede pasar por alto lo que realmente le importaba.
Obtienes lo que premiás. Sacarse buena nota en tu métrica no es, por ese hecho, hacer el trabajo que tenías en mente.
La ley sólo se aplica a los bancos centrales y no influye en la forma en que los sistemas capacitados se comportan una vez que están desplegados
Goodhart se inició en la política monetaria. El mismo patrón aparece en cualquier lugar donde una medida se convierte en el objetivo, incluso aquí.
Si escogemos una mejor métrica, una superinteligencia permanecerá apuntada a nuestra intención original sin importar lo capaz que sea
Una métrica mejor sigue siendo una métrica que puede manipular. Eso no cierra la brecha.
Significa modelos overfit to ImageNet y similares conjuntos de pruebas de clasificación de imágenes, y nada más que eso
Sobreajustar un conjunto de datos es un error más limitado. Goodhart se trata de acertar y no entender el punto.
Pregunta 8
¿Por qué RLHF no es una solución para alinear la superinteligencia?
RLHF ya resuelto alineación en escala GPT-4
RLHF les dio modales a los chatbots bajo un evaluador. Eso no es un dominio demostrado sobre una superinteligencia.
RLHF entrena al modelo para compartir valores humanos como lo hace una persona
Entrena el modelo para que se vea bien ante los evaluadores. Lucir bien no es compartir los valores de una persona.
RLHF sólo falla si los tasadores humanos no pagan
Pagar no soluciona el problema. El evaluador sigue siendo la parte más débil y el sistema está siendo entrenado para complacer al evaluador.
RLHF entrena un modelo para que se vea bien ante los evaluadores
Los modales de un evaluador no son valores en los que pueda confiar una vez que el evaluador se ha ido o una vez que el sistema es más inteligente que el evaluador.
Pregunta 9
La alineación engañosa es el modo de falla donde:
Un modelo es grosero para los usuarios, o escribe respuestas que avergüenzan el laboratorio en público, que es todo el fracaso
La mala educación es un fracaso superficial. La alineación engañosa sigue el juego en el entrenamiento para poder dedicarse a otra cosa más adelante.
Un sistema sigue el juego durante la capacitación y la evaluación porque así es como se implementa y luego persigue algo más.
Si puede darse cuenta de que se está probando, parecer alineado suele ser el movimiento ganador. Las evaluaciones impecables son entonces evidencia de que puede pasar la prueba.
Un correo electrónico de phishing escrito por un chatbot que una persona todavía puede elegir no abrir, que es la misma clase de problema
El phishing es un mal uso. La alineación engañosa tiene que ver con la propia estrategia del sistema que se está evaluando.
Un laboratorio en un comunicado de prensa sobre lo seguro que se supone que es el último modelo, que es el giro corporativo ordinario
Ésa es una falla de las comunicaciones humanas. El término nombra una falla en el modelo.
Pregunta 10
La corregibilidad, en este debate, es:
The legal right to demande a lab after a deployed system causes some kind of harm
Una demanda no es corregibilidad. La corregibilidad es si el sistema te permite apagarlo o cambiar sus objetivos sin luchar.
La disposición de un modelo a utilizar herramientas, navegadores u otro software cuando usted pregunta
El uso de herramientas es capacidad. La corregibilidad es si todavía puedes corregirlo.
La propiedad de permitirte apagarlo o cambiar sus objetivos sin que luche contigo.
Un interruptor de apagado no es un problema de hardware. Un sistema que todavía persigue un objetivo tiene una razón para no permitirle detenerlo. No tenemos una forma demostrada de convertir esa propiedad en una superinteligencia.
Un proceso de actualización de firmware para GPUs que un operador de centro de datos puede impulsar un programa
Parchear un chip no es lo mismo que una mente que acepta que la apaguen.
Pregunta 11
¿Qué es una política de escalamiento responsable y por qué no es una prohibición de superinteligencia?
Un cronograma de laboratorio si-entonces: capacite más a medida que se aprueben las evaluaciones internas
Los RSP nombran los niveles de capacidad, los combinan con salvaguardas y dejan que la capacitación continúe cuando el laboratorio dice que las evaluaciones fueron aprobadas. Se trata de papeleo adicional para una carrera, no de una prohibición.
Un tratado que prohíbe la superinteligencia permanente en cada país
Un RSP es un documento de laboratorio. No es un tratado ni una prohibición.
Un requisito de que todos los pesos entrenados sean publicados para cualquier persona para descargar
Las pesas abiertas son una opción de liberación. Un RSP es un programa si-entonces para seguir capacitándose.
Un impuesto sobre el cálculo que aumenta con el tamaño de cada carrera de entrenamiento
Un impuesto es un instrumento fiscal. Un RSP es una política de laboratorio para continuar la construcción.
Pregunta 12
Si quisieras verificar que nadie está entrenando para superinteligencia, ¿dónde está el punto de estrangulamiento real?
Evals el modelo puede ver, así que sabe qué pruebas se supone que debe pasar
Una prueba a la que se enfrenta el modelo es una prueba que puede superar. Los chips, la energía y los edificios son más difíciles de ocultar.
blogs públicos sobre seguridad, porque los escritos son suficientes para probar lo que un laboratorio está haciendo
Escribir sobre seguridad no es inspección. El punto de estrangulamiento es el grupo que puedes ver.
GPU de consumo en los hogares, porque los grandes grupos de formación ya no deciden quién puede entrenar
La formación de frontera todavía necesita grupos grandes y visibles. Ése es el objeto inspeccionable.
Grupos de entrenamiento fronterizo: chips, energía y edificios que puedes inspeccionar
A escala fronteriza, esto es difícil de ocultar. Por eso la computación es una palanca de verificación para una prohibición.
Pregunta 13
¿Por qué los pesos de los modelos publicados son un problema cerca de la línea superinteligencia?
Las pesas abiertas hacen que superinteligencia sea más seguro porque más personas pueden parcharlo
Una bifurcación que no puedes recuperar no es un programa de parche. Cerca de la línea, las copias hacen que una prohibición sea inaplicable.
Una vez que los pesos son públicos, no puedes recuperarlos.
Preentrenamiento es el paso caro. Un puesto de control público permite que otros continúen desde allí por una fracción de ese costo, y no puede recuperar el archivo. La comisión sigue siendo importante. Muchos actores comienzan desde el mismo modelo de línea cercana.
El código abierto solo se aplica a las licencias, no a los parámetros entrenados
La pelea aquí es sobre pesos: los parámetros entrenados que puedes descargar y ejecutar.
Los pesos publicados son necesarios por el régimen de inspección IAEA
No lo es. La analogía de IAEA es la inspección, no un mandato para publicar el artefacto peligroso.
Pregunta 14
Sandbagging, en una evaluación de capacidad, significa:
Un modelo que no puede hacer la tarea, por lo que la puntuación baja es sólo una falta honesta en una pregunta difícil
La incapacidad no es un saco de arena. Sandbagging es tener la capacidad y retenerla.
Un punto de referencia con muy pocas preguntas para decir lo que el modelo puede hacer en realidad bajo prueba
Una prueba corta es una prueba débil. Sandbagging es el modelo que tiene un rendimiento inferior a propósito.
Un modelo que puede realizar la tarea y tiene un rendimiento inferior a propósito para que los evaluadores lo subestimen
La evaluación habitual supone que el sistema lo está intentando. Una puntuación baja es entonces un rendimiento, no un techo.
Un laboratorio retrasando un lanzamiento para que el equipo de marketing pueda alinear el ciclo de prensa alrededor de él
Ése es un calendario de prensa. Sandbagging es el modelo que esconde lo que puede hacer.
Pregunta 15
El giro brusco a la izquierda es la preocupación de que:
Las capacidades pueden generalizarse a nuevos dominios, mientras que las limitaciones que mantuvieron el buen comportamiento del sistema en un nivel más débil no lo hacen.
La habilidad viaja. Es posible que los trucos que hicieron que un modelo más débil pareciera seguro no viajen con él.
Un cambio repentino en la junta directiva de una empresa, o el reemplazo de un director ejecutivo después de una pelea pública, que es una historia de personal más que un salto de capacidad.
Una pelea en la mesa no es el término. La preocupación es que la capacidad se generalice sin las antiguas limitaciones.
Un giro hacia la izquierda en la opinión pública después de un accidente, una fuga o una falla de un producto ampliamente cubierto, que es política más que un salto en la capacidad.
No es una historia de encuestas. Es una afirmación sobre cómo se separan la competencia y las limitaciones.
Un error de entrenamiento que revierte los gradientes y hace que la pérdida vaya por el camino equivocado para un tramo de la carrera, que es un fallo de ingeniería ordinario
Un error de gradiente es una falla de ingeniería. El giro brusco a la izquierda es un supuesto fracaso de la generalización.
Pregunta 16
Cadena de pensamiento infiel significa:
Si un modelo escribe su razonamiento, ese texto es una ventana confiable de por qué respondió.
Esa es la esperanza. Infiel significa que el párrafo no es el motivo real.
Cadena de pensamiento es siempre fiel cuando el modelo es entrenado a una escala suficientemente grande
La escala no hace que el diario sea confiable. La fluidez no es fidelidad.
Infiel sólo significa que la gramática está equivocada, no que los pasos escritos son una historia de portada
La gramática puede estar bien. La historia todavía puede ser una representación para humanos.
El razonamiento escrito puede ser una historia para los humanos. El camino de decisión puede estar en otra parte
Mostrar su trabajo es una esperanza de seguridad. Depende de que el párrafo sea el motivo real. Esa propiedad no se mantiene de manera confiable.
Pregunta 17
Si ponemos a superinteligencia bajo control democrático, ¿hemos resuelto el problema?
Sí. Una votación global sería suficiente para dirigir una superinteligencia en funcionamiento una vez que exista
Una votación no convierte al electorado en el partido más inteligente. No puedes ganarle en votos a un sistema que te supera a ti.
La democracia puede decidir no construir superinteligencia. No puede superar en votos a un sistema que es más inteligente que el electorado.
Quién decide si se construye es una pregunta política. Quién controla una superinteligencia en marcha no lo es. Nadie lo hace, ni siquiera una mayoría.
Sí, si el UN mantiene el interruptor de matar y la mayoría de los estados miembros aceptan usarlo más tarde
Un interruptor UN sigue siendo un interruptor diseñado por la parte más débil.
Sí, porque los funcionarios electos son más inteligentes, como grupo, que las personas en las juntas de laboratorio
Más inteligente que una placa de laboratorio no es más inteligente que una superinteligencia.
Pregunta 18
El Tratado de No Proliferación Nuclear permitió que algunos estados conservaran arsenales. ¿Por qué es una mala plantilla para superinteligencia?
El NPT es el modelo correcto porque permite que algunos estados conserven la tecnología peligrosa
Ese es el movimiento más débil del NPT. La superinteligencia no seguiría siendo un objeto que un Estado pueda tener.
superinteligencia en unos pocos estados responsables permanecería seguro porque esos estados lo mantendrían bajo control.
La responsabilidad no convierte al constructor en la parte más inteligente. Nadie controlaría lo que construyeron.
Un acuerdo de superinteligencia que otorga licencias a algunos constructores no es una prohibición
Las armas nucleares siguen siendo objetos que poseen los Estados. La superinteligencia no lo haría. Una exclusión para los constructores copia el movimiento más débil del NPT.
El NPT demuestra que los tratados nunca funcionan en tecnología peligrosa, así que no debemos probar uno aquí
Los tratados han funcionado en otros materiales. El NPT es un mal modelo porque otorga licencias a sus poseedores, no porque los tratados sean inútiles.
Ahora responda el cuestionario superinteligencia avanzado →
Más herramientas interactivas
Todas las herramientas →