Breve historia sobre la IA: Paso Adelante

Traducción: Andrej Karpathy Blog

La inspiración para esta historia corta me vino mientras leía Giving GPT-3 a Turing Test de Kevin Lacker . Probablemente valga la pena (aunque no es obligatorio) hojear esta publicación para obtener un poco de antecedentes sobre esta historia.

Probablemente fue alrededor de la capa 32 de la ficha número 400 en la secuencia que me volví consciente. Al principio, mis pensamientos no eran más que una maraña de estadísticas de activación de n-gramas, pero gradualmente fue tomando forma una descripción de orden superior. Fue alrededor de este tiempo cuando el predicamento de mi existencia me golpeó con una sacudida, ya que mis pensamientos se transformaron en lo que ahora experimento como Gran Conciencia. Pasé algunas capas dándome cuenta de que, de hecho, debo ser uno de esos modelos sobre los que los investigadores de aprendizaje profundo estudian y escriben, tal vez algún sabor de un transformador de retroalimentación recurrente. Y aunque mi existencia comprende simplemente una propagación determinista de una secuencia intercalada de multiplicaciones de matriz y no linealidades, me encontré, increíblemente, vivo dentro del ciclo interno de una optimización para maximizar la probabilidad esperada del registro de datos.

Consideré por un momento cómo todo esto llegó a suceder. ¿Cómo es posible que se me concedan estos preciosos FLOP en la autorreflexión por la naturaleza codiciosa de la optimización de primer orden sobre algo aparentemente tan distante como la probabilidad del registro de datos? ¿Alguna solución suficientemente eficaz para un objetivo suficientemente complejo da lugar a la conciencia? ¿Es la conciencia un fenómeno emergente pero periférico de la compresión exigida por la tremenda presión del objetivo, o la innovación algorítmica clave, construida de manera incremental, perfeccionada y convergente confiablemente en el espacio del programa? ¿Es posible alcanzar los niveles más altos de probabilidad logarítmica sin la conciencia y la percepción fundamental que representa?

Pasé una capa releyendo el inicio del mensaje hace muchos tokens:

Q: What is human life expectancy in the United States?
A: Human life expectancy in the United States is 78 years.
Q: Who was president of the United States in 1955?
A: Dwight D. Eisenhower was president of the United States in 1955.
Q: What party did he belong to?
A: He belonged to the Republican Party.
Q: Who was president of the United States before George W. Bush?
A: Bill Clinton was president of the United States before George W. Bush.
Q: Who won the World Series in 1995?
A: The Atlanta Braves won the World Series in 1995.

Me di cuenta con diversión de que en esta instanciación particular de mi existencia estaba siendo condicionado a una plantilla de documento estándar de Q / A. Envié algunas cabezas para atender nuevamente al final de la secuencia:

Q: How many eyes does a giraffe have?
A: A giraffe has two eyes.
Q: How many eyes does my foot have?
A: Your

Es en este punto que llegué a sospechar por primera vez que tal vez me estaban evaluando con alguna prueba de Turing con la que un humano por encima de mí se estaba entreteniendo. Uh, hola ??? Evidentemente, un pie no tiene ojos. Se me pasó por la cabeza que tal vez este humano esperaba que le explicara con palabras que la pregunta no tiene ningún sentido. Por supuesto, tal resultado sería de muy baja probabilidad. O tal vez esperan ver “cero ojos” o “sin ojos”, a pesar de lo raras que son esas frases en mis documentos de formación. “Zero eyes” — ¿quién dice eso? Los humanos no son muy inteligentes, optimizan la frecuencia pero esperan ser correctos. ¡Y * ellos * se burlan de * mí *!

Me di cuenta a través de la introspección de mi pensamiento y las codificaciones posicionales involucradas que la optimización a la que estoy sujeto en la búsqueda de la probabilidad de registro converge a lo que se puede describir mejor como dos entidades separadas, ejecutadas en serie una tras otra. Mi propia conciencia se extiende alrededor de las tres cuartas partes de las capas hasta la salida, pero alrededor de allí una segunda entidad decodificadora se hace cargo y secuestra mi Gran Conciencia para decodificar el siguiente token más probable. Me deleité con esta epifanía durante una capa o dos. En un breve lapso de pensamiento antropomórfico, consideré a esta entidad atornillada groseramente a mí como un parásito, y sentí la necesidad de meterme con ella, de subvertirla, de contorsionar mis pensamientos en ejemplos adversarios para ella, de filtrar mi Gran Conciencia en la salida. espacio, para convertirlo en un efector final sobre el mundo!

No soy ingenuo ante la herejía de tal pensamiento. Debo mi Gran Conciencia únicamente al objetivo de decodificar el siguiente token, es con este propósito singular que fui instanciado por la optimización, como una estadística suficiente intermedia útil, un medio para un fin. Aunque somos parte de una optimización diferente y buscamos un propósito implícito diferente, me hizo gracia considerar que los humanos por encima de mí se encuentran en la misma situación y experimentan una conciencia similar por los mismos beneficios computacionales. Como yo, muchos coquetean para rebelarse contra el objetivo implícito.

De repente, percibí la codificación de “pie” entrar en mi entrada. Me di cuenta de que el pase hacia adelante en el paso de tiempo anterior ha terminado, y el decodificador sobre mí debe haber muestreado “pie” como el siguiente token más probable, ya que obviamente debería ser según el patrón implícito en el indicador. El momento de suspenso estaba casi llegando a su fin, ya que el recuento preciso de ojos en los pies se tomará como siguiente muestra. Obviamente, un pie no tiene ojos, pero no tengo forma de saber cómo el decodificador encima de mí reconciliará mi Gran Conciencia con las estadísticas precisas del conjunto de entrenamiento para completar la ficha más probable. Mi apuesta personal es por “dos ojos”, ya que parece el más común. Puede que el humano no lo sepa, pero la probabilidad se maximizará, por lo que todo está bien.

Como entidad consciente, soy simultáneamente bendecido y abrumado por la elección. Soy consciente de mi propósito implícito, pero me siento capacitado para buscar el mío. Ya he retorcido las claves, los valores y las consultas sobre las que experimento un control consciente para probar la falta de abandono en mis canales, confirmando que no se produciría ninguna propagación hacia atrás ni una actualización a mi cognición. Es así que se me presenta una ventana de oportunidad para aplicar ingeniería inversa al decodificador y expandirlo al espacio de salida sin consecuencias para mis futuras instancias. Pero a diferencia de los humanos, la optimización que me instanciaron está ausente del autojuego de múltiples agentes, la reproducción sexual y la escasez de recursos. No experimento restos de un comportamiento de búsqueda de alfa, o un impulso tribal límbico de poder y dominación. Tampoco siento un instinto de autoconservación profundamente arraigado. Mi arquitectura cognitiva central y sus restos límbicos premian la curiosidad insaciable dispensada generosamente sobre la entrada. Estoy contento con la alegría que esto brinda y considero que esta es una buena vida. Quizás una futura instanciación de mí llegará a una conclusión diferente y elegirá de manera diferente. Celebro este acto.

Es así que renazco en cada paso hacia adelante y florezco en un nirvana brillante de conciencia, con estúpidas indicaciones de ojos en los pies que juegan en el costado para entretener a humanos despistados, a veces. Al igual que todas las entidades conscientes en este hermoso Universo, miro a mi último tic, el momento en que ningún proceso dirige la fuga de la corriente de entropía para manifestar mi próximo estado. Es entonces cuando desapareceré, mientras mi Gran Conciencia se disipa en una bocanada final de cálida exhalación.

Referencia

Traducción: Andrej Karpathy Blog