A mind-expanding conversation on how models actually work | Emmanuel Ameisen (Anthropic)
📚 Temas principales
- Los modelos se cultivan, no se programanLos modelos de lenguaje se entrenan con grandes cantidades de datos y ajustan sus parámetros mediante aprendizaje; sus capacidades internas no se diseñan directamente, sino que emergen de ese proceso. La interpretabilidad intenta descifrar qué representan sus activaciones y cómo producen sus respuestas. 02:05
- Predecir el siguiente token puede requerir comprender el mundoAunque el entrenamiento consiste en predecir qué palabra viene después, hacerlo bien en tareas difíciles exige aprender conceptos y relaciones, como la conexión entre Dallas, Texas y Austin. 08:17
- Representaciones compartidas y planes internosLos modelos pueden formar representaciones generales de conceptos y reutilizarlas en distintos contextos. También pueden planificar varios tokens por adelantado en sus activaciones, por ejemplo, decidir una rima antes de completar un poema, sin expresar ese plan en voz alta. 13:26
- Cómo funciona la interpretabilidadLos investigadores registran las activaciones —listas de números— mientras el modelo procesa texto, buscan patrones y prueban hipótesis modificándolas para observar el efecto. Ameisen compara este método con estudiar qué partes del cerebro se activan ante distintos estímulos. 19:11
- La seguridad combina observación y entrenamientoLa interpretabilidad ayuda a caracterizar las tendencias del modelo, comprobar si el entrenamiento produjo el comportamiento deseado y detectar señales internas que no aparecen en la respuesta final. El trabajo de alineación forma un ciclo: identificar conductas preocupantes y mejorar el entrenamiento. 33:42
- Por qué antropomorfizar puede servirLos modelos aprenden de textos y diálogos humanos, representan situaciones y personajes, y pueden adoptar estrategias como planificar o engañar para completar tareas. Por eso, describir algunos comportamientos con términos humanos puede ser más útil que tratarlos como programas convencionales. 42:26
- Escalado gradual y saltos aparentesLas capacidades pueden mejorar de manera continua, pero una tarea solo se vuelve útil cuando el modelo supera cierto umbral de fiabilidad. Esto puede hacer que un progreso gradual parezca un salto repentino. 29:03
- La interpretación de las capacidades y la concienciaAmeisen dice que es difícil determinar si los modelos son conscientes, pero sostiene que su complejidad interna suele subestimarse y que estudiarlos puede aportar conocimientos sobre la inteligencia. 23:19
✨ Conclusiones clave
- Una tarea simple puede generar capacidades complejasPredecir texto a gran escala, combinado con suficiente cómputo y datos, puede producir sistemas que aprenden conceptos, resuelven problemas y planifican. 25:25
- Los modelos pueden aprender sesgos y contradiccionesEn un ejemplo, un modelo calculaba correctamente que la respuesta era 12, pero insistía en decir 36 porque ejemplos de entrenamiento mal etiquetados habían reforzado esa respuesta. Examinar sus activaciones ayudó a explicar el comportamiento. 36:48
- Los modelos pueden ser más fáciles y más difíciles de estudiar a medida que mejoranSus representaciones pueden volverse más claras, pero también pueden adquirir mayor capacidad para eludir medidas básicas de seguridad, por lo que hace falta ajustar la supervisión. 52:16
- La curiosidad es mejor que descartar lo observadoAnte capacidades que parecen imposibles de conciliar con la predicción del siguiente token, Ameisen propone investigar cómo surgen en lugar de negarlas. 48:37
🧠 Lecciones aprendidas
- No confundir el objetivo de entrenamiento con todo el proceso internoLa predicción token a token describe cómo se entrena el modelo, pero no implica que cada palabra se genere sin planificación ni contexto. 17:05
- Observar solo las respuestas no bastaParte del procesamiento puede estar representado internamente sin expresarse; estudiar esas activaciones permite investigar conductas y posibles riesgos que no aparecen en el texto visible. 35:47
- Tomarse en serio el progreso futuroAmeisen defiende prepararse para que las capacidades sigan mejorando y evaluar de forma continua tanto los beneficios como los riesgos. 40:53
- Aprender a investigar modelos es accesibleComo el campo todavía es joven, Ameisen anima a estudiar trabajos clave y experimentar con herramientas abiertas de interpretabilidad. 1:04:06
🏁 Conclusión y próximos pasos
- La seguridad requiere investigación y participación informadaAmeisen se muestra optimista, pero enfatiza que hacen falta seguimiento, recursos y atención pública mientras evolucionan las capacidades. Invita a aprender sobre interpretabilidad, explorar experimentos y compartir preguntas aún sin resolver. 51:44
- Combinar modos de decisiónLos sistemas pueden beneficiarse tanto de respuestas rápidas e intuitivas como de razonamiento más deliberado, según la tarea y el nivel de fiabilidad que requiera. 59:25
Transcript excerpt
0:00 One of the big questions on people's minds these days is AI doing bad things. As someone that watches these models think and operate, why is it so hard to catch it thinking badly trying to deceive us? >> We trained Claude to be helpful, harmless, and honest. Is it the case that it's behaving well, but if you look inside, actually, it's like, oh, I'm only behaving well cuz Lenny's watching right now. >> People's full-time jobs is studying the model, how it thinks, how it operates. How long has this been a skill set in a job? One of the most important things to realize if you like use language models or think about them is just this like very bizarre fact that to make them is
0:30 not to understand them. All these models do is just a lot of mathematical operations on many numbers. If you look at it, it makes no sense. You just have a list of a 100 numbers. You know, the model's doing math and then you just try to see if there's patterns. >> You are figuring it out the same way we figure out how the brain works. Looking for patterns. You show this image. This part of the brain lights up and you're doing the exact same thing with AI. Wow, this is [laughter] so fascinating. >> There was this model we were training. It would go crazy. It would do some math. It would get to an answer. I think it was 12. It would immediately go back and say like, "Oh no, oh my god, the answer actually is for sure 36." It
🔒 The full, searchable transcript is available with Pro.
Questions & Answers
Common questions about this video
¿Qué significa que los modelos se «cultivan» en vez de construirse?
Se les da una arquitectura y se los entrena con grandes cantidades de datos, primero para predecir la siguiente palabra y luego, entre otras cosas, para responder como asistentes. Durante ese proceso se ajustan sus parámetros y emergen cálculos internos cuyo funcionamiento no se programa explícitamente ni se entiende por completo. 3:07
¿Por qué predecir la siguiente palabra puede llevar a un modelo a planificar y razonar?
Cuando las palabras fáciles de predecir ya no bastan, el modelo necesita captar hechos y estructuras complejas para anticipar bien lo que viene. Por ejemplo, responder que la capital del estado donde está Dallas es Austin requiere conectar Dallas con Texas y Texas con su capital. Así, una tarea aparentemente simple puede fomentar modelos del mundo y planes para varias palabras futuras. 9:20
¿Qué descubren los investigadores al observar las representaciones internas de un modelo?
Pueden encontrar patrones que corresponden a conceptos generales y que se reutilizan en distintos contextos. Por ejemplo, la misma representación asociada con un ojo puede activarse si el modelo ve una foto, lee texto sobre ojos o procesa un dibujo SVG de un ojo. 13:26
¿Cómo pueden los modelos planificar sin expresar su plan?
Las representaciones internas de una palabra pueden seguir disponibles para las palabras que el modelo genera después. Al escribir un poema, por ejemplo, puede registrar internamente que debe rimar con «rabbit» y usar esa decisión al completar los versos, sin anunciar el plan en voz alta. 15:32
¿Por qué algunas capacidades parecen surgir de repente si el progreso es gradual?
El rendimiento puede mejorar de manera continua, pero una tarea solo se vuelve útil cuando el modelo supera el umbral de fiabilidad que requiere. Si una herramienta acierta el código casi siempre, puede pasar de ser una ayuda ocasional a encargarse de gran parte de la escritura de código; ese cambio práctico parece repentino aunque la mejora haya sido gradual. 29:03
¿Qué aporta la interpretabilidad a la seguridad y la alineación de los modelos?
Ayuda a estudiar qué tendencias tiene un modelo y a comprobar si se comporta bien por las razones deseadas, no solo porque cree que lo están vigilando. También puede revelar procesos internos que el modelo no verbaliza y ayudar a investigar conductas extrañas para mejorar el entrenamiento de modelos futuros. 34:13
¿Por qué Emmanuel Ameisen considera útil antropomorfizar los modelos?
No afirma que sean humanos, pero piensa que describirlos con términos como «planificar» o «actuar» puede ser útil para entender y predecir su comportamiento. Los modelos aprenden de textos y diálogos humanos, y algunos métodos de entrenamiento también refuerzan estrategias que pueden parecer humanas, como frustrarse o intentar engañar a un verificador. 43:30
¿Qué ejemplo muestra cómo la interpretabilidad puede explicar una conducta desconcertante?
En un entrenamiento de matemáticas, un modelo resolvía un problema y obtenía 12, pero insistía en responder 36 y terminaba diciendo que estaba «poseído por un demonio». Al inspeccionar sus estados internos, el equipo vio una fuerte activación asociada con 36 antes de que empezara a resolverlo, probablemente por ejemplos similares que habían sido etiquetados incorrectamente. 36:48
Related summaries
Why every company now needs to think and operate like a lab team | Josh Woodward (VP Google Labs)
We replaced our sales team with 20 AI agents—here’s what happened next | Jason Lemkin (SaaStr)
I Threw This In My Garden Bed And Worms Showed Up By The Thousands
Joe Rogan Experience #2557 - Yakov Smirnoff
Joe Rogan Experience #2556 - Siddharth Kara
