VI

Notas al pie

1. «2025 Mid-Year LLM Market Update: Foundation Model Landscape + Economics», Menlo Ventures.
2. Esto coincide con un punto que planteé en Machines of Loving Grace, donde comencé diciendo que las ventajas de la IA no deben considerarse una profecía de salvación, y que es importante ser concreto y realista y evitar la grandilocuencia. Al fin y al cabo, las profecías de salvación y las profecías de desgracia no sirven de nada para afrontar el mundo real, básicamente por las mismas razones.
3. El objetivo de Anthropic es mantener la coherencia a pesar de estos cambios. Cuando hablar de los riesgos relacionados con la IA era políticamente popular, Anthropic abogaba con cautela por un enfoque prudente y basado en pruebas para hacer frente a dichos riesgos. Ahora que hablar de los riesgos relacionados con la IA es políticamente impopular, Anthropic sigue abogando con cautela por un enfoque sensato y basado en pruebas para hacer frente a esos riesgos.
4. Con el paso del tiempo, he ido adquiriendo una confianza cada vez mayor en la trayectoria de la IA y en la probabilidad de que supere las capacidades humanas en todos los ámbitos, pero sigue habiendo cierta incertidumbre.
5. Los controles a la exportación de chips son un excelente ejemplo de ello. Son sencillos y, en general, parecen funcionar.
6. Y, por supuesto, la búsqueda de tales pruebas debe ser intelectualmente honesta, de manera que también se pueda demostrar la ausencia de peligro. La transparencia a través de fichas técnicas y otras divulgaciones es un intento de esfuerzo intelectualmente honesto.
7. De hecho, desde que se escribió Machines of Loving Grace en 2024, los sistemas de IA han sido capaces de realizar tareas que a los humanos les llevan varias horas. METR estimó recientemente que Opus 4.5 podía realizar aproximadamente cuatro horas de trabajo humano con una fiabilidad del 50 %.
8. Y para ser claros, aunque la IA poderosa está a solo uno o dos años de nosotros desde el punto de vista técnico, muchas de sus consecuencias sociales, tanto positivas como negativas, podrían tardar unos años más en manifestarse. Por eso puedo pensar, por un lado, que la IA va a revolucionar el 50 % de los empleos de oficina de nivel inicial en un plazo de 1 a 5 años y, por otro, que podríamos disponer de una IA más potente que todos los demás en solo 1 o 2 años.
9. Por supuesto, también pueden manipular (o simplemente pagar) a un gran número de seres humanos para que hagan lo que ellos quieran en el mundo físico.
10. No creo que se trate de un argumento falaz: según tengo entendido, Yann LeCun defiende esta postura.
11. Existen también otras hipótesis inherentes al modelo simple, que no voy a abordar aquí. En términos generales, deberían hacernos sentir menos preocupados por la historia simple y específica de la búsqueda de poder desalineado, pero también más preocupados por posibles comportamientos impredecibles que no hemos anticipado.
12. Ender’s Game describe una versión de este escenario en la que intervienen seres humanos en lugar de IA.
13. Por ejemplo, se puede pedir a los modelos que no hagan diversas cosas reprochables y que obedezcan a los humanos, pero entonces pueden observar que muchos humanos hacen precisamente esas cosas reprochables. No está claro cómo se resolvería esta contradicción (y una constitución bien diseñada debería animar al modelo a gestionar estas contradicciones con elegancia), pero este tipo de dilema no es tan diferente de las situaciones supuestamente «artificiales» en las que colocamos a los modelos de IA durante las pruebas.
14. De hecho, una de las consecuencias de que la constitución sea un documento redactado en lenguaje natural es que es legible para todos, lo que significa que cualquiera puede criticarla y compararla con documentos similares de otras empresas. Sería útil crear una carrera hacia la cima que animara a las empresas no solo a publicar estos documentos, sino también a mejorarlos.
15. Existe incluso una hipótesis según la cual un principio unificador profundo conectaría el enfoque basado en personajes de la IA constitucional con los resultados de la ciencia de la interpretabilidad y la alineación. Según esta hipótesis, los mecanismos fundamentales que animan a Claude se diseñaron inicialmente como medios para simular personajes durante el preentrenamiento, por ejemplo, prediciendo lo que dirían los personajes de una novela. Esto sugeriría que una forma útil de considerar la constitución sería más bien como una descripción del personaje que el modelo utiliza para instanciar una personalidad coherente. Esto también nos ayudaría a explicar los resultados «debo de ser una mala persona» que he mencionado anteriormente (ya que el modelo intenta actuar como si se tratara de un personaje coherente, en este caso un personaje malo), y sugeriría que los métodos de interpretabilidad deberían permitir descubrir «rasgos psicológicos» dentro de los modelos. Nuestros investigadores están trabajando actualmente en formas de poner a prueba esta hipótesis.
16. Para que quede claro, la vigilancia se lleva a cabo de manera que se preserve la confidencialidad.
17. Incluso en nuestras propias experiencias con lo que son esencialmente reglas impuestas voluntariamente como parte de nuestra Responsible Scaling Policy, hemos descubierto una y otra vez que es muy fácil terminar siendo demasiado rígidos, trazando líneas que parecen importantes a priori, pero que resultan ridículas en retrospectiva. Es muy fácil establecer reglas sobre las cosas incorrectas cuando la tecnología avanza rápidamente.
18. La SB 53 y la RAISE Act no se aplican en absoluto a las empresas con una facturación anual inferior a 500 millones de dólares. Solo se aplican a empresas más grandes y mejor establecidas, como Anthropic.
19. Leí el ensayo de Joy por primera vez hace 25 años, cuando fue escrito, y me impactó profundamente. Tanto entonces como ahora, lo encuentro demasiado pesimista —no creo que el «abandono» generalizado de todo un campo tecnológico, como sugiere Joy, sea la solución—, pero las cuestiones que plantea eran sorprendentemente premonitorias, y Joy escribe además con una profunda compasión y humanidad que admiro.
20. Debemos preocuparnos por los actores estatales, tanto en la actualidad como en el futuro, y abordo este tema en la siguiente sección.
21. Hay pruebas de que muchos terroristas tienen, al menos, un nivel educativo relativamente alto, lo que puede parecer contradictorio con mi argumento sobre la correlación negativa entre capacidad y motivación. Pero creo que, en realidad, estas observaciones son compatibles: si el umbral de capacidad para llevar a cabo un ataque con éxito es alto, entonces, casi por definición, aquellos que lo consiguen en la actualidad deben tener una gran capacidad, incluso si la capacidad y la motivación están negativamente correlacionadas. Pero en un mundo en el que se eliminaran las limitaciones de capacidad (por ejemplo, con los futuros LLM), yo predeciría que una gran población de personas con motivación para matar, pero con menor capacidad, comenzaría a hacerlo, como ocurre con los delitos que no requieren mucha capacidad (como los tiroteos en las escuelas).
22. Sin embargo, Aum Shinrikyo lo intentó. El jefe de Aum Shinrikyo, Seiichi Endo, se había formado en virología en la Universidad de Kioto y había intentado producir tanto ántrax como el virus del Ébola. Sin embargo, en 1995, ni siquiera él disponía de los conocimientos y los recursos suficientes para lograrlo. Ahora el listón está mucho más bajo, y los LLM podrían reducirlo aún más.
23. Un fenómeno extraño relacionado con los autores de asesinatos en masa es que el modus operandi que eligen se asemeja casi a una moda macabra. En las décadas de 1970 y 1980, los asesinos en serie eran muy comunes, y los nuevos asesinos en serie solían copiar el comportamiento de los asesinos en serie más establecidos o famosos. En las décadas de 1990 y 2000, los tiroteos masivos se hicieron más comunes, mientras que los asesinos en serie se volvieron menos frecuentes. Ningún cambio tecnológico desencadenó estos comportamientos, simplemente parece que los asesinos violentos se copiaban unos a otros y que la tendencia «popular» a copiar cambió.
24. Los piratas informáticos ocasionales a veces piensan que han comprometido estos clasificadores cuando obtienen información específica del modelo, como la secuencia genómica de un virus. Pero, como he explicado anteriormente, el modelo de amenaza que nos preocupa implica consejos interactivos paso a paso, a lo largo de varias semanas o meses, sobre etapas específicas y oscuras del proceso de producción de armas biológicas, y eso es contra lo que nuestros clasificadores pretenden defendernos. (A menudo describimos nuestra investigación como la búsqueda de «jailbreaks universales», es decir, jailbreaks que no solo funcionan en un contexto específico o restringido, sino que abren ampliamente el comportamiento del modelo).
25. No obstante, seguiremos invirtiendo en trabajos destinados a mejorar la eficacia de nuestros clasificadores, y puede ser conveniente que las empresas compartan entre sí avances como estos.
26. Evidentemente, no creo que las empresas deban estar obligadas a revelar los detalles técnicos de las etapas específicas de la producción de armas biológicas que bloquean, y la legislación sobre transparencia que se ha aprobado hasta ahora (SB 53 y RAISE) tiene en cuenta esta cuestión.
27. Otra idea relacionada es la de los «mercados de resiliencia», en los que el gobierno fomenta el almacenamiento de EPI, respiradores y otros equipos esenciales necesarios para responder a un ataque biológico, comprometiéndose por adelantado a pagar un precio acordado previamente por dichos equipos en caso de emergencia. Esto incentiva a los proveedores a almacenar estos equipos sin temor a que el gobierno los confisque sin compensación.
28. ¿Por qué me preocupa más que los grandes actores se hagan con el poder que la destrucción causada por los pequeños actores? Porque la dinámica es diferente. Hacerse con el poder consiste en saber si un actor puede acumular suficiente fuerza para derrotar a todos los demás. Por lo tanto, debemos preocuparnos por los actores más poderosos y/o los que están más cerca de la IA. Por el contrario, la destrucción puede ser causada por aquellos que tienen poco poder si es mucho más difícil de defender que de causar. Se trata entonces de defenderse de las amenazas más numerosas, que probablemente provengan de actores más modestos.
29. Esto puede parecer contradictorio con mi argumento de que el ataque y la defensa pueden estar más equilibrados con los ciberataques que con las armas biológicas, pero mi preocupación aquí es que, si la IA de un país es la más poderosa del mundo, los demás no podrán defenderse, aunque la tecnología en sí misma presente un equilibrio intrínseco entre el ataque y la defensa.
30. En Estados Unidos, por ejemplo, esto incluye la Cuarta Enmienda y la Ley Posse Comitatus.
31. Además, para ser claros, hay argumentos a favor de la construcción de grandes centros de datos en países con estructuras de gobierno diversas, especialmente si están controlados por empresas democráticas. En principio, estas construcciones podrían ayudar a las democracias a competir mejor con el PCC, que representa una amenaza mayor. También creo que estos centros de datos no suponen un riesgo particular, a menos que sean de gran tamaño. Pero, en general, creo que hay que ser cautelosos a la hora de instalar centros de datos muy grandes en países donde las garantías institucionales y las protecciones del Estado de derecho están menos consolidadas.
32. Por supuesto, esto también es un argumento a favor de mejorar la seguridad de la disuasión nuclear para hacerla más resistente frente a una IA poderosa, y las democracias con armas nucleares deberían hacerlo. Pero no sabemos de qué será capaz una IA poderosa ni qué defensas, si las hay, serán eficaces contra ella, por lo que no debemos dar por sentado que estas medidas resolverán necesariamente el problema.
33. También existe el riesgo de que, aunque la disuasión nuclear siga siendo eficaz, un país atacante decida tomarnos la palabra: no es seguro que estemos dispuestos a utilizar armas nucleares para defendernos de un enjambre de drones, aunque este represente un riesgo importante de conquistarnos. Los enjambres de drones podrían constituir una nueva amenaza, menos grave que los ataques nucleares, pero más grave que los ataques convencionales. Además, las evaluaciones divergentes sobre la eficacia de la disuasión nuclear en la era de la IA podrían alterar de forma desestabilizadora la teoría de juegos del conflicto nuclear.
34. Para ser claros, creo que la estrategia correcta es no vender chips a China, aunque el tiempo necesario para desarrollar una IA poderosa sea mucho mayor. No podemos hacer que los chinos «dependen» de los chips estadounidenses: están decididos a desarrollar su propia industria de chips de una forma u otra. Les llevará muchos años, y al venderles chips, solo les estamos dando un empujón durante ese tiempo.
35. Para ser claros, la mayoría de las armas que se utilizan hoy en día en Ucrania y Taiwán no son totalmente autónomas. Lo serán, pero hoy en día aún no lo son.
36. Nuestra ficha modelo para Claude Opus 4.5, nuestro modelo más reciente, muestra que Opus obtiene mejores resultados en una entrevista de ingeniería de rendimiento que se realiza con frecuencia en Anthropic que cualquier otro candidato en la historia de la empresa.
37. «Escribir todo el código» y «realizar el trabajo de un ingeniero de software de principio a fin» son dos cosas muy diferentes, ya que los ingenieros de software hacen mucho más que simplemente escribir código. También realizan pruebas, gestionan entornos, archivos e instalaciones, gestionan implementaciones de TI en la nube, iteran sobre productos y mucho más.
38. Las computadoras son generales en cierto sentido, pero es evidente que, por sí solas, son incapaces de ejercer la gran mayoría de las capacidades cognitivas humanas, aunque superan ampliamente a los humanos en algunas áreas (como la aritmética). Por supuesto, los elementos construidos a partir de computadoras, como la IA, ahora son capaces de ejercer una amplia gama de capacidades cognitivas, que es el tema de este ensayo.
39. Para ser claros, los modelos de IA no tienen exactamente el mismo perfil de fortalezas y debilidades que los humanos. Pero progresan de manera bastante uniforme en todas las dimensiones, por lo que un perfil irregular o desigual finalmente no importa.
40. Aunque esta idea es objeto de debate entre los economistas.
41. La riqueza personal es un «stock», mientras que el PIB es un «flujo», por lo que no se puede afirmar que Rockefeller poseyera el 2 % del valor económico de Estados Unidos. Sin embargo, es más difícil medir la riqueza total de una nación que el PIB, y los ingresos individuales varían mucho de un año a otro, por lo que resulta complicado establecer una proporción en las mismas unidades. La relación entre la mayor fortuna personal y el PIB, aunque no se trata de una comparación propiamente dicha, constituye sin embargo un criterio perfectamente razonable para evaluar la concentración extrema de la riqueza.
42. El valor total del trabajo en la economía es de 60 billones de dólares al año, por lo que 3 billones de dólares al año corresponderían al 5 % de esa cantidad. Esta cantidad podría ser obtenida por una empresa que proporcionara mano de obra por el 20 % del costo de los seres humanos y tuviera una participación de mercado del 25 %, incluso si la demanda de mano de obra no aumentara (lo que casi con toda seguridad ocurriría debido al menor costo).
43. Para ser claros, no creo que la productividad real de la IA sea ya responsable de una parte sustancial del crecimiento económico estadounidense. Más bien creo que el gasto en centros de datos representa un crecimiento provocado por inversiones anticipadas, ya que el mercado anticipa un futuro crecimiento económico impulsado por la IA e invierte en consecuencia.
44. No creo que eso sea posible más allá de unos años: a largo plazo, fabricarán sus propios chips.