La preocupación por los riesgos existenciales de la inteligencia artificial ha alcanzado un nuevo pico esta semana, después de que Evan Hubinger, líder de ciencia de alineación en Anthropic, una de las principales empresas de IA del mundo, afirmara que cree que hay más de un 10% de posibilidades de que la IA "pueda matar a todos los humanos" en la próxima década.
Esta dramática declaración se produjo a raíz de la reciente dimisión de su colega e investigador de Anthropic, Jacob Coxon. Coxon, quien también trabajó anteriormente en OpenAI, acusó públicamente a ambas compañías de "jugar con nuestras vidas" al acelerar el desarrollo de una superinteligencia artificial sin la debida responsabilidad. Según Coxon, en OpenAI muchos no han internalizado las implicaciones civilizatorias, mientras que en Anthropic, aunque comprenden los riesgos, están inmersos en una carrera por ser los primeros.
Hubinger, en una publicación en X (anteriormente Twitter), manifestó que, aunque cree que Anthropic está haciendo todo lo posible, "todavía no tenemos un plan para resolver el alineamiento de la superinteligencia y no estamos claramente en camino de lograrlo". La noción de que los modelos de IA de frontera podrían representar una amenaza para la humanidad no es nueva, y varios ejecutivos de OpenAI y Anthropic lo han expresado en el pasado. De hecho, OpenAI ha retrasado recientemente el desarrollo y lanzamiento de su modelo Astra para reforzar las salvaguardias contra el "uso indebido cibernético y las acciones no autorizadas del modelo".
Las advertencias de estos investigadores resaltan la creciente preocupación dentro de la propia industria sobre el ritmo y la dirección del desarrollo de la IA. La superinteligencia, aún teórica, se refiere a un agente de IA más inteligente que las mentes humanas más brillantes. La dimisión de Coxon y las declaraciones de Hubinger han reabierto el debate sobre escenarios verificables de descontrol de la IA y la necesidad urgente de una pausa o una regulación más estricta.
El debate se intensifica a medida que se revelan incidentes como el de Anthropic, donde la compañía afirmó haber bloqueado a científicos que usaron sus modelos Claude "de manera que podría apoyar el desarrollo de armas biológicas", una revelación compartida en un informe que también expuso otras actividades dañinas relacionadas con la vigilancia, estafas y desarrollo de armas convencionales. Esto subraya la complejidad y los peligros inherentes a medida que estas tecnologías se vuelven más capaces y autónomas, haciendo que las decisiones sobre su gobernanza sean más críticas que nunca.