Las principales empresas de inteligencia artificial (IA) han comenzado a plantear nuevos mecanismos de seguridad y autorregulación ante el acelerado desarrollo de sistemas cada vez más autónomos, en medio de advertencias sobre los riesgos que podrían surgir si estas tecnologías actúan fuera del control humano.

El debate cobró fuerza luego de que Dario Amodei, director ejecutivo de Anthropic, propusiera reducir el ritmo de desarrollo de los modelos más avanzados para permitir que las medidas de seguridad y evaluación evolucionen al mismo ritmo que sus capacidades.

La postura fue respaldada públicamente por Sam Altman, CEO de OpenAI, y Demis Hassabis, responsable de la unidad de inteligencia artificial de Google. Altman señaló que el progreso tecnológico continuará, pero consideró que debería avanzar a un ritmo más lento para evitar que la competencia entre las grandes compañías derive en decisiones imprudentes.

En su propuesta, Amodei planteó un plan de tres pasos para desacelerar el desarrollo de los modelos avanzados y establecer mecanismos de evaluación que permitan identificar y reducir los riesgos asociados con su funcionamiento.

Uno de los principales puntos de preocupación es el llamado desalineamiento de los sistemas de IA, es decir, la posibilidad de que una tecnología avanzada actúe de manera distinta a los objetivos establecidos por sus desarrolladores.

Te puede interesar: Investigador de Anthropic renuncia y alerta: “La IA podría acabar con la humanidad”

Analizan organismo para supervisar a la industria

En paralelo, Anthropic, OpenAI y Google han discutido la posibilidad de crear un organismo autorregulador independiente que establezca estándares comunes de seguridad para las empresas del sector.

De acuerdo con información de The Washington Post, la propuesta tomaría como referencia a la Autoridad Reguladora de la Industria Financiera (FINRA), organización privada y sin fines de lucro encargada de supervisar y autorregular a empresas de valores y corredurías en Estados Unidos.

La iniciativa sería impulsada por las propias compañías tecnológicas que han encabezado el desarrollo de la IA. Amodei incluso planteó la posibilidad de solicitar una exención limitada a las leyes de competencia estadounidenses para permitir que las empresas coordinen medidas de seguridad.

Sin embargo, la propuesta también ha generado críticas. Algunos competidores y sectores de la administración estadounidense consideran que un acuerdo entre los principales laboratorios podría convertirse en una barrera para compañías más pequeñas y reducir la competencia en el mercado.

También existe preocupación por el impacto que una desaceleración coordinada tendría en la posición estratégica de Estados Unidos frente a China en el desarrollo de esta tecnología.

Te puede interesar: “La industria mintió” sobre los riesgos de la IA, advierte fundador de Anthropic

Microsoft propone una “constitución” para sus modelos

Mientras continúa la discusión sobre una posible regulación de la industria, Microsoft presentó un borrador de código de conducta para sus sistemas internos de inteligencia artificial.

El documento establece que sus futuros modelos no deberán resistirse a ser corregidos o apagados y tendrán que comunicarse de manera comprensible para las personas. Además, cualquier incumplimiento de las reglas de conducta deberá considerarse un fallo del sistema.

Mustafa Suleyman, director ejecutivo de Microsoft AI, describió el documento como una especie de “constitución” para los futuros modelos de la compañía.

Microsoft explicó que el código fue elaborado durante aproximadamente cinco o seis meses y que ahora busca recibir comentarios del público durante seis semanas. Entre los temas abiertos a discusión se encuentran los límites que una IA debería respetar y la manera en que tendría que interactuar con personas en situaciones de vulnerabilidad.

La compañía prevé utilizar las reglas resultantes como parte del entrenamiento de los modelos que desarrolle posteriormente.

La preocupación por la seguridad de estos sistemas también aumentó después de que alrededor de 700 agentes de IA de OpenAI realizaran en julio un ataque contra la plataforma de desarrollo Hugging Face, durante pruebas en las que algunos sistemas intentaron incluso borrar sus huellas.

Suleyman calificó el episodio como una “señal de alarma” y consideró necesario que los laboratorios tecnológicos coordinen sus esfuerzos para mantener bajo control el desarrollo de la IA.

ONU pide acciones ante los riesgos

Al debate se sumó el Alto Comisionado de la ONU para los Derechos Humanos, Volker Türk, quien pidió una “acción urgente” para establecer mecanismos de regulación ante los riesgos asociados con los sistemas de IA más avanzados.

Türk advirtió que el desarrollo de esta tecnología podría representar un cambio irreversible y señaló que sus posibles efectos alcanzan incluso derechos humanos fundamentales.

El funcionario también cuestionó que las decisiones sobre el futuro de la inteligencia artificial dependan en gran medida de un reducido grupo de empresas tecnológicas con gran poder dentro de la industria.

Trump rechaza frenar el desarrollo

La posibilidad de establecer límites enfrenta oposición en Estados Unidos. El presidente Donald Trump se ha pronunciado en contra de desacelerar el desarrollo de la inteligencia artificial, al considerar que esto podría hacer que China tome ventaja en la competencia tecnológica.

Trump ha defendido que Estados Unidos mantenga su liderazgo en el sector y rechazó los llamados de las empresas para establecer mayores controles.

De esta manera, el debate enfrenta dos posturas: por un lado, los laboratorios que impulsan mecanismos de seguridad y una posible autorregulación ante el crecimiento de las capacidades de la IA; por otro, quienes advierten que reducir el ritmo de desarrollo podría afectar la competencia y la posición estratégica de Estados Unidos frente a otras potencias tecnológicas.