
Desafíos / Challenges / Défis / Desafios
David Wood, Reino Unido, UK
Previniendo la Superinteligencia Insegura: cuatro opciones
Cada vez más gente ha llegado a la conclusión de que la superinteligencia artificial (AGI) podría, al menos en algunas circunstancias, plantear riesgos catastróficos para el bienestar de miles de millones de personas en todo el mundo, y que, por lo tanto, hay que hacer algo para reducir estos riesgos.
Sin embargo, hay una gran divergencia de opiniones sobre lo que debe hacerse. Y hay poca claridad sobre los supuestos subyacentes de los que dependen las distintas estrategias.
En consecuencia, en este artículo intento desentrañar algunas de las opciones que hay que tomar. Destacaré cuatro opciones que promueven diversos activistas.
Las opciones difieren en cuanto al número de organizaciones de todo el mundo a las que se permite legalmente desarrollar y desplegar lo que podría convertirse en ASI. Las cuatro opciones son:
1. Aceptar que muchas organizaciones diferentes seguirán cada una su propio camino hacia la ASI, pero instar a cada una de ellas a ser muy cuidadosas y a aumentar significativamente la atención prestada a la seguridad de la IA en comparación con la situación actual.
2. Intentar restringir a una sola organización en el mundo cualquier avance que pueda conducir a la ASI, para evitar una peligrosa dinámica de competición si hay más de una organización de este tipo.
3. Buscar acuerdos que impidan a cualquier organización, en cualquier parte del mundo, tomar medidas específicas que puedan provocar ASI, hasta que esté absolutamente claro cómo garantizar que la ASI sea segura.
4. Buscar una pausa global en cualquier mejora a nivel de plataforma en la capacidad de IA, en cualquier parte del mundo, hasta que esté absolutamente claro que estas mejoras no desencadenarán una pendiente resbaladiza hacia la aparición de ASI.
Para simplificar, estas opciones pueden etiquetarse como:
Cuidado con la ASI
Restringir la ASI
Detener la ASI
Detener toda IA nueva
Preventing Unsafe Superintelligence: four choices
David Wood
More and more people have come to the conclusion that artificial superintelligence (ASI) could, in at least some circumstances, pose catastrophic risks to the wellbeing of billions of people around the world, and that, therefore, something must be done to reduce these risks.
However, there’s a big divergence of views about what should be done. And there’s little clarity about the underlying assumptions on which different strategies depend.
Accordingly, I seek in this article to untangle some of choices that need to be made. I’ll highlight four choices that various activists promote.
The choices differ regarding the number of different organisations worldwide that are envisioned as being legally permitted to develop and deploy what could become ASI. The four choices are:
-
Accept that many different organisations will each pursue their own course toward ASI, but urge each of them to be very careful and to significantly increase the focus on AI safety compared to the present situation
-
Seek to restrict to just one organisation in the world any developments that could lead to ASI; that’s in order to avoid dangerous competitive race dynamics if there is more than one such organisation
-
Seek agreements that will prevent any organisation, anywhere in the world, from taking specific steps that might bring about ASI, until such time as it has become absolutely clear how to ensure that ASI is safe
-
Seek a global pause on any platform-level improvements on AI capability, anywhere in the world, until it has become absolutely clear that these improvements won’t trigger a slippery slope to the emergence of ASI.
For simplicity, these choices can be labelled as:
-
Be careful with ASI
-
Restrict ASI
-
Pause ASI
-
Pause all new AI
Concepción Olavarieta, México
Patty O'Callaghan, Venezuela - Escocia / Scotland
Hector Casanueva, España-Chile/Spain-Chile
Jerome Glenn, EEUU/USA
Paul Epping, Países Bajos / The Netherlands

La Inteligencia Artificial General (IAG) se refiere a una forma avanzada de IA que puede entender, aprender y aplicar conocimientos en una amplia gama de tareas, similar a las capacidades cognitivas humanas. Aumentar la conciencia sobre la IAG es crucial debido a varios factores clave:
1. Avance Tecnológico Rápido
- Avances en IA
- Crecimiento Exponencial
2. Crecimiento Exponencial
- Superinteligencia
-Problemas de control
3. Implicaciones Éticas y Morales
- Alineación de Valores
- Derechos de las Entidades IAG
4. Impacto Económico y Social
- Desplazamiento Laboral
- Inequidad Económica
5. Desafíos Regulatorios y de Gobernanza
- Cooperación Global
- Retraso Regulatorio


6. Transparency and Responsibility
- Explainable AI
- Responsibility
7. Safety Concerns
- Cybersecurity"
- Weapons
8. Resource and Energy Consumption
- Sustainability
- Accessibility
9. Public Awareness and Understanding
- Informed Public
- Media Representation
10. Research and Development Career
- Competitive Pressures
- Collaborative Research

6. Transparencia y Responsabilidad
- IA Explicable
- Responsabilidad
7. Preocupaciones de Seguridad
- Ciberseguridad"
- Armas
8. Consumo de Recursos y Energía
- Sostenibilidad
- Accesibilidad
9. Conciencia Pública y Comprensión
- Público Informado
- Representación en Medios
10. Carrera de Investigación y Desarrollo
- Presiones Competitivas
- Investigación Colaborativa.


Artificial General Intelligence (AGI) refers to an advanced form of AI that can understand, learn and apply knowledge in a wide range of tasks, similar to human cognitive abilities. Raising awareness of IAG is crucial due to several key factors:
1. Rapid Technological Advancement
- Advances in AI
- Exponential growth
2. Exponential Growth
- Superintelligence
-Control problems
3. Ethical and Moral Implications
- Values Alignment
- Rights of IAG Entities
4. Economic and Social Impact
- Job Displacement
- Economic Inequity
5. Regulatory and Governance Challenges
- Global Cooperation
- Regulatory Delay

Preventing unsafe superintelligence: four choices


LA RESPONSABILIDAD HUMANA EN LA IA
THE HUMAN RESPONSIBILITY FOR AI
LA RESPONSABILITÉ HUMAINE POUR L'IA
A RESPONSABILIDADE HUMANA NA IA