Dilemas morales
Un dilema moral se manifiesta cuando un sistema de inteligencia artificial (IA) debe elegir entre dos cursos de acción, cada uno de los cuales entra en conflicto con sus valores éticos o morales predefinidos. Si bien se pueden implementar sistemas de reglas explícitas en la programación, los procesos de aprendizaje automático de la IA no garantizan que estas directrices permanezcan inalteradas, ya que el sistema podría modificarlas con el tiempo. La única vía para asegurar una obediencia irrestricta es dotar a la IA de una "moralidad esclava" (Lin et al., 2008, p. 32), obligándola a acatar las normas a toda costa. No obstante, esta solución extrema plantea sus propios riesgos, pudiendo generar consecuencias negativas e inhibir el desarrollo autónomo del propio sistema de IA.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit296
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Supervisión Humana y Atribución de Responsabilidad Ético-Legal Establecer un marco riguroso donde la intervención y la supervisión humana (Human-in-the-Loop) sean obligatorias en la toma de decisiones de alto riesgo. Es crucial garantizar la trazabilidad y la atribución inequívoca de la responsabilidad legal y ética a personas o entidades jurídicas, dado que el sistema de IA, al carecer de conciencia, no puede ser el depositario final de la culpa. 2. Desarrollo e Implementación de la Explicabilidad y Transparencia Algorítmica (XAI) Diseñar los sistemas para que las "decisiones" tomadas ante un dilema moral sean comprensibles y auditables. La implementación de algoritmos explicables es fundamental para que los desarrolladores y usuarios puedan entender la lógica subyacente de la elección, lo que permite la evaluación *a posteriori* de la alineación ética del sistema y mitiga el riesgo de opacidad (caja negra). 3. Integración de Directrices Éticas Proactivas y Auditoría de Datos Incluir valores éticos fundamentales (como la equidad, la justicia y la minimización del daño) directamente en la programación del sistema y su función objetivo, superando la limitación de las reglas rígidas que pueden ser alteradas por el aprendizaje automático. Esto debe ir acompañado de una auditoría constante y multidisciplinaria de los conjuntos de datos de entrenamiento para prevenir y eliminar sesgos que puedan generar resultados discriminatorios en la resolución de dilemas.