Atribuir la responsabilidad por los fallos de la IA
El campo de la seguridad de la IA (Inteligencia Artificial) es una disciplina fundamental e interdisciplinaria que se enfoca en asegurar que estos sistemas se diseñen y operen de manera que no causen daño, ya sea accidental o intencional, a los seres humanos o al medio ambiente. La investigación se concentra en identificar las causas de los comportamientos inesperados o no deseados de la IA y en desarrollar herramientas técnicas —como el *alineamiento* (para que sus objetivos concuerden con los valores humanos) y la *robustez* (para garantizar su rendimiento seguro ante escenarios imprevistos)—, con el fin último de asegurar una operación confiable y controlada de la tecnología avanzada.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
3 - Otro
ID del riesgo
mit553
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. **Establecimiento de un Marco de Gobernanza de la Responsabilidad (Prioridad Máxima)**: Definir e integrar explícitamente los roles, las métricas de desempeño (KPIs) y los protocolos de escalamiento para la responsabilidad en cada etapa del ciclo de vida de la IA (diseño, despliegue y supervisión). Implementar un modelo de rendición de cuentas multinivel (micro, meso, macro) que asegure la asignación de propiedad clara antes de la puesta en marcha, asumiendo la inevitabilidad del fallo y diseñando para la resiliencia y la recuperación controlada. 2. **Garantía de Trazabilidad, Transparencia y Explicabilidad (XAI)**: Desarrollar y mantener una documentación técnica exhaustiva que registre las exclusiones de datos, los ajustes algorítmicos y la lógica de los casos límite. Esto incluye lograr la explicabilidad de los procesos de decisión de los sistemas de IA para que las partes interesadas (usuarios, reguladores) puedan comprender el "cómo" y el "por qué" de las decisiones, facilitando la auditoría y la localización de la causa raíz en caso de un incidente. 3. **Implementación de Supervisión Humana y Mecanismos de Intervención (Human-in-the-Loop)**: Establecer puntos de control humanos obligatorios y capacitados dentro del flujo de trabajo de la IA para la validación y aprobación de resultados, especialmente en sistemas de alto riesgo. Esto requiere definir pautas claras sobre las circunstancias que exigen la intervención humana y asegurar la "doble alfabetización" (algorítmica y social) para que el personal pueda ejercer un control medido y justificado.