Preocupaciones tecnológicas
Los desafíos de índole tecnológica se refieren a las limitaciones y restricciones intrínsecas a los sistemas de inteligencia artificial generativa. Un escollo fundamental para el desarrollo de estos modelos reside en la calidad de los datos utilizados para su entrenamiento. De igual manera, las propias limitaciones algorítmicas dan origen a retos críticos como la alucinación, la falta de explicabilidad y la incertidumbre sobre la autenticidad del contenido generado. Estos aspectos clave engloban la alucinación, la calidad del *corpus* de entrenamiento, la explicabilidad, la autenticidad de las salidas y la complejidad asociada a la ingeniería de *prompts*.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit508
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. **Implementación de un Marco Riguroso de Gobernanza de Datos (Prioridad Alta):** Establecer políticas y procedimientos estrictos para la curación, validación y sanitización de los *datasets* de entrenamiento. Esto es crucial para garantizar la precisión, exhaustividad y mitigación de sesgos en el *corpus* de entrenamiento, que son la causa raíz de las alucinaciones y la falta de fiabilidad de los modelos generativos. 2. **Establecimiento de Controles Técnicos y Supervisión Humana (Guardrails) (Prioridad Media-Alta):** Desarrollar e integrar barreras de seguridad (*guardrails*) técnicas para monitorear las entradas y limitar las salidas del modelo, reduciendo la probabilidad de generación de contenido inexacto o no auténtico (alucinaciones). Complementariamente, es esencial la intervención de expertos humanos para la verificación y validación crítica de los resultados en contextos de alto riesgo. 3. **Adopción de Metodologías de IA Explicable (XAI) (Prioridad Media):** Incorporar técnicas de XAI para mejorar la transparencia y la interpretabilidad de los modelos. Esto permite a los desarrolladores y usuarios comprender el razonamiento detrás de una salida, lo cual facilita la identificación de fallas algorítmicas, la detección de sesgos y la mejora continua de la robustez del sistema.