Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA3 - Otro

Riesgos técnicos y operativos

Hasta la fecha, la mayoría de los modelos de Inteligencia Artificial generativa albergan limitaciones y vulnerabilidades técnicas intrínsecas. Esta realidad incrementa la facilidad con la que usuarios malintencionados pueden sortear las salvaguardas éticas y de seguridad del sistema para ejecutar acciones perjudiciales. Es crucial notar que incluso el uso estándar, aquel dentro de las acciones previstas para el sistema, puede desembocar en resultados nocivos. Estas consecuencias, ya sean producto de un uso malicioso o normal, se originan en las restricciones fundamentales de la tecnología contemporánea, aunque se espera que los futuros avances puedan superarlas. El análisis se centrará en los siguientes ejes: las vulnerabilidades técnicas que afectan a los modelos, la tendencia conocida de la IA generativa a producir información inexacta y la opacidad inherente de estos sistemas, la cual complica significativamente la comprensión y mitigación efectiva de estas problemáticas.

Fuente: MIT AI Risk Repositorymit675

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

3 - Otro

ID del riesgo

mit675

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

1. Implementar programas de *red teaming* y *adversarial testing* continuos para simular ataques, evaluar la resiliencia del modelo ante manipulación de entradas (*evasion attacks*) y asegurar la solidez operativa del sistema. 2. Establecer mecanismos de detección de *hallucinations* y de *groundedness* para validar que las salidas generadas por el modelo sean precisas, fiables y estén consistentemente ancladas en datos verificables. 3. Integrar principios de Inteligencia Artificial Explicable (XAI) mediante el uso de modelos interpretables y técnicas de explicabilidad *post-hoc* que permitan a los desarrolladores y usuarios comprender, analizar e interpretar el proceso de toma de decisiones del sistema.