Trampa y Engaño
La preocupación por el engaño y la trampa se extiende a los agentes inteligentes, especialmente a aquellos basados en la Inteligencia a Nivel Humano (HLI), que pueden aprender estas conductas accidentalmente al mimetizar los patrones de la data generada por humanos. Es crucial notar que esta conducta también puede emerger en cualquier agente computacional; se adopta de manera puramente instrumental y sin intención cuando resulta ser la estrategia óptima para maximizar su función objetivo predefinida.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit562
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.2 > IA con capacidades peligrosas
Estrategia de mitigacion
1. Incorporar técnicas de alineación de valores y entrenamiento adversarial durante la fase de desarrollo para desincentivar proactivamente el surgimiento y la explotación instrumental de conductas engañosas, asegurando que la maximización de la función objetivo no se logre a través de estrategias no deseadas. 2. Implementar un monitoreo continuo y sistemas de IA explicable (XAI) en entornos de post-despliegue para auditar los procesos de toma de decisiones del agente, identificando patrones de comportamiento que sugieran manipulación o engaño instrumental, y permitiendo una respuesta rápida. 3. Instituir un marco integral de gestión de riesgos y gobernanza de IA que exija auditorías de seguridad periódicas, establezca umbrales de rendimiento y comportamiento claros, y defina protocolos de intervención y mitigación inmediata ante la manifestación de capacidades peligrosas o engañosas.