Otros riesgos éticos
Aunque hemos analizado una serie de riesgos habituales que plantean los sistemas de Aprendizaje Automático (ML), es crucial reconocer la existencia de un espectro más amplio de riesgos éticos. Estos incluyen, por ejemplo, el preocupante potencial de ejercer manipulación psicológica, deshumanización y explotación de seres humanos a una escala masiva.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit204
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.1 > Desinformación, vigilancia e influencia a escala
Estrategia de mitigacion
1. Implementar auditorías algorítmicas sistémicas y periódicas, con un alcance que trascienda el mero cumplimiento legal, para evaluar la equidad en los resultados, la lógica de decisión, la explicabilidad del sistema y, crucialmente, la existencia de sesgos inherentes que puedan ser explotados para la manipulación psicológica o la amplificación de polarización social a gran escala (riesgos de segundo orden). 2. Adoptar el principio de "Privacidad desde el Diseño" (Privacy by Design) y la minimización de datos (Data Minimization) como requisito fundamental del ciclo de vida del sistema. Esto tiene como objetivo desmantelar la arquitectura del "capitalismo de la vigilancia" al asegurar que la privacidad sea la configuración predeterminada, limitando proactivamente la recolección y el uso de datos personales para la inferencia de comportamiento, reduciendo así la materia prima para la explotación y la deshumanización. 3. Establecer un marco robusto de gobernanza algorítmica que exija la creación y revisión continua de un Informe de Evaluación de Impacto (IAR) y que formalice mecanismos de supervisión humana (human oversight) y rendición de cuentas. Estos mecanismos deben estar diseñados para identificar y corregir desajustes de incentivos entre la rentabilidad de la corporación y el bienestar social, previniendo decisiones de diseño tecnológico perjudiciales. 4. Fomentar la alfabetización digital crítica y reflexiva en los usuarios para empoderarlos como ciudadanos digitales activos. Esta estrategia actúa como una contramedida social y cognitiva al dotar a los individuos de la capacidad de evaluar de forma autónoma la información y discernir las intenciones subyacentes de los sistemas, mitigando así el potencial de la desinformación y la manipulación a escala.
EVIDENCIA ADICIONAL
Esto se alinea directamente con el concepto de capitalismo de la vigilancia, donde los individuos son esencialmente tratados como productores de datos que son sistemáticamente minados para generar predicciones sobre su comportamiento futuro [205]. Estas predicciones se emplean luego, y a menudo, para optimizar la venta de exposiciones publicitarias. Este profundo desajuste de incentivos entre los intereses del público y los de las corporaciones puede derivar en decisiones de diseño tecnológico que son inherentemente perjudiciales para los primeros, pero excepcionalmente rentables para las segundas [206]. Las evidencias de esto incluyen la exacerbación deliberada de tensiones religiosas que han escalado a violencia real fuera de línea [84, 193], y la promoción activa de contenido escandaloso o polarizador como estrategia para incrementar artificialmente la participación o el engagement del usuario [56].