Asegurar la IA desde la base: afrontar los riesgos de la cadena de suministro de datos a escala web

Los conjuntos de datos a escala web presentan una combinación única de oportunidades y riesgos.

A medida que la Inteligencia Artificial ("IA") sigue integrándose rápidamente en todos los sectores, la integridad de su canal de datos -desde la recopilación hasta el despliegue- se ha convertido en una preocupación crítica. A menudo extraídos o recopilados de fuentes abiertas, los conjuntos de datos a escala web presentan una combinación única de oportunidades y riesgos.

Cuando no se verifican o protegen correctamente, pueden introducir contenido malicioso, sesgos estadísticos y vulnerabilidades sistémicas que comprometen el rendimiento y la fiabilidad de la IA.

En este artículo se describen los principales riesgos a los que se enfrentan los consumidores y conservadores de datos y se ofrecen estrategias prácticas de mitigación para proteger los datos a lo largo del ciclo de vida de la IA.

Riesgos generales para los consumidores de datos

Confíe, pero verifique

El uso de conjuntos de datos masivos a escala web conlleva un riesgo inherente: no se puede dar por sentado que estén limpios, sean precisos o estén libres de manipulaciones. Los modelos de terceros entrenados en estos conjuntos de datos pueden heredar estos riesgos e introducir comportamientos no deseados o maliciosos en los sistemas de IA posteriores.

Cuando los datos entran en un canal de IA, la carga de validarlos y protegerlos recae en el adquirente. Entre las principales medidas de mitigación se incluyen:

  • Verificación de conjuntos de datos: Verificar que los conjuntos de datos ingestados están limpios y no han sido alterados. Utilice firmas criptográficas para registrar la integridad de los conjuntos de datos en el momento de la ingestión.
  • Credenciales de contenido: Adopte normas de metadatos como C2PA (credenciales de contenido) para rastrear el origen, las modificaciones y el linaje de los medios. Aunque no garantizan la autenticidad, proporcionan un contexto fundamental.
  • Garantías de los proveedores de modelos: Cuando utilice modelos de fundaciones de terceros, solicite pruebas de la procedencia e integridad de los datos, incluido el seguimiento del linaje y las prácticas de filtrado.
  • Exigir certificación: Exigir a los proveedores de conjuntos de datos o modelos una certificación formal que confirme que los conjuntos de datos están libres de amenazas conocidas.
  • Almacenamiento seguro: Almacene los datos en bases de datos criptográficamente verificables, sólo para anexos. Tratar cualquier actualización o aumento como una nueva versión con seguimiento de cambios. Abortar la formación si fallan las comprobaciones de integridad.

Riesgos de intoxicación en conjuntos de datos a escala web

Envenenamiento por vista dividida: Cuando los conjuntos de datos conservados se vuelven obsoletos

Los conjuntos de datos conservados, como LAION-2B o COYO-700M, suelen contener enlaces a dominios externos. Si estos dominios caducan, los atacantes pueden comprarlos y sustituir su contenido por versiones maliciosas.

  • Coste del ataque: Las compras de dominios y las inyecciones de cargas útiles pueden ejecutarse por menos de 1.000 dólares, algo al alcance de adversarios con pocos recursos.

Mitigación:

  • Adjuntar y publicar hashes criptográficos para todas las referencias de conjuntos de datos sin procesar.
  • Validar hashes durante la descarga.
  • Realice comprobaciones periódicas de re-scraping y diff para detectar cambios.
  • Certificar los conjuntos de datos en el momento de su publicación para afirmar su integridad.

Envenenamiento frontal: Cómo superar la instantánea

Plataformas como Wikipedia publican instantáneas predecibles de sus datos. Los atacantes pueden editar las páginas poco antes de que se tomen las instantáneas, asegurándose de que el contenido envenenado se captura antes de que los moderadores lo detecten. Los estudios sugieren que hasta el 6,5% de las páginas de Wikipedia podrían estar afectadas.

Mitigación:

  • Evite utilizar datos instantáneos no verificables.
  • Los recopiladores (por ejemplo, Wikipedia) deberían aleatorizar los tiempos de las instantáneas o congelar las ediciones antes de la instantánea para ampliar la ventana de ataque y permitir la revisión humana.

Datos rastreados: Máxima exposición, mínimo control

Los conjuntos de datos rastreados por Internet ofrecen una escala enorme, pero un control mínimo. No hay mantenedores de confianza, ni seguimiento de hash, ni garantías de integridad del contenido.

Mitigación:

  • Confianza basada en el consenso: Aceptar datos sólo cuando estén corroborados por múltiples fuentes independientes.
  • Autocuración: Si carece de recursos para examinar los datos rastreados por Internet, no los utilice, o retrase su uso hasta que disponga de una infraestructura de confianza.

Mitigación de las modificaciones malintencionadas en los datos de IA

Los datos maliciosamente alterados pueden socavar silenciosamente su sistema de IA en cualquier fase. Las amenazas más peligrosas se mezclan en la cadena de suministro de datos y solo salen a la luz cuando ya es demasiado tarde.

Aprendizaje automático adversarial (AML)

La ALD abarca técnicas como:

  • Envenenamiento de datos: Introducción de muestras maliciosas en los conjuntos de entrenamiento.
  • Ejemplos adversarios: Elaboración de entradas sutiles para engañar a la clasificación de modelos.
  • Inversión de modelos: Extracción de datos sensibles de modelos entrenados.

Mitigación:

  • Utilice la detección de anomalías durante el preprocesamiento para detectar valores atípicos.
  • Limpiar y filtrar los datos con regularidad.
  • Recogida segura de datos y canales de formación.
  • Utilizar el aprendizaje conjunto o colaborativo para mejorar la tolerancia a fallos.
  • Anonimizar los atributos sensibles para evitar la fuga de datos.

Metadatos defectuosos y contexto roto

La ausencia o manipulación de metadatos puede distorsionar la interpretación del modelo y reducir su fiabilidad.

Mitigación:

  • Imponer una gobernanza y validación rigurosas de los metadatos.
  • Complemente los metadatos que faltan con conjuntos de datos de referencia.
  • Validar la estructura, integridad y exactitud antes de la ingestión.

Sesgo estadístico

El sesgo surge de conjuntos de datos desequilibrados y procesos de recopilación defectuosos, lo que degrada el rendimiento y erosiona la confianza.

Mitigación:

  • Realizar auditorías rutinarias de los datos de formación.
  • Garantizar que los conjuntos de datos reflejen la diversidad del mundo real.
  • Separe adecuadamente los conjuntos de entrenamiento, validación y prueba.
  • Mantener un repositorio de incidentes de sesgo del modelo para orientar futuras mejoras.

Envenenamiento de datos mediante desinformación

La inserción de información falsa o engañosa en los conjuntos de datos -ya sea con fines políticos, financieros o perturbadores- puede sesgar sigilosamente los resultados de los modelos.

Mitigación:

  • Eliminar la desinformación conocida siempre que sea posible.
  • Verificar la procedencia mediante referencias cruzadas y credenciales de contenido.
  • Utilizar el aumento de datos para diluir la influencia de las muestras envenenadas.
  • Aplicar comprobaciones de control de calidad mediante desviación estadística y detección de anomalías.

Duplicados y casi duplicados

Los datos duplicados -especialmente los casi duplicados- pueden sesgar los modelos y llevar a un ajuste excesivo.

Mitigación:

  • Aplicar técnicas de deduplicación como hash difuso, clustering o similarity scoring.
  • Supervisar los modelos para detectar sobreajustes y una confianza de predicción irregular.

Deriva de datos: Un asesino silencioso

La desviación de datos se produce cuando la distribución estadística de los datos de entrada cambia con el tiempo. Esto suele ocurrir de forma sutil, hasta que la precisión del modelo cae en picado.

Causas de la desviación de datos:

  • Cambios de formato (por ejemplo, las unidades pasan de millas a kilómetros)
  • Nuevos tipos de datos (por ejemplo, cepas de malware nunca vistas)
  • Cambios organizativos (por ejemplo, una fusión altera las pautas de acceso).

Mitigación:

  • Utilizar sistemas sólidos de gestión de datos para seguir y gestionar las nuevas aportaciones.
  • Supervise los resultados del modelo en producción para detectar cambios en el rendimiento.
  • Vuelva a entrenar periódicamente los modelos con datos actuales y limpios.
  • Aplicar métodos de conjunto para aumentar la resistencia del sistema.

Las herramientas de seguimiento estadístico pueden ayudar a cuantificar si los cambios observados se deben a la deriva normal o a intentos activos de envenenamiento.

Reflexiones finales: La higiene de la cadena de suministro de IA no es negociable

Los ataques de envenenamiento frontal y de vista dividida son baratos, eficaces y cada vez más comunes. Los consumidores de datos deben asumir que existen datos comprometidos tanto en los conjuntos de datos como en los modelos.

Proteger los sistemas de IA significa proteger toda la cadena de suministro de datos. Cada parte interesada, desde el conservador del conjunto de datos hasta el proveedor del modelo base y el desarrollador de la aplicación, debe asumir su papel en la defensa contra la manipulación de los datos.

Qué puede hacer usted:

  • Elija proveedores de modelos que documenten de forma transparente las fuentes de datos y los métodos de filtrado.
  • Utilice la verificación criptográfica siempre que sea posible.
  • Rechazar el uso de modelos de caja negra sin un linaje verificable.

Hasta que se establezca una infraestructura de confianza universal para los datos de IA, la vigilancia, la transparencia y la defensa por capas seguirán siendo sus mejores herramientas.

Referencias

  1. Oficina del Director de Inteligencia Nacional. Léxico de gestión de datos de la comunidad de inteligencia. 2024. https://dni.gov/files/ODNI/documents/IC_Data_Management_Lexicon.pdf
  2. Agencia Nacional de Seguridad et al. Deploying AI Systems Securely: Best Practices for Deploying Secure and Resilient AI Systems. 2024. https://media.defense.gov/2024/Apr/15/2003439257/-1/-1/0/CSI-DEPLOYING-AI-SYSTEMS-SECURELY.PDF
  3. Instituto Nacional de Normas y Tecnología (NIST). NIST AI 100-1: Marco de gestión de riesgos de la inteligencia artificial (AI RMF 1.0). 2023. https://doi.org/10.6028/NIST.AI.100-1
  4. NIST. Publicación especial 800-37 Rev. 2 del NIST: Guía para aplicar el marco de gestión de riesgos a los sistemas de información federales. 2018. https://doi.org/10.6028/NIST.SP.800-37r2
  5. NIST. Federal Information Processing Standards Publication (FIPS) 204. Module-Lattice-Based Digital Signature Standard: Module-Lattice-Based Digital Signature Standard. 2024. https://doi.org/10.6028/NIST.FIPS.204
  6. NIST. FIPS 205: Stateless Hash-Based Digital Signature Standard. 2024. https://doi.org/10.6028/NIST.FIPS.205
  7. Bommasani, R. et al. On the Opportunities and Risks of Foundation Models. arXiv:2108.07258v3. 2022. https://arxiv.org/abs/2108.07258v3
  8. Securing Artificial Intelligence (SAI); Seguridad de la cadena de suministro de datos. ESTI GR SAI 002 V1.1.1. 2021. https://etsi.org/deliver/etsi_gr/SAI/001_099/002/01.01.01_60/gr_SAI002v010101p.pdf
  9. Centro Nacional de Ciberseguridad et al. Guidelines for Secure AI System Development. 2023. https://www.ncsc.gov.uk/files/Guidelines-for-secure-AI-system-development.pdf
  10. NIST. Publicación especial 800-207 del NIST: Arquitectura de confianza cero. 2020. https://doi.org/10.6028/NIST.SP.800-207
  11. NIST. NIST IR 8496 IPD: Conceptos de clasificación de datos y consideraciones para mejorar la protección de datos. 2023. https://doi.org/10.6028/NIST.IR.8496.ipd
  12. Agencia de Ciberseguridad y Seguridad de las Infraestructuras (CISA), NSA y NIST. Preparación cuántica: Migración a la criptografía postcuántica. 2023. https://www.cisa.gov/resources-tools/resources/quantum-readiness-migration-post-quantum-cryptography
  13. NIST. FIPS 203: Norma de mecanismo de encapsulación de claves basado en módulos reticulares. 2024. https://doi.org/10.6028/NIST.FIPS.203
  14. NIST. NIST SP 800-52 Rev. 2: Directrices para la selección, configuración y uso de implementaciones de seguridad de la capa de transporte (TLS). 2019. https://doi.org/10.6028/NIST.SP.800-52r2
  15. NIST. FIPS 140-3, Requisitos de seguridad para módulos criptográficos. 2019. https://doi.org/10.6028/NIST.FIPS.140-3 
  16. NIST. FIPS 140-2, Requisitos de seguridad para módulos criptográficos. 2001. https://doi.org/10.6028/NIST.FIPS.140-2
  17. NIST. NIST AI 100-2e2023: Trustworthy and Responsible AI, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations. 2024. https://doi.org/10.6028/NIST.AI.100-2e2023
  18. Adak, M. F., Kose, Z. N., & Akpinar, M. Dynamic Data Masking by Two-Step Encryption. En 2023 Innovations in Intelligent Systems and Applications Conference (ASYU) (pp. 1-5). IEEE. 2023 https://doi.org/10.1109/ASYU58738.2023.10296545
  19. Kairouz, P. et al. Avances y problemas pendientes en el aprendizaje federado. Fundamentos y tendencias en el aprendizaje automático 14 (1-2): 1-210. arXiv:1912.04977. 2021. https://arxiv.org/abs/1912.04977
  20. NIST. NIST SP 800-88 Rev. 1: Directrices para la higienización de soportes. 2014. https://doi.org/10.6028/NIST.SP.800-88r1
  21. NIST. NIST Special Publication 800-3 Rev. 2: Risk Management Framework for Information Systems and Organizations: Un Enfoque del Ciclo de Vida del Sistema para la Seguridad y la Privacidad. 2018. https://doi.org/10.6028/NIST.SP.800-37r2
  22. Departamento de Seguridad Nacional de EE.UU. Preparedness Series Junio de 2023: Riesgos y estrategias de mitigación de las amenazas de la inteligencia artificial adversaria: A DHS S&T Study. 2023. https://www.dhs.gov/sites/default/files/2023-12/23_1222_st_risks_mitigation_strategies.pdf
  23. Bender, E. M., & Friedman, B. Declaraciones de datos para el procesamiento del lenguaje natural: Toward Mitigating System Bias and Enabling Better Science. Transacciones de la Asociación de Lingüística Computacional (TACL) 6, 587-604. 2018. https://doi.org/10.1162/tacl_a_00041
  24. NSA et al. Credenciales de contenido: Strengthening Multimedia Integrity in the Generative AI Era. 2025. https://media.defense.gov/2025/Jan/29/2003634788/-1/-1/0/CSI-CONTENT-CREDENTIALS.PDF
  25. Orden ejecutiva (OE) 14179: "Eliminación de obstáculos al liderazgo estadounidense en inteligencia artificial" https://www.federalregister.gov/executive-order/14179
  26. NIST. Publicación especial 1270 del NIST: Framework for Identifying and Managing Bias in Artificial Intelligence. 2023. https://doi.org/10.6028/NIST.SP.1270
  27. NIST. NIST AI 600-1: Marco de gestión de riesgos de la inteligencia artificial: Perfil de la Inteligencia Artificial Generativa. 2023. https://doi.org/10.6028/NIST.AI.600-1
  28. Proyecto abierto de seguridad de las aplicaciones web (OWASP). AI Exchange. https://owaspai.org/goto/moretraindata/
  29. Carlini, N. et al. Poisoning Web-Scale Training Datasets is Practical. arXiv:2302.10149. 2023. https://arxiv.org/abs/2302.10149
  30. Kore, A., Abbasi Bavil, E., Subasri, V., Abdalla, M., Fine, B., Dolatabadi, E., & Abdalla, M. Empirical Data Drift Detection Experiments on Real-World Medical Image Data. Nature Communications 15, 1887. 2024. https://doi.org/10.1038/s41467-024-46142-w
  31. NIST. Publicación especial 800-208 del NIST: Recommendation for Stateful Hash-Based Signature Schemes. 2020. https://doi.org/10.6028/NIST.SP.800-208
  32. Organización de Cooperación y Desarrollo Económicos (OCDE). Glosario de términos estadísticos. 2008. https://doi.org/10.1787/9789264055087-en
  33. NIST. NIST SP 800-53 Rev. 5: Controles de seguridad y privacidad para sistemas de información y organizaciones. 2020. https://doi.org/10.6028/NIST.SP.800-53r5
  34. OWASP. AI Exchange. Cómo seleccionar las amenazas y los controles pertinentes análisis de riesgos. https://owaspai.org/goto/riskanalysis/
  35. ASD. Asesoramiento conjunto sobre la seguridad de los datos de inteligencia artificial. AI Data Security. 2025. https://www.cyber.gov.au/resources-business-and-government/governance-and-user-education/artificial-intelligence/ai-data-security
  36. ORGiD. La IA Generativa y su Impacto en la Transformación Digital. 2025. https://www.orgid.app/blog/the-rise-of-generative-ai-and-its-impact-on-digital-transformation