Cisco ha animado una utensilio de código amplio citación Model Provenance Kit para ayudar a las empresas a asaltar problemas de seguridad y cumplimiento relacionados con el uso de modelos externos de IA, informó SecurityWeek el 30 de abril.
Las empresas suelen importar modelos de terceros desde repositorios de modelos de IA como HuggingFace. HuggingFace tiene millones de modelos registrados.
Cisco dijo que surgen tres problemas cuando las empresas incorporan modelos de fuentes como HuggingFace. En primer ocupación, las empresas no determinan cómo se modifican después los modelos importados. En segundo ocupación, no verifican la información proporcionada por los desarrolladores de modelos, como la procedencia del maniquí, las vulnerabilidades y el sesgo de entrenamiento. En tercer ocupación, los niveles de mantenimiento varían según el desarrollador, lo que afecta a las empresas que utilizan los modelos.
Cisco dijo que estos problemas pueden producir riesgos de seguridad, cumplimiento y responsabilidad permitido. Una empresa podría implementar un maniquí integrado con malware o endeble a la manipulación. Además podría adoptar un maniquí con datos de entrenamiento sesgados. Cisco explicó: “Si no puede identificar el origen, no puede rastrear la causa raíz cuando ocurre un incidente y no puede determinar si otros modelos del sistema que utiliza se vieron afectados”.
El Model Provenance Kit consta de un conjunto de herramientas basado en Python y una interfaz de vírgula de comandos. Genera una “huella digital” para cada maniquí mediante el observación de señales que incluyen metadatos del maniquí, similitud del tokenizador y señales de nivel de peso, como estructura de incrustación, capas de normalización, perfil de energía y comparaciones de peso.
La utensilio funciona en dos modos. El modo “comparar” compara dos modelos para encontrar un clase compartido. El modo “escanear” compara un maniquí de huella digital específico con una pulvínulo de datos de huellas dactilares creada por Cisco para encontrar el clase más cercano.
Cisco dijo: “A medida que los modelos pasan por ajustes, destilación, fusión y reempaquetado, el seguimiento del clase se vuelve más difícil”. Dijo que el kit maniquí de procedencia es “un primer paso” alrededor de la presentación de un método basado en evidencia para corroborar la procedencia.
About The Author
