Ahora que la inteligencia artificial está en boga, y con justa razón dadas las capacidades que ha alcanzado, el mercado empieza a “inundarse” con una cantidad increíble de soluciones que ofrecen IA o aprendizaje automático (de ahora en adelante IA), ya sea incorporándola a sus tecnologías actuales o creando algo nuevo a partir de este nuevo enfoque.

Si bien este artículo lo enfocaré a ciberseguridad, mucho de lo que comentaré, por cierto, en una serie de publicaciones, aplicaría sin mayor problema a cualquier campo donde se esté empleado IA. El título de este artículo es representativo de lo que me gustaría, apreciable lector, que pudiera cuestionarse.

En mi experiencia en ciberseguridad, las herramientas o soluciones tecnológicas son base para sustentar y generar capacidades de protección hacia la información y sistemas, ahora con la IA, los fabricantes la incorporan como un diferenciador de mercado, generador de capacidades o mejora de estas, pero ¿cómo sabe si “la máquina” está haciendo un buen o un mal trabajo? ¿o únicamente le cree al comercial del fabricante que es la mejor?

Permítame darle un ejemplo muy sencillo, pero conforme avancen las publicaciones iremos agregando más detalle. Suponga que tiene necesidad de un antimalware el cual potenciado por la IA esta tenga la capacidad (binaria) de clasificar un artefacto (software) como malicioso o no malicioso. Llega el fabricante “X” y hace una PoC/PoV y le muestra cómo su IA identifica de manera rápida un software malicioso y cómo se “iluminan” los tableros de control.

Una dinámica similar continúa para los fabricantes “X”, “Y”, “Z”, etcétera. Al final, se queda con el que usted considere que identificó de mejor forma (lo que eso signifique) aquello que era malware y aquello que no. Pero, qué tal si le dijera que dentro de la IA hay una forma de saber su rendimiento para la tarea que ha sido diseñada y no solo tener que confiar ciegamente porque sí logró identificar LockBit 3.0 como malware y el instalador de Office 365 como no malware, por decirlo de una forma muy relativista.

La forma de conocer qué tan bueno es un modelo IA es a través de las métricas de rendimiento, estas dependen de “la tarea” para la que fue creada una IA. Ejemplos de dichas tareas son: clasificar, regresión numérica, agrupación, generativa, LLM, por mencionar algunas, y las métricas para medir su rendimiento cambiarán conforme a su tipo.

Regresando al ejemplo, se trata de un problema de clasificación binaria mediante la cual se determina si algo es o no malware. Las métricas más comunes para ese tipo de problema son: accuracy, precision, recall, F1 score, matriz de confusión, entre otras. Insisto, esto lo iremos desmenuzando en los artículos siguientes, no se desespere, ya que es “un mundo” la cantidad de métricas disponibles, pero es muy importante saber que existen.

En el caso que estamos suponiendo de esta herramienta que identifica un software como malicioso o no, ¿cuál o cuáles de las siguientes capacidades le importaría más?

  • Clasificó lo que sí es malware como tal (verdadero positivo).
  • Clasificó como no malware lo que en efecto no era (verdadero negativo).
  • Clasificó como que sí era malware lo que no era (falso positivo).
  • Clasificó como no malware cuando sí lo era (falso negativo).

Así, en primera instancia, pareciera que lo más determinante serían los falsos negativos, concluir que no era malware cuando en realidad sí lo era, pues creo que preocuparía más que se “le fuera” un artefacto malicioso y se ejecutara en nuestra red. Tristemente, hoy en día los modelos de IA no son perfectos y no sé si algún día logren la perfección, pero como profesionales de ciberseguridad debemos cuestionar y pedir estas métricas a los fabricantes para conocer cómo se desempeña su IA.

Continuando con el ejemplo y suponiendo que lo que le importe son los falsos negativos, debería pedir al fabricante, y ver la cara que pone, las métricas False Negative Rate (FNR) que mide la proporción de positivos reales que “se le fueron” a la IA y Negative Predictive Value (NPV) que evalúa la calidad de las clasificaciones negativas, al menos como primer acercamiento. Seguramente complementar su decisión de adquisición con más métricas y no únicamente por lo bonito de los tableros de control o el precio es un buen consejo.

El objetivo de esta primera parte no es dar a conocer todas la métricas ni casos de uso enfocados en ciberseguridad en los cuales la IA está o empieza a estar presente y tomando responsabilidades en nuestras organizaciones, eso trataré de ir desarrollándolo en las siguientes entregas, sino tratar de “sembrar” la pregunta ¿Le creo o no le creo a la IA? Y que usted sepa que hay formas de saber qué tan bien hace su trabajo, o no, la IA para que le ayude a tomar decisiones informadas: ¿usted contraría a un humano que no sabe hacer su trabajo? Entonces, por qué contrataría una IA que tampoco lo sabría hacer, o al menos no con la eficiencia, calidad y precisión esperadas.

[email protected]