Constatación: la IA está cada vez más presente en las giras de presentación sobre ciberseguridad. Al principio, de forma tímida durante los últimos dos años, y hoy en día con mayor regularidad. 

Cuando el asegurado no aborda el tema, es probable que sea la aseguradora la que plantee alguna pregunta. Entonces, ¿cómo evaluar el riesgo relacionado con la IA y su implantación en la empresa? 

Detrás de esta necesidad hay varias preguntas, muchas incluso.

Y es que, como bien sabéis, existen diversos tipos de IA, múltiples formas de implementación y necesidades y usos variados en función de cada empresa… Los riesgos relacionados con la IA en la empresa son tan variados como las actividades de los asegurados.

En este artículo, del que aquí leéis la primera parte, abordamos los usos y los riesgos asociados a ella. También veremos que ya existe un marco establecido por la Unión Europea y que conocerlo, aunque solo sea a grandes rasgos, ya permite plantear algunas preguntas acertadas para comprender el riesgo.

En definitiva, ¿de qué riesgos estamos hablando? ¿Y se trata realmente de un tema de ciberseguridad? Cuanto más se difunde, más parece que entra dentro del ámbito de la responsabilidad civil.

Por ejemplo, una empresa industrial que implemente una infraestructura de IA con el objetivo de automatizar parte del control de sus procesos no tendrá la misma exposición al riesgo que un bufete de abogados que adquiera una IA generativa y la entrene con todos los expedientes tramitados durante los últimos 30 años.

Del mismo modo, una IA en un sector que evoluciona rápidamente y con un fuerte potencial de crecimiento no podrá implementarse de la misma manera que en un sector maduro y estable. Esta sola diferencia influye en las decisiones tecnológicas (de las que hablaremos en la segunda parte de este artículo, que publicaremos próximamente).

Por lo tanto, comprender bien los riesgos de la IA —y no solo los cibernéticos— requiere definir y comprender adecuadamente su marco de uso para recabar la información útil para su evaluación.

En primer lugar, conviene preguntarse por qué el asegurado quiere implantar una IA, más allá del simple hecho de mejorar su rendimiento: ¿cuál es su proyecto y con qué fin?

Algunos ejemplos de uso en la industria:

- Optimizar tareas y decisiones, gestionar almacenes, la logística y las previsiones de producción, y ayudar a tomar decisiones

⁃ Prever averías y llevar a cabo el mantenimiento preventivo de forma óptima

⁃ Supervisar el rendimiento de los equipos industriales y optimizarlo mediante gemelos digitales (réplicas virtuales de líneas de producción, máquinas y fábricas).

⁃ Mejorar la calidad de la producción en tiempo real

⁃ Innovar y fomentar la I+D

Otros ejemplos de uso y finalidades en el sector terciario:

⁃ Atención al cliente, automatización de la gestión de las solicitudes habituales (chatbots, seguimiento, pequeñas reparaciones)

⁃ Racionalizar la carga de trabajo, anticiparse a las solicitudes

⁃ Ahorro de tiempo en la búsqueda y el análisis, ayuda en la toma de decisiones

⁃ Seguimiento del historial de la actividad y de la producción intelectual

⁃ Reducción de las tareas administrativas

⁃ Automatización de la evaluación comparativa

⁃ Análisis detallado de las tendencias, uso de modelos predictivos, segmentación

⁃ Aprovechamiento de datos de terceros, segmentación

Por lo tanto, lo primero es comprender bien qué uso o usos quiere dar el asegurado a la IA. Y es que las IA que se implementen dependerán de estas decisiones, al igual que los escenarios de riesgo que se deriven de ellas.

También conviene abarcar todo el espectro posible de usos que la empresa tiene previsto hacer, como, por ejemplo, en RR. HH., un sector prometedor para la IA, donde los riesgos no son nada desdeñables, por ejemplo:

Los departamentos de RR. HH. recopilan y tratan una gran cantidad de datos personales; la llegada de la IA expone a las empresas a riesgos importantes en materia de confidencialidad y seguridad de los datos. Se podría argumentar que esto ya es así en muchos departamentos de RR. HH. u otras agencias de selección de personal, y que estos riesgos ya existen.

Sí, pero con la IA estos datos verán aumentada su superficie de exposición, sobre todo porque pueden utilizarse para el entrenamiento de modelos de IA, por un lado, sin el consentimiento necesario de las personas afectadas y, por otro, con información que RR. HH. no debería conservar... según el RGPD.

Otro riesgo, relacionado con el modelo. Si le preguntas dos veces lo mismo a una IA, es muy probable que obtengas respuestas diferentes (no necesariamente contradictorias, pero sí similares). Imaginemos que este modelo se utiliza para evaluar y seleccionar candidatos, valorar el rendimiento de los empleados o incluso proponer un nivel salarial, una prima o una evolución profesional...

Más allá de los sesgos intrínsecos, en caso de fallo o falta de coherencia, ¿quién será el «responsable de explicar el modelo»? ¿Es el algoritmo, los datos de entrenamiento o la interpretación?

Si la empresa ya no consigue contratar los perfiles deseados, si los talentos se marchan, si la pirámide de edades en la empresa se desequilibra… ¿quién es el responsable? Llevemos este razonamiento un poco más allá… No es culpa mía, es culpa de la IA; yo solo sigo sus recomendaciones y sus sugerencias para la toma de decisiones; ya no tenemos responsable de selección de personal desde que se implantó.

De hecho, la IA plantea más cuestiones en torno a las responsabilidades que a los retos cibernéticos. Abordaremos las infraestructuras y sus riesgos en una continuación de este artículo.

En cualquier caso, las ventajas, evidentes sobre el papel, vienen acompañadas de retos en materia de responsabilidad y ética.

La empresa sigue siendo responsable de la empleabilidad de sus empleados y, como tal, debe invertir en formación y reciclaje profesional. Es necesario abordar el impacto en el empleo, ya que representa un verdadero reto que las aseguradoras no pueden ignorar.

Un marco normativo que hay que perfeccionar

Los riesgos relacionados con la IA están regulados por la normativa europea sobre IA (AI Act) desde marzo de 2024. Esta establece normas estrictas para el uso de la IA en entornos críticos y aclara las responsabilidades en caso de fallo.

Define cuatro categorías de riesgos: las compañías deben preguntar a los asegurados en qué categoría se enmarca su (proyecto de) IA.

• Los riesgos inaceptables están prohibidos (por ejemplo, los sistemas de calificación social y la IA manipuladora).

• Los sistemas de IA de alto riesgo están regulados.

• Los sistemas de IA de riesgo limitado están sujetos a obligaciones de transparencia menos estrictas: los desarrolladores y los responsables de la implementación deben asegurarse de que los usuarios finales sean conscientes de que interactúan con la IA (chatbots y deepfakes).

• El riesgo mínimo no está regulado (incluida la mayoría de las aplicaciones de IA disponibles actualmente en el mercado único de la UE, como los videojuegos y los filtros antispam activados por IA —al menos en 2021—; esta situación está cambiando con la IA generativa).

En resumen, para abordar adecuadamente el riesgo relacionado con la IA en el caso de un asegurado que implemente o tenga previsto implementar una IA, conviene, en primer lugar:

• Identificar las «tareas» previstas y el tipo de IA utilizada (para qué sirve)

• Plantearse si un fallo de la IA podría poner en peligro la salud y la seguridad de las personas o de los bienes. ¿Cómo se ha evaluado este aspecto y quién lo ha hecho?

• Preguntar al asegurado si ya ha realizado una auditoría para determinar si su sistema o proyecto de IA está sujeto a una o varias obligaciones de la legislación europea sobre IA. En caso afirmativo, ¿en qué categoría de riesgo se encuentra el sistema de IA y cuáles son las obligaciones?

• ¿Dónde se encuentra el sistema y dónde se utilizan o se utilizarán los datos?

Los artículos del Reglamento europeo sobre IA que constituyen un punto de atención para comprender el uso que los asegurados quieren dar a su sistema de IA: 25, 2, 5, 3, 6 y 50.

Aunque la llegada de la IA está siendo más rápida de lo que las instituciones habían previsto inicialmente, el contexto actual y los retos relacionados con la soberanía y la protección de datos hacen que las autoridades europeas se tomen este tema muy en serio.

Una jurisprudencia reciente relacionada con la IA y la protección de datos personales se refiere a la empresa CLEARVIEW AI, condenada en 2022 por la CNIL a una multa de 20 millones de euros.

Esta empresa estadounidense especializada en reconocimiento facial había recopilado imágenes de millones de personas en Internet sin su consentimiento para entrenar sus algoritmos de IA. La CNIL calificó este acto como una infracción grave del RGPD y exigió la supresión de los datos. La empresa no acató la resolución de la CNIL y fue sancionada de nuevo en 2023 con una multa coercitiva de 5,2 millones de euros.

El regulador británico también ha sancionado a CLEARVIEW AI basándose en motivos similares a los de la CNIL

Esperamos que esta primera parte le haya aportado información interesante; en la siguiente parte de este artículo abordaremos las infraestructuras de IA.

Para concluir esta introducción, he aquí algunas definiciones de términos relacionados con la IA en el Reglamento Europeo

• Proveedor: persona física o jurídica, autoridad pública, agencia u otro organismo que desarrolle un sistema de IA o un modelo de IA de uso general (o que encargue el desarrollo de un sistema de IA o un modelo de IA de uso general) y los comercialice o ponga en servicio el sistema bajo su propio nombre o marca, ya sea a título oneroso o gratuito;

• Operador: cualquier persona física o jurídica, autoridad pública, agencia u otro organismo que utilice un sistema de IA bajo su autoridad, salvo que el sistema de IA se utilice en el marco de una actividad personal no profesional;

• Distribuidor: toda persona física o jurídica de la cadena de suministro, distinta del proveedor o del importador, que ponga a disposición en el mercado de la Unión un sistema de IA;

• Importador: toda persona física o jurídica situada o establecida en la Unión que comercialice un sistema de IA que lleve el nombre o la marca de una persona física o jurídica establecida fuera de la Unión;

• Representante autorizado: toda persona física o jurídica situada o establecida en la Unión que haya recibido y aceptado un mandato por escrito de un proveedor de un sistema de IA o de un modelo de IA de uso general para, respectivamente, ejecutar y cumplir en su nombre las obligaciones y procedimientos establecidos en el presente Reglamento.

• Fabricante de productos: comercializa o pone en servicio un sistema de IA junto con su producto y bajo su propio nombre o marca;

Enlace muy interesante sobre la Ley de Inteligencia Artificial de la UE, que también ha servido de fuente para este artículo.