¿Cómo le enseñan a la Inteligencia Artificial el valor de la confianza?

Por: Cathy Cobey (EY Global Responsible AI Leader, Assurance) y Jeanne Boillet (EY Global Accounts Committee Assurance Lead)

Las tecnologías de IA están superando rápidamente la gobernanza y los controles organizacionales que guían su uso.

Los reguladores externos simplemente no pueden mantenerse al día, y las empresas están lidiando con demandas cada vez mayores para demostrar controles sólidos y transparentes que puedan evolucionar tan rápido como lo hace la tecnología.

Como se ha demostrado una y otra vez en recientes catástrofes de alto perfil, existen graves riesgos operativos por el uso de la IA sin un marco ético y de gobernanza sólido en torno a ella.

Las tecnologías y los sistemas de datos pueden funcionar mal, corromperse deliberada o accidentalmente e incluso adoptar sesgos humanos. Estos fallos tienen profundas ramificaciones para la seguridad, la toma de decisiones y la credibilidad, y pueden dar lugar a costosos litigios, daños a la reputación, revueltas de los clientes, reducción de la rentabilidad y escrutinio regulatorio.

Dentro de la organización, los líderes deben tener confianza en que sus sistemas de IA funcionan de forma fiable y precisa, y deben ser capaces de confiar en los datos que se utilizan. Sin embargo, esto sigue siendo motivo de preocupación; en nuestra encuesta reciente, casi la mitad (48%) de los encuestados citó la falta de confianza en la calidad y confiabilidad de los datos como un desafío para los programas de IA en toda la empresa.

Mientras tanto, las organizaciones también necesitan generar confianza con sus partes interesadas externas.

Por ejemplo, los clientes, proveedores y socios deben tener confianza en la IA que opera dentro de la organización. Quieren saber cuándo están interactuando con la IA, qué tipo de datos está utilizando y con qué propósito.

Y quieren garantías de que el sistema de IA no recopilará, retendrá ni divulgará su información confidencial sin su consentimiento explícito e informado. Aquellos que duden del propósito, la integridad y la seguridad de estas tecnologías se mostrarán reacios —y en última instancia pueden negarse— a compartir los datos en los que se basa la innovación del mañana.

Los reguladores también buscan que la IA tenga un impacto neto positivo en la sociedad, y han comenzado a desarrollar mecanismos de aplicación para la protección humana, las libertades y el bienestar general.

En última instancia, para ser aceptados por los usuarios, tanto interna como externamente, los sistemas de IA deben ser comprensibles, lo que significa que su marco de decisión puede explicarse y validarse. También deben ser decididamente seguros, incluso frente a amenazas en constante evolución.

En medio de estas consideraciones, es cada vez más evidente que la falta de adopción de normas éticas y de gobernanza que fomenten la confianza en la IA limitará la capacidad de las organizaciones para aprovechar todo el potencial de estas emocionantes tecnologías para impulsar el crecimiento futuro.

El primer paso para minimizar los riesgos de la IA es promover la concienciación sobre ellos a nivel ejecutivo, así como entre los diseñadores, arquitectos y desarrolladores de los sistemas de IA que la organización pretende desplegar.

Luego, la organización debe comprometerse a diseñar de manera proactiva la confianza en cada faceta del sistema de IA desde el primer día. Esta confianza debe extenderse al propósito estratégico del sistema, la integridad de la recopilación y gestión de datos, la gobernanza del entrenamiento del modelo y el rigor de las técnicas utilizadas para monitorear el rendimiento del sistema y del algoritmo.

La adopción de un conjunto de principios básicos para guiar el diseño, las decisiones, las inversiones y las innovaciones futuras relacionadas con la IA ayudará a las organizaciones a cultivar la confianza y la disciplina necesarias a medida que evolucionan estas tecnologías.

Hay que recordar que la IA cambia constantemente, tanto en la forma en que las organizaciones la utilizan como en la forma en que evoluciona y aprende, una vez que está en funcionamiento.

Esa innovación continua es emocionante y, sin duda, producirá enormes nuevas capacidades e impactos, pero los principios de gobernanza convencionales son simplemente insuficientes para hacer frente a los grandes riesgos de la IA y su rápido ritmo de evolución. Estos desafíos gemelos requieren un enfoque más riguroso para gobernar cómo las organizaciones pueden aprovechar la IA. para obtener los mejores resultados, ahora y en el futuro.

En nuestros diálogos continuos con clientes, reguladores y académicos, así como en nuestra experiencia en el desarrollo de usos tempranos y evaluaciones de riesgos para iniciativas de IA, hemos observado tres principios básicos que pueden ayudar a guiar la innovación en IA de una manera que genere y mantenga la confianza:

* Diseño con propósito: diseña y construye sistemas que integren de manera intencionada el equilibrio adecuado de capacidades robóticas, inteligentes y autónomas para avanzar en objetivos comerciales bien definidos, teniendo en cuenta el contexto, las restricciones, la preparación y los riesgos.

* Gobernanza ágil: realiza un seguimiento de los problemas emergentes en los dominios social, regulatorio, de reputación y ético para informar sobre los procesos que rigen la integridad de un sistema, sus usos, arquitectura y componentes integrados, abastecimiento y gestión de datos, capacitación y monitoreo de modelos.

* Supervisión vigilante: ajusta, selecciona y supervisa continuamente los sistemas para lograr la fiabilidad del rendimiento, identificar y remediar los sesgos, promover la transparencia y la inclusión.

¿Qué hace que estos principios sean específicos de la IA? Son los calificativos en cada uno: decidido, ágil y vigilante. Estas características abordan las facetas únicas de la IA que pueden plantear los mayores desafíos.

Por ejemplo, el uso de la IA en áreas históricamente "solo para humanos" está desafiando el proceso de diseño convencional. Después de todo, el objetivo de la IA es incorporar y, en efecto, emular un marco de decisión humano, incluidas las consideraciones sobre las leyes, la ética, las normas sociales y los valores corporativos que los humanos aplican (e intercambian) todo el tiempo.

Estas expectativas únicas exigen que las organizaciones adopten un enfoque de diseño más decidido que permita las ventajas de la autonomía de la IA y mitigue sus riesgos.

Del mismo modo, a medida que las tecnologías y aplicaciones de la IA evolucionan a una velocidad vertiginosa, la gobernanza debe ser lo suficientemente ágil como para seguir el ritmo de sus capacidades en expansión y sus posibles impactos.

Y, por último, si bien todas las nuevas innovaciones prosperan con el monitoreo y la supervisión, lo que está en juego, además de la naturaleza de "aprendizaje" continuo y dinámico de la IA (lo que significa que continúa cambiando después de que se ha implementado) requieren más vigilancia de la que las organizaciones han adoptado normalmente.

Con estos principios rectores en el centro, la organización puede avanzar de manera decidida para evaluar cada proyecto de IA en función de una serie de condiciones o criterios. La evaluación de cada proyecto de IA en función de estas condiciones, que van más allá de las utilizadas para la tecnología heredada, aporta una disciplina muy necesaria al proceso de considerar los contextos más amplios y los posibles impactos de la IA.

Veamos cuatro condiciones que puede utilizar para evaluar la exposición al riesgo de una iniciativa de IA:

Ética: el sistema de IA debe cumplir con las normas éticas y sociales, incluidos los valores corporativos. Esto incluye el comportamiento humano en el diseño, desarrollo y operación de la IA, así como el comportamiento de la IA como agente virtual.

Esta condición, más que cualquier otra, introduce consideraciones que históricamente no han sido convencionales para la tecnología tradicional, como el comportamiento moral, el respeto, la equidad, el sesgo y la transparencia.

Responsabilidad social: debe considerarse detenidamente el posible impacto social del sistema de IA, incluido su impacto en el bienestar financiero, físico y mental de los seres humanos y nuestro entorno natural.

Por ejemplo, los impactos potenciales pueden incluir la interrupción de la fuerza laboral, la recapacitación de habilidades, la discriminación y los efectos ambientales.

Responsabilidad y "explicabilidad": el sistema de IA debe tener una línea clara de responsabilidad hacia un individuo. Además, el operador de IA debe ser capaz de explicar el marco de decisión del sistema de IA y cómo funciona.

Esto es más que simplemente ser transparente; se trata de demostrar una comprensión clara de cómo la IA utilizará e interpretará los datos, qué decisiones tomará con ellos, cómo puede evolucionar y la coherencia de sus decisiones en todos los subgrupos.

Esto no solo apoya el cumplimiento de las leyes, regulaciones y normas sociales, sino que también señala posibles brechas en las salvaguardas esenciales.

Fiabilidad: por supuesto, el sistema de IA debe ser fiable y funcionar según lo previsto. Esto implica probar la funcionalidad y el marco de decisión del sistema de IA para detectar resultados no deseados, degradación del sistema o cambios operativos, no solo durante el entrenamiento inicial o el modelado, sino también a lo largo de su "aprendizaje" y evolución continuos.

Tomarse el tiempo necesario para evaluar una iniciativa de IA propuesta en función de estos criterios antes de proceder puede ayudar a señalar posibles deficiencias para que pueda mitigar los riesgos potenciales antes de que surjan.

Este artículo es parte de una colección de perspectivas sobre la confianza digital., autoría de la compañía EY.