Riesgos | Empoderando el liderazgo de la IA

Riesgos Empoderando el liderazgo de la IA

Contenido

Introducción | Ejemplos | Responsabilidades | Supervisión | Agenda | Recursos | Notas finales

Otros módulos:

Introducción

Los expertos en gestión de todo el mundo han llegado a reconocer la importancia de supervisar los riesgos de la TI. "La TI es esencial para gestionar las transacciones, la información y el conocimiento necesarios para iniciar y mantener una empresa", señala el Institute of Directors in southern Africa’s King Report on Governance for South Africa. "El comité de riesgos debería considerar el riesgo de la TI como un elemento crucial de la supervisión efectiva de la gestión de riesgos de la empresa".[1] A medida que las empresas aprovechan la inteligencia artificial (IA), las juntas, particularmente los comités de riesgos deberán prestar especial atención a los resultados inciertos de la IA y los diversos problemas éticos que surjan.

La IA puede crear una multiplicidad de problemas de riesgo, que incluyen riesgos estratégicos, operacionales, financieros, éticos, legales y de reputación dentro de toda la organización.

La IA puede ser un medio para que los gigantes digitales y las empresas emergentes desafíen a operadores tradicionales con nuevos servicios y modelos operativos de bajo costo estructural, o puede suponer una decepción cuando los productos que utilizan la IA no consiguen ganar clientes. Cuando los modelos de aprendizaje automático cometen equivocaciones debido a los algoritmos o datos dañados, pueden accionar decisiones deficientes sobre los precios y la producción o colapsos repentinos del mercado de valores, provocar recomendaciones discriminatorias, diagnósticos médicos erróneos, lesiones o incluso la muerte. Como resultado, las compañías pueden ser expulsadas de nuevos negocios prometedores y enfrentar daños severos a la reputación, demandas y multas.[2] Los ejecutivos superiores ven las aceleradas regulaciones de privacidad, las multas y el riesgo reputacional de violarlas, como un riesgo principal.[3] Y con justificación: El aumento en las pérdidas relacionadas con la reputación aumentó en un 461% entre 2011 y 2016, según un estudio realizado por la reaseguradora Steel City Re.[4] La IA aumenta el ansia por los datos del consumidor para la capacitación y las operaciones de aprendizaje automático. La IA en sí misma puede ser una amenaza cuando se usa para difundir información errónea, robar datos o atacar un software de infraestructura vulnerable. En general, muchos de los riesgos que causan fuertes caídas en la capitalización de mercado (nuevos competidores, guerras de precios, problemas operativos, litigios y conflictos regulatorios) pueden ser activados por la IA.[5] Además, existen riesgos para la sociedad por el debilitamiento de los procesos democráticos a través de la desinformación, la inseguridad laboral, la vigilancia y el mal uso de los datos personales.

El riesgo y el valor de la IA deben incluirse en un programa sólido para la gestión de riesgos empresariales.

Tanto COSO (Comité de Organizaciones Patrocinadoras de la Comisión Treadway) como ISO (Organización Internacional para la Normalización), creadores de dos normas internacionales que lideran la gestión de riesgos, reconocen que el riesgo es una parte inherente de la búsqueda del valor. Tanto el modelo de gestión de riesgos empresariales (ERM) de COSO como el marco de gestión de riesgos de la ISO comienzan con la misión y los valores de la organización, y continúan definiendo objetivos y la propensión al riesgo: la cantidad y el tipo de riesgo que una organización está preparada para perseguir o retener.[6] Solo entonces las empresas tienen el contexto para identificar, evaluar y responder al riesgo; revisar y mejorar su desempeño en la gestión de riesgos; e informar sobre estos.

Muchas empresas ya cuentan con un programa o marco de gestión de riesgos. Como una fuente importante de valor y riesgo, la IA debe considerarse en cada fase de sus programas. Cuando se corroboran los valores éticos y se establece la gerencia, se debe incluir la posición de la empresa y la gestión de la IA. Los riesgos de la IA y el valor que puede proporcionar deben formar parte de la discusión de objetivos y la propensión al riesgo. Del mismo modo, cuando se desarrolla un plan para evaluar y responder al riesgo, ese plan debe abordar la IA. Del mismo modo, el riesgo y el valor de la IA deben incluirse cuando se revisa ese plan y se informa el riesgo.

Los directores deben ver que la IA recibe la atención adecuada a medida que ellos y la gerencia desarrollan y ejecutan sus planes de gestión de riesgos. Eso incluye defender la cultura propia: afirmar el compromiso de la organización con sus valores éticos, cultivar un clima de transparencia sobre la propensión al riesgo y la preparación, y fomentar la colaboración entre las unidades y funciones empresariales.[7]

Figura: Modelo de gestión de riesgos empresariales COS

Las juntas y los líderes de gestión de riesgos deberían considerar cómo incluir la IA en cada paso de su plan de gestión de riesgos.

Fuente: “Enterprise Risk Management: Integrating with Strategy and Performance – Executive Summary”, COSO (Committee of Sponsoring Organizations of the Treadway Commission), junio de 2017

Uso de la IA para identificar riesgos y crear valor.

La IA puede ser un medio para evaluar el riesgo y el valor. Las empresas financieras ya utilizan la IA, entre otras cosas, para evaluar el riesgo de la ampliación del crédito a los prestatarios e identificar el fraude. Con suficientes datos, las juntas también pueden usar la IA para el análisis de riesgos y como apoyo para la toma de decisiones. En 2014, la junta de directores de Deep Knowledge Ventures (DKV), una firma de capital de riesgo con sede en Hong Kong, comenzó a utilizar un algoritmo de IA para evaluar los riesgos de inversión en biotecnología antes de tomar decisiones de adquisición. El sistema de IA identificó más de 50 factores de riesgo para la inversión en biotecnología.[8] Del mismo modo, el equipo de gestión de Tieto Corporation de Finlandia utiliza la IA para apoyar la toma de decisiones.[9] DKV y Tieto están a la vanguardia, sin embargo, es probable que se les unan otros. Un estudio del Foro Económico Mundial de ejecutivos de la TI encontró que el 45% esperaba que una máquina de IA se estableciera en la junta directiva corporativa para 2025.[10] La necesidad de ayuda para identificar riesgos ciertamente existe: el 57% de los ejecutivos superiores encuestados por Financial Executives Research Foundation dijeron que llegaron demasiado tarde para reconocer los "cambios significativos y las incógnitas" que pueden interrumpir en su negocio.[11]

Ejemplos

Un banco líder en Europa

Un banco líder en Europa que usó inteligencia artificial para optimizar sus operaciones de atención al público y administrativas disminuyó significativamente el riesgo de estas soluciones de IA al comprender y priorizar los riesgos que pueden aparecer por el uso de la IA en sus escenarios operativos. Después de adquirir un profundo entendimiento de los riesgos, el banco desarrolló políticas firmes, procedimientos, formación al trabajador y planes de contingencia. Por ejemplo, una amplia gama de monitoreo, supervisión y decisión humana se pone en marcha cuando se revisa el algoritmo de IA que calcula la salud financiera de un cliente.[12]

Una institución financiera líder en Europa

Una institución financiera líder en Europa revisó la explicabilidad de sus algoritmos y concluyó que los modelos actuales son extremadamente complejos para ser explicados. La institución decidió simplificar sus algoritmos. Aunque se perdió algo de poder predictivo, la institución ganó en explicabilidad, lo que supuso una mayor aceptación por parte de sus empleados. Modelos más simples también hacen más fácil detectar de forma temprana sesgos en los datos que el algoritmos requiere.[12]

UPS

UPS, la empresa de distribución de paquetería, transporte y logística, construyó una plataforma en línea que combina aprendizaje automático y analítica avanzada. La aplicación (llamada NPT) permite a los ingenieros de la compañía examinar las actividad de las instalaciones de UPS alrededor del mundo y enrutar los envíos a aquellos con mayor capacidad. La aplicación obtiene parte de su información de la IA, que usa para crear predicciones sobre el volumen de paquetes y su peso, basado en análisis de datos históricos. El aprendizaje automático también analiza las decisiones que toman los ingenieros de la empresa y evalúa cómo afectan a la satisfacción del cliente y a los costes internos. Este tipo de información es crucial durante la época de vacaciones. En preparación, la empresa ha usado NPT para identificar y eliminar cuellos de botella. UPS espera que el programa ahorre entre 100 y 200 millones de dólares al año.[13]

Responsabilidades

En su descripción de las responsabilidades de la junta, los Principios de Gobierno Corporativo del G20/OCDE enfatizan la supervisión del sistema, las políticas y los procedimientos de gestión de riesgos de una empresa. La supervisión de riesgos es "un área de creciente importancia para las juntas" que está "estrechamente relacionada con la estrategia corporativa". Las juntas "deben retener la responsabilidad final de la supervisión del sistema de gestión de riesgos" y "demostrar un papel de liderazgo para garantizar que exista un medio eficaz de supervisión de riesgos". Dependiendo del tamaño y el perfil de riesgo de la compañía, los principios recomiendan que las compañías consideren establecer un comité de riesgos para permitir que la junta completa y el comité de auditoría tengan más tiempo para otras responsabilidades.

Las tareas de supervisión de riesgos de la junta también son pertinentes para la IA. Estas comprenden:

Responsabilizar a los ejecutivos por la ética. "La junta tiene un papel clave en el establecimiento del tono ético de una empresa" (Principio VI: C). El incumplimiento de los principios éticos cuando se utiliza la IA pone en riesgo a las empresas. "Los altos estándares éticos están en los intereses a largo plazo de la compañía como un medio para hacerla creíble y confiable, no solo en las operaciones diarias sino también con respecto a los compromisos a largo plazo".
Supervisión del "sistema de gestión de riesgos y sistemas diseñados para garantizar que la corporación obedezca a las leyes aplicables" (Introducción a la sección VI). Estas obligaciones se aplican al uso de la IA para gestionar el riesgo, incluida la IA en el plan de gestión de riesgos y garantizar que no se infrinjan las leyes al usar sistemas de IA. La junta también debería ver que el sistema de su compañía para detectar, administrar, rastrear y actuar sobre los riesgos de la IA es sólido, mejora continuamente y está bien coordinado. Las juntas también tienen la plena responsabilidad sobre el riesgo de ciberseguridad para los modelos de IA y los datos que estas utilizan.[12]
"Supervisión de las atribuciones y responsabilidades para gestionar riesgos, especificando los tipos y el grado de riesgo que una empresa está dispuesta a aceptar para alcanzar sus objetivos, y cómo esta gestionará los riesgos que crea a través de sus operaciones y relaciones" (Principios, sección VI.D.1). Las juntas responsabilizan a la gerencia por gestionar los riesgos de la IA. Eso puede incluir nombrar y supervisar a un director de riesgos. Las juntas también deben supervisar la creación y ejecución del plan de gestión de riesgos de su organización, incluida la determinación de la propensión al riesgo de la IA. La supervisión de la junta debe ser continua y activa, dado el papel de liderazgo de la junta exigido por los Principios de la OCDE.
Garantizar los sistemas de control apropiados para la gestión de riesgos, como parte de "garantizar la integridad de los sistemas esenciales de información financiera y seguimiento" (Principio VI.D.1, 7). Esto incluye la supervisión del uso de la IA en los sistemas financieros y de control.

Al igual que en la supervisión de la estrategia, las juntas también deberían:

Estar completamente informadas sobre los riesgos y la gestión de estos para actuar de buena fe, con la debida diligencia y cuidado. Los directores deben tener acceso a información precisa, relevante y oportuna sobre las regulaciones que afectan el uso de la IA. También deben estar informados sobre los riesgos asociados con la IA, incluidos los riesgos relacionados con la seguridad, los modelos, los algoritmos, los datos, la ética y los sesgos, y cómo los gestiona la empresa.
Considerar el riesgo a medida que revisan y guían el desempeño corporativo, los gastos y las adquisiciones. Esto incluye considerar los indicadores de riesgo de la IA a medida que la junta analiza el valor y la efectividad de la IA y examina las inversiones en esta. Las juntas también deben revisar si las adquisiciones y asociaciones de la compañía introducen nuevos riesgos y qué tan bien la administración está implementando su estrategia de riesgo.

El análisis en esta sección se basa en los principios generales de gobierno corporativo, incluidos los Principios de Gobierno Corporativo del G20/OCDE de 2015. Este análisis no constituye un asesoramiento legal y no pretende abordar los requisitos legales específicos de ninguna jurisdicción o régimen regulatorio. Se anima a las juntas a consultar con sus asesores legales para determinar la mejor manera de aplicar a su empresa los principios discutidos en este módulo.

Supervisión

Esta sección incluye tres herramientas para ayudar a los directores a supervisar la gestión de riesgos de la IA.

La herramienta de evaluación del conocimiento ayuda a los miembros de la junta a evaluar si poseen o tienen acceso al conocimiento requerido para evaluar de manera independiente el conocimiento y liderazgo de la gerencia en la gestión de los riesgos de la IA.

Ver la herramienta de evaluación del conocimiento en el Apéndice 1

La herramienta de evaluación del desempeño está compuesta de preguntas que las juntas pueden hacerle a la gerencia sobre el conocimiento que tienen en IA, los riesgos, y el progreso y desempeño de sus acciones. Ofrece el marco SCEPTIC para ayudar a los directores a evaluar las respuestas que reciben.

Ver la herramienta de evaluación del rendimiento en el Apéndice 2

La herramienta de orientación ofrece posibles sugerencias para realizar acciones adicionales en un formato "If, then".

Ver la herramienta de orientación en el Apéndice 3

Agenda

Las siguientes sugerencias pueden ayudar a la persona que prepara la discusión de la junta y establece el programa a discutir los riesgos de la IA e incluirlos en el régimen de gestión de riesgos de la compañía.

Antes de dirigir la primera reunión

Prepárese: Familiarícese con la IA, el valor que las organizaciones pueden derivar de ella y sus riesgos. Separe de la realidad las exageraciones sobre los riesgos de la IA. Hable con ejecutivos superiores de finanzas, riesgos, TI y seguridad sobre los problemas éticos y de riesgo que les interesan. La sección de Fuentes proporciona lecturas y marcos sobre IA y riesgos.
Evalúe el interés de los miembros de la junta sobre los riesgos de la IA: Hable con otros miembros de la junta. Conozca la importancia que le dan a la IA y las preocupaciones que tienen sobre los riesgos de esta. Identifique a los miembros de la junta que están más interesados en avanzar con nuevas inversiones en IA y aquellos que tienen inquietudes o les falta interés.
Establezca objetivos: Piense con anticipación sobre los resultados deseados obtenidos de la discusión de la junta.

Establezca el programa inicial

Discuta la propensión al riesgo de la IA. Los puntos del programa pueden incluir:

Revisión: Recapitule la propensión actual al riesgo de la organización en su estrategia empresarial y de operaciones, y cómo se deciden la propensión y la tolerancia al riesgo.
Presentación: Organice una sesión informativa sobre los riesgos y las recompensas de la IA. La presentación puede incluir el uso y los planes de la IA de la compañía, ejemplos de competidores y casos de uso potenciales descubiertos por los investigadores. Estos deben incluir ingresos y otros beneficios cuantificados cuando sea posible. La presentación también debe analizar los principales riesgos y responsabilidades que la empresa tendrá que gestionar, las consecuencias si los riesgos no se gestionan y los requisitos para abordarlos.
Discusión: Considere cómo los riesgos de la IA afectan la propensión y la tolerancia al riesgo de la compañía. También discuta si el proceso de medir la propensión y la tolerancia al riesgo debe modificarse para incluir la IA.
Delegar: Decida qué miembros del equipo ejecutivo y del comité de la junta serán responsables de revisar la propensión y la tolerancia al riesgo en vista de los riesgos de la IA.
Participar: Decida cómo la junta se mantendrá actualizada sobre los desarrollos en los riesgos de la IA.

Establezca temas de seguimiento o puntos alternativos del programa.

Estos pueden incluir:

Revisión del riesgo de la IA: ¿Qué riesgos de la IA representan los peligros más graves para la organización? ¿Qué ha hecho la empresa para gestionar esos riesgos hasta la fecha y qué más se debe hacer?
Responsabilidad del riesgo de la IA: ¿Qué miembros de la junta y miembros del equipo ejecutivo tienen la responsabilidad principal de supervisar y gestionar los riesgos de la IA?
Riesgos de la IA en el ecosistema: Examine cómo la IA introducirá nuevos riesgos a medida que las empresas trabajen juntas y compartan información.
Cultura y conciencia del riesgo de la IA: Revise si las personas que desarrollan utilizan y supervisan la IA son lo suficientemente conscientes de sus riesgos, están comprometidos en su gestión y tienen un incentivo para lograr el equilibrio correcto de asunción de riesgos y su prevención.
La IA y el plan de gestión de riesgos empresariales: Revise el plan de ERM, su efectividad en la gestión de los riesgos de la IA y cómo se debería cambiar.

Recursos

(Enlaces a partir del 08/10/19)

Marcos y guías de la gestión de riesgos

“Enterprise Risk Management: Integrating with Strategy and Performance – Executive Summary”, COSO (Committee of Sponsoring Organizations of the Treadway Commission), junio de 2017.
“International Standard ISO 31000 – Risk management – Guidelines”, International Organization for Standardization, 2018.
“Risk Committee Resource Guide (South Africa)”, Deloitte Centre for Corporate Governance, 2014.

Marcos y guías sobre ciberseguridad

“Advancing Cyber Resilience – Principles and Tools for Boards”, Foro Económico Mundial, 2017.
“Cyber-Risk Oversight Handbook”, National Association of Corporate Directors (US) and Internet Security Alliance, 2017.
“Cybersecurity: What the Board of Directors Needs to Ask”, ISACA and the Institute of Internal Auditors Research Foundation, 2014.

Libros

George Westerman and Richard Hunter, IT Risk: Turning Business Threats into Competitive Advantage, Harvard Business Review Press, 2007.
Jim DeLoach, Enterprise Wide Risk Management: Strategies for Linking Risk and Opportunity, Financial Times Prentice Hall, 2000.

Informes

Benjamin Cheatham, Kia Javanmardian and Hamid Samandari, “Confronting the Risks of Artificial Intelligence”, McKinsey Quarterly, abril de 2019.
“Clearing the Clouds: Shining a Light on Successful Enterprise Risk Management”, IBM Institute for Business Value, 2011.
Martin Lipton, “Risk Management and the Board of Directors”, Harvard Law School Forum on Corporate Governance and Financial Regulation, 2018.
Tom Easthope, “Making Sense of Artificial Intelligence and Its Impact on Risk Management”, RIMS – The Risk Management Society, 2019.
“A Proposed Model Artificial Intelligence Governance Framework, January 2019”, Personal Data Protection Commission Singapore, enero de 2019.

Artículos

Guruduth Banavar, “Learning to Trust Artificial Intelligence Systems: Accountability, Compliance and Ethics in the Age of Smart Machines”, IBM, 2016.
J. Yo-Jud Cheng and Boris Groysberg, “Why Boards Aren’t Dealing with Cyberthreats”, Harvard Business Review, 22 de febrero de 2017.
Matteo Tonello, “Should Your Board Have a Separate Risk Committee”, Harvard Law School Forum on Corporate Governance and Financial Regulation, 2012.
Nicky Burridge, “Artificial Intelligence Gets a Seat in the Boardroom”, Nikkei Asian Review, 10 de mayo de 2017.
Will Pugh, “Why Not Appoint an Algorithm to Your Corporate Board?” Slate.com, 24 de marzo de 2019.

Notas finales

(Enlaces a partir del 08/10/19)

[1] Institute of Directors Southern Africa, “King Report on Governance for Southern Africa 2009”.
[2] Benjamin Cheatham, Kia Javanmardian and Hamid Samandari, “Confronting the Risks of Artificial Intelligence”, McKinsey Quarterly, abril de 2019.
[3] Gartner press release, “Gartner Survey Shows Accelerating Privacy Regulation Returns as the Top Emerging Risk Worrying Organizations in 1Q19”, 11 de abril de 2019.
[4] Nir Kossovsky, “Reputation’s Going-Forward Effects”, Risk & Insurance, 26 de octubre de 2017.
[5] Corporate Executive Board Audit Leadership Council Research, 2013 survey.
[6] ISO / Guía 73:2009 Risk Management – Vocabulary(confirmado 2016).
[7] “Clearing the Clouds: Shining a Light on Successful Enterprise Risk Management”, IBM Institute for Business Value.
[8] Nicky Burridge, “Artificial Intelligence Gets a Seat in the Boardroom”, Nikkei Asian Review, 10 de mayo de 2017.
[9] Teresa Kauppila, “Is There Room on Your Board for AI?” www.lexology,com, 1 de noviembre de 2018.
[10] “Deep Shift: Technology Tipping Points and Societal Impact”, Foro Económico Mundial, Septiembre de 2015.
[11] Paul L. Walker and Mark L. Frigo, “The Strategic Financial Executive: Managing Risk in a Disruptive World”, Financial Executives Research Foundation, 2017.
[12] Benjamin Cheatham, Kia Javanmardian, and Hamid Samandari, "Confronting the risks of artificial intelligence", McKinsey Quarterly, April 2019.
[13] Elizabeth Woyke, "How UPS uses AI to deliver holiday gifts in the worst storms", MIT Technology Review, November 2018.
[14] World Economic Forum, Cybersecurity Board Tools, 2017.

Otros módulos:

Appreciate