Introducción

En mayo de 2019, el International Transportation Forum (IFT) de la OCDE publicó el estudio Governing Transport in the Algorithmic Age, que explora el tema de la gobernanza en el sector transporte frente a las aplicaciones de inteligencia artificial (IA) que sustentan los sistemas de decisión automatizados con mínima o nula intervención humana. El reemplazo del criterio humano por el de una máquina con IA plantea diversos aspectos físicos, éticos y hasta filosóficos que deben resolverse para prevenir los riesgos asociados a ellos. Las secciones a continuación sintetizan este trabajo del IFT.

El análisis emprendido

El análisis del IFT identifica el modo en que los sistemas automatizados de toma de decisiones impactan en la actividad del transporte.  Las actividades del transporte están cada vez más y más intervenidas por algoritmos. La toma de decisiones automatizada se está haciendo presente en áreas que van desde atención a la salud y vivienda hasta los medios y la movilidad.

En el transporte, los algoritmos son un elemento clave en los servicios; desde itinerarios del transporte público hasta “apps” de ruteo; de sistemas de bicicleta compartida hasta tecnología de vehículos autónomos, entrega de mensajería y despacho de paseos turísticos.

Surge así la pregunta: ¿cómo pueden los encargados de las políticas asegurarse de que la movilidad basada en algoritmos sirva a los objetivos sociales?

El análisis del IFT explora cómo y en dónde los sistemas de decisión automatizados impactan al transporte, y sugiere formas para hacer que las políticas vigentes sean viables en un ambiente que cada vez más usa algoritmos para decidir. Sugiere además formas para que los responsables de las políticas se familiaricen más con el uso de algoritmos y puedan generar políticas adecuadas a este nuevo ambiente tecnológico.  Se analizan retos y oportunidades para la gobernanza del transporte en un mundo impregnado de códigos de computadora.

En el reporte del ITF se bosqueja cómo un nuevo marco de referencia para la gobernanza pública en la era algorítmica podría tener lugar. Los antecedentes son las discusiones del taller “Gobernanza Algorítmica en el Transporte”, organizado por la OCDE en diciembre de 2018, con amplia difusión a grupos de interés, de análisis y de investigación.

Los hallazgos

El concepto de gobernanza algorítmica está en sus inicios, y su alcance último aún no es claro. Sin embargo, ya hay tensiones por el desajuste actual entre la estructura que la gobernanza pública tiene para dar resultados a la sociedad, y la forma en que las decisiones se toman cada vez más basadas en códigos de computadora. Si las autoridades esperan dar los resultados que desean los ciudadanos, esta brecha debe cerrarse.

La gobernanza algorítmica plantea nuevos retos que rebasan el alcance de los marcos de gobernanza pública típicos. Sin embargo, el alcance y los cambios que podrían requerirse en la gobernanza no se conocen aún. Los gobiernos, incluyendo a las autoridades del transporte, deberían empezar a prever un futuro más algorítmico y evaluar el impacto de esto en su concepto de gobernanza pública y entrega de resultados.

Los algoritmos son conjuntos de pasos estructurados para procesar instrucciones y datos a fin de generar un resultado esperado. Tradicionalmente los algoritmos solían ser estáticos, con códigos que rara vez o pocas veces se actualizaba; sin embargo, recientemente los algoritmos se han vuelto más dinámicos, incluso, con códigos que se reescriben a sí mismos para mejorar resultados. Esto ya es un cambio fundamental.

Por ejemplo, una agencia reguladora podría autorizar una tecnología específica para automóviles autónomos (vehículo y algoritmos de control) en vías públicas. Pero, como la selección de vistas, el procesamiento de imágenes y los algoritmos de reconocimiento de formas, iteran continuamente y se auto reescriben para mejorar el desempeño en ambientes de conducción reales, el código final resultante pudiera ya no parecerse al algoritmo original autorizado. Aún más, con el uso del algoritmo, subsiguientes iteraciones del código de computadora lo podrían modificar tanto que la agencia reguladora que lo autorizó ya no podrá comprender cómo funciona realmente.

Los algoritmos implícitamente tienen un modelo de “lo que se va a hacer” y luego explícitamente establecen el “cómo debería hacerse” en un código de cómputo. En la situación actual de toma de decisiones, los algoritmos, más que fragmentos independientes de código sin contexto, son parte de un sistema automatizado completamente algorítmico que inicia con el diseño de una meta específica para logar una acción concreta final.

El flujo de trabajo algorítmico sigue el ciclo de formulación de metas, identificación de tareas y fuentes de datos, definición del modelo, codificación en lenguaje de cómputo, integración del software, generación de resultados (predictivos o prescriptivos) y finalmente la acción concreta esperada.

Cabe señalar que hay interpretaciones humanas, supuestos, sesgos potenciales y objetivos que están inmersos en estos sistemas durante su desarrollo; por lo que es un desafío que los algoritmos se presenten o entiendan como libres de sesgo – o al menos con menos sesgo que los humanos.

Los principios guía para los algoritmos y las aplicaciones de Aprendizaje Automático (AA) (en inglés Machine Learning), están particularmente adaptados para resolver problemas que antes eran intratables o para mejorar la capacidad de realizar tareas tradicionalmente difíciles y sumamente tardadas. Sin embargo, estas técnicas plantean a la vez desafíos legales, regulatorios y éticos de carácter único. A pesar de sus beneficios, los algoritmos de AA podrían resultar en una conducta dañina no intencional, si la función objetivo se especifica erróneamente (o si se auto-especifica por el algoritmo), si los datos de prueba están sesgados o corruptos, o si el proceso de aprendizaje tiene fallas.

Riesgos físicos, morales e incluso filosóficos aparecen cuando los sistemas con base en IA entran en áreas de toma de decisiones humanas en formas que, si bien son análogas, resultan indescifrable y fundamentalmente ajenas al conocimiento humano. Esto no sería un problema si los riesgos son bajos o los impactos potenciales limitados. Pero la falta de visión en los procesos y decisiones basados en IA desafía a la gobernanza pública tradicional, cuando los resultados algorítmicos pueden tener impactos significativos. El balance entre los enormes beneficios que los sistemas algorítmicos con base de IA pueden dar y los daños potenciales que pueden ocasionar está en el centro de la discusión de las políticas y las cuestiones sociales en torno a la gobernanza algorítmica.

Los riesgos de la seguridad vial y la protección a los usuarios son los más inmediatos y materiales de los potenciales daños algorítmicos. Cuando los sistemas ciber-físicos fallan o actúan de modo inesperado, puede haber gente lastimada o daños materiales. Si estos riesgos se propagan a lo largo de sistemas conectados, los daños resultantes pueden multiplicarse y ser sustanciales.

Los algoritmos son tecnologías de procesamiento de datos. La colecta de datos y la vigilancia son partes integrales de un sistema algorítmico, pero hay un claro riesgo asociado a la privacidad con el uso y liberación de esos datos. Los enfoques simplistas de hacer anónimos los datos o usar seudónimos, raramente son lo bastante robustos como para resistir ataques de robo de datos serios. Estas vulnerabilidades se intensifican con la creciente capacidad de los algoritmos antagónicos [1] (Adversarial Algorithms, en inglés) que buscan extraer los datos.

Los sistemas algorítmicos suelen ser opacos y difíciles de explicar a los reguladores, o a aquellos afectados por decisiones con base en algoritmos. El código de cómputo con frecuencia se genera en ambientes cerrados al escrutinio, ya sea porque lo elabora una compañía o alguna agencia de gobierno, o porque se genera en el espacio lógico del propio algoritmo. El código se escribe en lenguajes de cómputo que no son entendidos ampliamente por el público en general o por los reguladores. La operación y las decisiones posibles de varios tipos de algoritmos con base en IA podrían incluso no poder ser explicadas por sus diseñadores.

La lógica de máquina, especialmente cuando está ligada al aprendizaje automático, las redes neuronales y otras formas de IA, no es una lógica humana. La consecuente falta de entendimiento se agrava cuando los algoritmos individuales actúan en conjunto en sistemas de decisión algorítmica más extensos. Los sistemas algorítmicos, aunque pudieran ser inescrutables y difíciles de entender, podrían funcionar –pero plantean el riesgo latente de que una falla de sistema resultara no rastreable o “corregible”, precisamente por esta falta de entendimiento.

Las recomendaciones

Preparar las políticas para que funcionen en un ambiente algorítmico y que los responsables de elaborarlas tengan familiaridad con los algoritmos y su uso.

En el campo del transporte, políticas, instituciones y enfoques regulatorios están diseñados para sistemas de decisiones humanas, sujetos a una lógica legal y analógica. Esta situación se ve desafiada por la instalación de sistemas algorítmicos que funcionan con lógica de máquina. Las autoridades públicas tendrán que evaluar si sus instituciones y métodos de trabajo están adaptados para los riesgos potenciales del ambiente algorítmico, y si no es así, comenzar a rediseñarse a sí mismas para enfrentar a un mundo cada vez más algorítmico. Para esto se necesitará reclutar y retener personal con nuevas habilidades, así como capacitar al personal activo para que conozca más y se familiarice con los códigos de computadora.

Asegurarse de que la supervisión y control de los algoritmos sean proporcionales a los impactos y riesgos asociados a su uso.

No todos los sistemas algorítmicos tienen los mismos riesgos. Los reguladores deben buscar un balance entre los riesgos y errores propios de la innovación tecnológica y los potenciales impactos negativos de una intervención regulatoria para evitarlos. Sería conveniente adoptar un enfoque regulatorio gradual que minimice la supervisión en los sistemas de decisión algorítmicos triviales con bajo impacto, y aumente las evaluaciones y la supervisión en los sistemas algorítmicos con impactos de consecuencias de mayor alcance.

Establecer una capacidad de auditoría predeterminada a los algoritmos de impactos potenciales relevantes.

El pseudocódigo que puede leer cualquier persona podría incorporase en los algoritmos para explicar lo que el algoritmo realiza, sin necesidad de revelar el código fuente (para proteger el secreto comercial). Estos algoritmos explicativos podrían calificarse como de “grado legal”. Otro enfoque sería usar protocolos específicos de codificación para algoritmos de impactos relevantes potenciales, como los delineados en el marco de referencia “Trustable software”( ISRS/Codethink, 2017).

Convertir las regulaciones de tipo analógico en código de máquina para ser usado en sistemas algorítmicos.

Quienes codifican programas para los algoritmos de toma de decisiones automatizada, interpretan las regulaciones escritas en lenguaje legible para las personas, que típicamente están en soportes analógicos y dispersos. Donde sea posible, las autoridades deberían esforzarse para que las regulaciones sean por defecto, legibles tanto para una máquina como para un humano. Por ejemplo, una autoridad podría codificar, comunicar y controlar las reglas de acceso y los usos legalmente válidos de una calle y el espacio de las aceras.

Usar los sistemas algorítmicos para regular de forma más eficiente y dinámica.

Con frecuencia la regulación se enfoca en tecnologías pasadas, más que en los sistemas sociales y tecnológicos emergentes. Cumplir con el marco regulatorio vigente podría ser una respuesta adecuada en algunos casos, pero no en todos. Evitar la trampa del cumplimiento de la práctica habitual es particularmente importante cuando lo sistemas algorítmicos evidencian lo innecesario de la regulación existente y crean nuevas formas de regulación más dinámicas y eficientes, con un estilo más ligero.

Comparar el rendimiento de los sistemas algorítmicos con los de toma de decisiones humana.

Al evaluar los impactos potenciales de los sistemas algorítmicos, las autoridades deberían considerar primero cuál sería el impacto de no implementar el sistema algorítmico. ¿El balance de riesgos y beneficios sugiere que los humanos sigan tomando decisiones críticas y de consecuencias importantes en vez de que lo hagan los algoritmos? Si la respuesta es afirmativa, vale la pena preguntarse si un sistema algorítmico es necesario o incluso deseable. Si la respuesta es negativa, entonces la mejor opción podría ser retirar por completo a los humanos del marco de toma de decisiones, o permitirles intervenir solamente cuando sean solicitados.

La evaluación algorítmica debería ir más allá de la transparencia y la capacidad de explicar.

Hay límites a la exigencia de que ciertos algoritmos con base en IA sean transparentes y explicables, ya que su lógica podría no ser fácilmente entendida por humanos. Una estrategia para abordar esto es habilitar una funcionalidad explicativa en los sistemas algorítmicos para que el modelo pueda generar una explicación precisa y comprensible de los resultados que ejecuta. Esta “habilidad explicativa de diseño” traerá consigo cambios en la manera en que el código de cómputo es concebido y escrito –al menos en aplicaciones donde las explicaciones son necesarias para evitar consecuencias dañinas. A su vez, esto implicará el ajuste de estándares, la adopción de las mejores prácticas en la industria y, en algunos casos, podría requerir que los reguladores estipulen este enfoque para los códigos que sean estratégicos.

Establecer marcos regulatorios robustos para asegurar la responsabilidad por las decisiones tomadas con base en algoritmos.

En vez de enfocarse en la transparencia, la capacidad explicativa o la de interpretación como los puntos clave para la evaluación de algoritmos, los reguladores deberían incluirlos en un marco más amplio de responsabilidad algorítmica.

Un marco de gobernanza para la responsabilidad algorítmica debería asegurar que los sistemas algorítmicos están concebidos y construidos para que pueda confiarse en que operarán como se espera. Bajo un marco de responsabilidad, los encargados de implantar el sistema algorítmico deberían ser legalmente responsables de sus decisiones. Cuando la entidad encargada sea autoridad pública, deberían implantarse estándares más altos y restrictivos para la responsabilidad, dados los poderes únicos que los gobiernos ejercen.

Establecer pautas claras y acciones regulatorias para evaluar el impacto de la toma de decisiones algorítmica.

La evaluación de impactos es común en muchos dominios, incluido el transporte, y son mecanismos bien conocidos para evaluar los riesgos y resultados potenciales de las políticas e intervenciones regulatorias. Las autoridades públicas deberían emprender evaluaciones de impacto en los sistemas algorítmicos que pudieran tener consecuencias en los resultados regulados o dentro del dominio público. El enfoque adoptado por el Gobierno de Canadá en su “Directive on Automated Decision-Making” (Government of Canada, 2019) es un modelo de enfoque. Liga la evaluación con una respuesta regulatoria gradual para sistemas algorítmicos potencialmente más riesgosos. Las auditorías de evaluación de impactos deberían basarse en impactos observables y monitoreados, y no necesariamente en auditorías de los propios algoritmos.

Adaptar la forma en que se hace la regulación para reflejar la rapidez con que se dan los cambios y la incertidumbre en relación con el desarrollo del sistema algorítmico.

Las políticas existentes de “regular y olvidar” no son apropiadas para el rápido desarrollo de múltiples sistemas algorítmicos en evolución constante. Las autoridades deberían diversificar sus enfoques regulatorios para maximizar el aprendizaje regulatorio, la obtención anticipada de beneficios y una experimentación libre de riesgo. Estas estrategias deberían combinar un enfoque basado en el riesgo, regulaciones iterativas y adaptativas, exenciones regulatorias limitadas, desempeño con base en resultados y una regulación colaborativa.

Conclusiones

El análisis expuesto en el estudio del ITF resulta relevante. En el sector transporte, tanto en México como en otros países, la generación y/o adopción de nuevas tecnologías con base en IA es cada vez más común, por la capacidad que tienen de manejar cantidades inmensas de datos, detectar patrones y tendencias, para de ahí sugerir líneas de acción.

El siguiente paso, que es la toma de decisiones, ya comienza a automatizarse y a mostrar los beneficios de resultados adecuados ante un mar de datos y una exigencia de respuesta rápida. Sin embargo, los riesgos latentes en las debilidades que los algoritmos de IA han mostrado en diversas aplicaciones, la posibilidad de errores debido a ataques de hackers usando software antagónico o por situaciones no previstas en la lógica de desarrollo original del algoritmo, deben considerarse.

Esto en particular es importante, porque el uso de sistemas automatizados de toma de decisiones va creciendo conforme las primeras instancias resultan viables, motivando su extensión a sistemas de transporte más extensos.

En México, el uso de aplicaciones de IA en el transporte ya se han hecho presentes; algunos ejemplos son los siguientes:

·    En 2011, el Puerto de Veracruz arrancó el Sistema de Administración del Transporte Portuario (SISTEMA CALT) que realiza el control de acceso automatizado y sin filas para ingresar al CALT (Centro de Atención Logística al Transporte) simplificando los ingresos al Puerto y aprovechando a la vez todos los recursos del propio Puerto, de los Transportistas, las Terminales y de la Aduana. (API Vercaruz, 2019).

·    El transporte urbano de la Ciudad de México. Luego del éxito del Sistema de Transporte Colectivo (Metro), se diseñó una tarjeta recargable única de acceso tanto al Metro como al Metrobús y al Tren Ligero. La Tarjeta Distrito Federal (TDF) empezó a funcionar en octubre de 2012 y a la fecha se sigue usando (STC, 2019).

·    En 2017, el Aeropuerto Internacional de la Ciudad de México (AICM) anunció la instalación un sistema de gestión de slots, Slotix, totalmente automatizado para asegurar que se cumpliera con las 61 operaciones/hora debido a su saturación (De la Rosa, A., 2017).

·    En agosto de 2018, el AICM) anunció el arranque del sistema Airport Collaborative Decision Making (A-CDM), para controlar la operación aeroportuaria con mayor precisión en uso de pistas y exactitud en los tiempos de despegue. El sistema integra la colaboración de todos los involucrados en la operación del aeropuerto en un solo equipo que comparte información válida sobre la situación actual, para tomar las decisiones que garanticen la solución efectiva y oportuna de los problemas. En la presentación de este sistema, se reconoció que:

“[…] este proceso implica un cambio de cultura, manejo de información sensible, cambios en los procedimientos y la creación de equipos de trabajo que involucren confianza en todos aquellos que participan en la operación del aeropuerto.”(AICM, 2019).

En sep/2018 se publicó el informe Hacia una Estrategia de IA en México: Aprovechando la Revolución de la IA, promocionado por la Embajada Británica en México y por el Fondo de Prosperidad (British Embassy, 2018). Entre los desarrollos de IA que este informe identifica en el transporte están:

·    IA para optimizar flujo de autobuses: Laboratorio para la Ciudad/Datak, en CDMX. En este proyecto, Laboratorio para la Ciudad y el SM1 (Sistema de Movilidad 1) de la CDMX utilizaron datos del GPS instalado en autobuses del SM1 para mejorar la eficiencia de las rutas de autobuses entrando y saliendo a Santa Fe. Una vez calibrado el sistema, se espera extenderlo a todas las rutas en CDMX.

·    IA para contrarrestar noticias falsas: Sismo 19s. En este proyecto, un equipo formado por Codeando México (ONG para participación ciudadana), la Universidad Nacional Autónoma de México y el laboratorio de interacción Humano-Computadora de la Universidad de Virginia Occidental, se enfocó en la automatización de varios obstáculos críticos experimentados por las redes de voluntarios que verificaban las noticias. Crearon además un bot[2] con aprendizaje automático para identificar y compartir en redes sociales los reportes ciudadanos verificados y dar información en tiempo real para su publicación.

·    IA para un flujo eficiente de pasajeros: Metro CDMX. En 2015, estudiantes doctorales de la UNAM trabajaron con personal del Metro de la Línea 1, usando IA para analizar grandes masas de datos sobre la dinámica de flujos de pasajeros. Con técnicas de simulación generaron una estrategia para reducir los tiempos de ascenso y descenso del tren, logrando flujos más eficientes con mejoras del 10% al 15% reportadas.

La necesidad de que los equipos de toma de decisiones mejoren su conocimiento y familiaridad con la jerga algorítmica y su operación es fundamental para abordar la cuestión del implante de sistemas automatizados de decisiones. El nicho de oportunidad para los profesionales en ciencias de la computación y ciencia de datos es evidente.

La investigación y desarrollo en el tema de algoritmos sigue creciendo, y no se detendrá. Cada vez más la tecnología echará mano de ellos para resolver problemas actuales que están superando la capacidad de manejo humana. Los beneficios que ofrece la tecnología de punta son innegables, pero los riesgos asociados también.

Como en el poema sinfónico de Paul Dukas, El Aprendiz de Brujo, la fascinación del aprendiz que hechiza a las escobas para que hagan su trabajo, se rompe bruscamente al descubrir que ha olvidado las palabras mágicas para detener a las escobas. En el mundo real, una analogía semejante para los tomadores de decisiones debería prever la recuperación efectiva del control de un sistema automatizado de base algorítmica y la aplicación de una decisión adecuada a la situación.

MORENO Eric
Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo.

Palabras clave: Inteligencia Artificial, Aprendizaje Automático, Algoritmo, Toma de Decisiones, Protección de datos.

Referencias bibliográficas

AICM.(2019) El AICM pondrá en marcha sistema para mejorar operaciones aéreas. BOLETÍN INFORMATIVO NÚM. 04 / 2018. En: https://www.aicm.com.mx/el-aicm-pondra-en-operacion-sistema-para-mejorar-operaciones-aereas/27-08-2018

API Veracruz. (2019). Sistema de Administración del Transporte Portuario. Disponible en: https://www.puertodeveracruz.com.mx/apiver/archivos/CALT/presentacionATP.pdf

British Embassy Mexico CIty. (2018). Hacia una Estrategia de IA en México: Aprovechando la Revolución de la IA. En: https://www.gobiernohabil.com/2018/09/rumbo-una-estrategia-de-inteligencia.html.

De la Rosa, A. (2017). “AICM estrena sistema para gestionar sus slots”. El Economista. 20/mar/2017. En: https://www.eleconomista.com.mx/empresas/AICM-estrena-sistema-para-gestionar-sus-slots-20170321-0043.html.

Government of Canada (2019a), “Algorithmic Impact Assessment - Évaluation de l’incidence algorithmique (Python prototype)”, https://github.com/canada-ca/aia-eia.

International Transport Forum. (2019) Governing Transport in the Algorithmic Age. Corporate Partnership Board Report. OECD/ITF. En: https://www.itf-oecd.org/governing-transport-algorithmic-age

ISRS/Codethink. (2017), Towards Trustable Software: A Systematic Approach to Establishing Trust in Software, White Paper. Disponible en: https://www.trustablesoftware.com/

STC (2019). Sistema de Transporte Colectivo (Metro) CDMX. Tarjeta Recargable. Disponible en: https://www.metro.cdmx.gob.mx/tramites-y-servicios/servicios/tarjeta-recargable

Wei, W. et al. (2018). Adversarial Examples in Deep Learning:  Characterization and Divergence. School of Computer Science, Georgia Institute of Technology, Georgia Tech Research Institute(GTRI). Disponible en: https://arxiv.org/abs/1807.00051v3

Wikipedia. (2019). El aprendiz de brujo (Dukas). (en línea). Disponible en: https://es.wikipedia.org/wiki/El_aprendiz_de_brujo_(Dukas).