En un proceso tradicional hay un funcionario que toma una decisión; el ciudadano puede identificar quién resolvió el asunto e impugnarlo si hubo una afectación indebida. Con la IA en cambio, hay una caja negra entre los datos y la decisión: el proceso interno que genera un resultado puede ser incomprensible incluso para quienes lo diseñaron y el ciudadano pierde la capacidad de entender qué motivó una decisión y, con ello, se debilita su derecho cuestionarla.
Por Mariano Garza-Cantú
Junio 2026
Para Eileen Matus, la llegada de la IA en el sector público obliga a replantear qué se entiende por transparencia, responsabilidad y rendición de cuentas. Eileen participó en el 3er Foro Internacional de Transformación Digital realizado en Tijuana, BC, el pasado 28 y 29 de Mato. Ella es directora general de Reg(X) Simplificando la Función (más información aquí ), una consultora especializada en temas regulatorios vinculados con inteligencia artificial y tecnología.
Matus parte de una idea central: el arribo de la IA cambia la forma en que las Instituciones públicas cumplen o evaden sus responsabilidades para con la sociedad. Si un gobierno utiliza inteligencia artificial para tomar o influir en decisiones que afectan derechos o intereses de las personas, no puede escudarse tras un algoritmo para justificar esas decisiones. Es muy frecuente que se presente la IA como sustituto de los procesos humanos,
El problema central, dice Matus, aparece cuando la supervisión humana deja de ser real y se convierte en mera formalidad. “El punto crítico es que ninguno de estos sistemas tome decisiones por sí solo, o por lo menos no debiera hacerlo”, advierte.
La experta distingue entre supervisión humana significativa y supervisión humana simbólica. En el segundo caso, el funcionario ejecuta lo que recomienda el sistema sin cuestionarlo ni comprender cómo llegó a esa conclusión. La discrecionalidad no desaparece: se traslada del funcionario al algoritmo. El riesgo no es solo técnico, sino institucional, porque la responsabilidad comienza a diluirse. “Lo grave es que un algoritmo no rinde cuentas; no lo puedo llevar a un tribunal, no existe en el organigrama”, dice Matus.
La opacidad algorítmica puede representar un inconveniente operativo o comercial en el sector privado; pero en el sector público se vuelve un problema constitucional porque el Estado está obligado a justificar sus actos.
En el centro de la propuesta de Matus para contrarrestar esa opacidad está la explicabilidad: Si un sistema de IA influye en una decisión pública, esa decisión debe poder explicarse en términos comprensibles para cualquier persona —no mediante fórmulas matemáticas o código técnico, sino en lenguaje común. Quien resulte afectado debe poder solicitar que un ser humano revise nuevamente el caso.
Matus reconoce que no existen metodologías perfectas para auditar estos sistemas, pero sostiene que hay elementos mínimos exigibles: documentación del sistema, datos de entrenamiento, criterios utilizados para construir el modelo, evaluación de sesgos y trazabilidad de las decisiones.
“El Estado compra esta caja negra y no puede abrirla; si quiere auditarla, depende de lo que le diga el proveedor. La discrecionalidad antes tenía un rostro —el funcionario que decidía, al que se podía ubicar e interrogar—, pero con la IA ese rostro se convierte en discrecionalidad invisible”, explica Matus.
El monopolio, agrega, deja de estar en el funcionario y se traslada al proveedor tecnológico, que diseña el sistema, define parámetros, selecciona datos de entrenamiento y controla actualizaciones. A eso lo denomina monopolio del código. Y cuando un sistema falla, la responsabilidad se fragmenta: el funcionario dice que el sistema arrojó el resultado; el área técnica lo atribuye al proveedor; el proveedor argumenta que trabajó con los datos que entregó la institución. El resultado es lo que Matus llama responsabilidad diluida.
Para contrarrestar esos retos, Matus propone tres principios regulatorios: transparencia algorítmica, explicabilidad y supervisión humana significativa. Cualquier sistema de inteligencia artificial utilizado por instituciones públicas debe contar con documentación pública sobre su propósito, criterios de diseño, datos empleados y responsables institucionales. Eso no implica publicar el código fuente, aclara, pero sí ofrecer información suficiente para garantizar trazabilidad y rendición de cuentas.
En cuanto a la supervisión humana, no basta con que haya un funcionario dentro del proceso. Ese servidor público debe entender cómo opera el sistema, tener capacidad de cuestionarlo, explicar por qué funcionó o decidió como lo hizo y asumir la responsabilidad de la decisión final. “La inteligencia artificial debe asesorar, no decidir”, resume. “Necesitamos que los servidores públicos que la usan tengan la capacidad técnica para cuestionar el resultado que se les ofrece, identificar errores y asumir la responsabilidad de lo que deciden”.
Todos estos mecanismos, subraya Matus, deben incorporarse desde el diseño mismo de los sistemas. Si no se contemplan en la etapa de contratación o desarrollo, resulta muy difícil añadirlos después.
El debate regulatorio en México, concluye, no debería limitarse a gestionar riesgos tecnológicos, sino colocar a las personas en el centro del diseño institucional y normativo. El objetivo no es solo prevenir fallas futuras, sino proteger los derechos de las personas desde que se diseña la herramienta. La IA ofrece un nuevo contexto tecnológico, por lo tanto, habrá que “adaptar principios ya existentes a esta nueva circunstancia”, dice Matus.
