La inteligencia artificial está empezando a tomar decisiones que hasta hace pocos años parecían exclusivas de las personas: recomienda qué contenido vemos, analiza solicitudes de crédito, ayuda a seleccionar candidatos para un trabajo, detecta posibles fraudes, interpreta imágenes médicas y hasta puede participar en decisiones empresariales.
Pero hay una pregunta que cada vez resulta más difícil de evitar:
¿Quién controla a los algoritmos que toman esas decisiones?
Ahí aparece un concepto que empieza a cobrar cada vez más importancia: la algorética.
¿Qué es la algorética?
La palabra algorética combina la idea de algoritmo con ética.
Se refiere al conjunto de principios y criterios éticos que deberían aplicarse al diseño, desarrollo y utilización de algoritmos y sistemas de inteligencia artificial.
En otras palabras, no se trata solamente de preguntarnos:
“¿Puede una IA hacer esto?”
También debemos preguntarnos:
“¿Debería hacerlo?”
Y, sobre todo:
“¿Podemos comprobar cómo llegó a esa decisión?”
La algorética busca que la tecnología tenga en cuenta aspectos como la transparencia, la privacidad, la seguridad, la responsabilidad, la igualdad y la ausencia de discriminación.
Del algoritmo a la decisión
Un algoritmo puede parecer algo puramente técnico.
En realidad, cuando interviene en decisiones que afectan a personas, también puede convertirse en una cuestión social y ética.
Imaginemos una empresa que utiliza inteligencia artificial para seleccionar candidatos para un empleo.
El sistema analiza miles de currículums y establece cuáles considera más adecuados.
Aparentemente es una solución eficiente.
Pero aparece una pregunta fundamental:
¿Cómo sabemos que el algoritmo está evaluando realmente las capacidades de los candidatos y no está reproduciendo prejuicios existentes en los datos con los que fue entrenado?
Si históricamente una empresa contrató mayoritariamente a determinado grupo de personas, una IA entrenada con esos datos podría aprender, sin que nadie se lo haya indicado explícitamente, que esas personas son “preferibles”.
El algoritmo no tendría necesariamente una intención discriminatoria.
Pero el resultado podría ser discriminatorio.
Ahí comienza el problema de la algorética.
¿Por qué una IA debe ser auditable?
Decir que una inteligencia artificial es “ética” no necesariamente significa que podamos demostrarlo.
Por eso aparece otro concepto fundamental:
IA auditable
Una IA auditable es un sistema que puede ser examinado para determinar, dentro de lo técnicamente posible:
- qué datos utiliza;
- cómo fue entrenado;
- qué criterios utiliza;
- qué decisiones produce;
- qué errores comete;
- si existen sesgos;
- cómo protege los datos personales;
- quién es responsable del sistema;
- y qué mecanismos existen para corregir sus errores.
La diferencia es importante.
Una empresa puede afirmar:
“Nuestra inteligencia artificial es imparcial.”
Una auditoría debería permitir preguntar:
“¿Cómo lo sabemos?”
Ese cambio es fundamental.
La transparencia no significa revelar todo el código
A veces se interpreta la transparencia algorítmica como la obligación de publicar absolutamente todo el código de una inteligencia artificial.
No necesariamente.
Una empresa puede tener secretos comerciales y propiedad intelectual que no tiene obligación de publicar.
Pero eso no significa que un sistema de alto impacto deba convertirse en una caja negra imposible de controlar.
La auditoría puede centrarse en aspectos como:
Datos: qué información se utiliza y de dónde procede.
Procesamiento: qué criterios y variables son relevantes.
Resultados: qué decisiones produce el sistema.
Riesgos: qué errores o discriminaciones pueden producirse.
Trazabilidad: qué ocurrió cuando el sistema tomó una determinada decisión.
Responsabilidad: quién responde cuando algo sale mal.
El problema de la “caja negra”
Uno de los grandes desafíos de la inteligencia artificial moderna es la llamada black box, o caja negra.
Algunos sistemas son capaces de producir resultados extremadamente sofisticados, pero resulta difícil explicar exactamente por qué llegaron a una determinada conclusión.
Esto genera un problema especialmente delicado cuando la IA participa en decisiones importantes.
No es lo mismo que una inteligencia artificial recomiende una película que decidir si una persona obtiene un préstamo, acceder a un empleo o recibir determinado tratamiento médico.
Cuanto mayor es el impacto de una decisión sobre una persona, mayor debería ser la exigencia de control y supervisión.
¿Quién es responsable cuando la IA se equivoca?
Esta es posiblemente una de las preguntas más importantes.
Supongamos que una empresa utiliza una IA para seleccionar candidatos.
El sistema descarta automáticamente a una persona.
¿Quién es responsable?
¿El programador?
¿La empresa que desarrolló el sistema?
¿La empresa que lo contrató?
¿La persona que configuró los parámetros?
¿Nadie porque “lo decidió la IA”?
La última respuesta no debería ser aceptable.
Una máquina puede ejecutar una decisión, pero la responsabilidad no debería desaparecer detrás del algoritmo.
La algorética plantea precisamente la necesidad de establecer responsabilidades humanas e institucionales claras.
Algorética no significa prohibir la inteligencia artificial
Este punto es fundamental.
Hablar de ética algorítmica no significa estar en contra de la inteligencia artificial.
Todo lo contrario.
Una IA confiable puede ser extremadamente útil.
Puede ayudar a detectar enfermedades, optimizar sistemas de transporte, mejorar la educación, analizar grandes cantidades de información y automatizar tareas repetitivas.
El objetivo no es frenar la innovación.
El objetivo es conseguir que la innovación sea compatible con los derechos y la dignidad de las personas.
Un ejemplo sencillo
Imaginemos dos sistemas de inteligencia artificial utilizados para conceder préstamos.
Sistema A
La empresa dice:
“Nuestra IA analiza miles de variables y decide automáticamente.”
Pero nadie externo puede revisar el sistema.
No existe documentación clara.
No hay auditorías independientes.
No se explica por qué determinadas personas reciben peores resultados.
Sistema B
La empresa explica:
- qué variables utiliza;
- cuáles están prohibidas;
- cómo controla los sesgos;
- cómo evalúa la precisión;
- cómo protege los datos;
- cómo registra las decisiones;
- cómo una persona puede reclamar;
- y quién revisa periódicamente el sistema.
El segundo sistema no necesariamente es perfecto.
Pero es mucho más controlable.
Y esa diferencia es precisamente una de las cuestiones centrales de la IA auditable.
La auditoría como “caja negra abierta”
Podríamos pensar la auditoría algorítmica como una forma de abrir parcialmente esa caja negra.
No necesariamente necesitamos conocer cada línea de código.
Necesitamos poder responder preguntas fundamentales:
¿Qué entra?
Datos.
¿Qué ocurre dentro?
Procesamiento mediante modelos y algoritmos.
¿Qué sale?
Una recomendación, clasificación o decisión.
¿Qué errores puede cometer?
Sesgos, falsos positivos, falsos negativos, errores de clasificación, etc.
¿Quién controla el proceso?
Personas y organizaciones responsables.
¿Qué ocurre si se detecta un problema?
Debe existir un mecanismo de corrección.
La importancia de los registros
Una IA verdaderamente auditable necesita también trazabilidad.
Cuando un sistema toma una decisión importante, debería ser posible reconstruir, dentro de los límites técnicos y legales:
- qué versión del modelo estaba funcionando;
- qué datos recibió;
- qué configuración tenía;
- qué resultado produjo;
- cuándo ocurrió;
- y qué intervención humana existió.
Sin registros, una auditoría posterior puede resultar prácticamente imposible.
Por eso la auditabilidad no es simplemente una característica técnica.
También requiere procesos, documentación y gobernanza.
¿Y qué pasa con los datos personales?
La algorética también está directamente relacionada con la privacidad.
Una inteligencia artificial puede procesar enormes cantidades de información.
Pero que una tecnología sea capaz de utilizar un determinado dato no significa automáticamente que deba utilizarlo.
La pregunta ética es:
¿Es necesario este dato para cumplir la finalidad del sistema?
Y después:
¿Cómo se almacena?
¿Quién puede acceder?
¿Durante cuánto tiempo se conserva?
¿Puede utilizarse para otra finalidad?
Una IA responsable debería aplicar principios de minimización, seguridad y protección de los datos.
La supervisión humana sigue siendo fundamental
Uno de los conceptos que aparecen con frecuencia en el debate sobre IA responsable es el de human in the loop, es decir, la participación humana dentro del proceso de decisión.
No significa que una persona tenga que aprobar absolutamente cada respuesta de una IA.
Significa que, especialmente en decisiones de alto impacto, debe existir un nivel adecuado de supervisión humana.
La inteligencia artificial puede recomendar.
Puede analizar.
Puede detectar patrones.
Puede advertir.
Pero en determinadas situaciones debería existir una persona capaz de revisar el resultado y, cuando corresponda, cuestionarlo.
¿Qué debería tener una IA auditable?
Podemos resumirlo en ocho elementos:
- Transparencia — saber qué hace el sistema.
- Trazabilidad — poder reconstruir sus decisiones.
- Documentación — conocer cómo fue desarrollado y evaluado.
- Control de sesgos — comprobar si perjudica injustamente a determinados grupos.
- Privacidad — proteger los datos personales.
- Seguridad — evitar manipulaciones y usos indebidos.
- Supervisión humana — mantener responsables humanos.
- Mecanismos de reclamación y corrección — permitir cuestionar y corregir decisiones.
Estos elementos convierten la ética en algo más concreto.
La gran pregunta: ¿podemos auditar a la IA?
La respuesta es:
Sí, pero no siempre de la misma manera.
La posibilidad y profundidad de una auditoría dependen del tipo de sistema, de los datos disponibles, de la documentación, de la arquitectura del modelo y de las herramientas utilizadas.
Además, una auditoría tampoco garantiza que un sistema sea perfecto.
Lo que permite es detectar riesgos, errores y problemas que de otra manera podrían permanecer ocultos.
Algorética: de las buenas intenciones a la evidencia
Quizás el cambio más importante que introduce este concepto sea precisamente este.
Durante mucho tiempo, hablar de ética tecnológica significaba principalmente establecer principios:
“La inteligencia artificial debe ser justa.”
“La IA debe respetar la privacidad.”
“La tecnología debe ser segura.”
Son principios importantes.
Pero la siguiente pregunta es inevitable:
¿Cómo podemos comprobar que realmente se cumplen?
Ahí es donde la algorética se encuentra con la auditoría.
La ética establece los principios.
La auditoría busca evidencia.
La gobernanza establece responsabilidades.
Y la tecnología proporciona las herramientas para controlar el sistema.
El futuro: máquinas cada vez más capaces, controles cada vez más necesarios
La inteligencia artificial seguirá aumentando su capacidad para analizar información y tomar decisiones.
Por eso el debate probablemente dejará de ser solamente:
“¿Qué puede hacer la IA?”
y pasará a ser:
“¿Qué debería permitir la sociedad que haga la IA?”
Y después:
“¿Cómo podemos demostrar que está funcionando correctamente?”
Ese último punto puede convertirse en uno de los grandes desafíos tecnológicos de los próximos años.
Porque una inteligencia artificial poderosa puede ser extraordinariamente útil.
Pero una inteligencia artificial poderosa, opaca y sin mecanismos de control, puede generar problemas difíciles de detectar y todavía más difíciles de corregir.
Algorética no es ponerle ética a una máquina
En definitiva, la algorética no consiste simplemente en enseñarle a una inteligencia artificial qué está bien y qué está mal.
Es algo mucho más amplio.
Significa construir un ecosistema en el que los algoritmos puedan ser comprendidos, evaluados, auditados, supervisados y cuestionados.
Porque la pregunta más importante sobre una IA no debería ser solamente:
“¿Qué tan inteligente es?”
También deberíamos preguntar:
“¿Qué tan responsable, transparente y auditable es?”
Y quizás esa sea una de las características que definan a la próxima generación de inteligencia artificial.
