Page 24 - REVISTA 2017

De hecho, la probabilidad de opacidad puede ser aún mayor en el caso de sistemas algocráticos, razón
por la cual es significativo referirse a las amenazas de la algocracia.

Como se indicara ésta puede ser engañosa, en la medida que inicialmente pareciera que la gobernabi-
lidad algocrática es positiva. Esto es así, en mérito a razones instrumentales, tales como la importante
impresión que su mayor velocidad y precisión - en comparación con sistemas humanos similares - re-
viste, y la posibilidad de aprovechar sus impresionantes resultados.

Sin embargo, a partir de esto es factible quedar cautivos de sistemas cada vez más opacos que incluso,
pueden determinar caminos incorrectos.

En efecto, los algoritmos del sistema pueden realizar un cálculo moral por sí mismos; y si esto es así, las
personas asumen el papel de las máquinas de información que alimentan el complejo tecno-burocrá-
tico con sus datos.

Esto puede llevar a una suerte de red invisible de difícil salida.

Las personas, gradualmente están siendo convencidas de que los sistemas de control algorítmico me-
joran la autonomía, la salud y el bienestar así como los resultados sociales, pero no se tiene una idea
clara de cómo exactamente ellos logran hacer esto. El resultado son espacios sociales opacos para la
razón humana.

Y esto es así, dado que la mecánica real del algoritmo es demasiado compleja para cualquier persona.
De hecho, las personas no pueden descifrar por ejemplo los códigos de barras, sino que de alguna
manera es necesario subcontratar esa comprensión a las máquinas, por lo que el aprisionamiento efi-
cientista e invisible está presente.

Lo mismo sucede al momento de la toma de decisiones, en la medida que los sistemas algocráticos en
la mayoría de los casos no son fáciles de seguir dada su complejidad, ya que se encuentran fuera de los
límites de la razón humana. Así, definitivamente eliminan las posibilidades de una genuina participa-
ción de las personas en estos procesos.

Los algoritmos estarán organizando y manipulando grandes flujos de datos y serán injertados encima
de un ecosistema cada vez más complejo de otros algoritmos. El resultado es que esto finaliza en un
conjunto de procedimientos de toma de decisiones que están agotados desde el punto de vista de su
legitimidad.

Entonces, cuál es la razón por la cual no se crean sistemas de algoritmos susceptibles de tal compren-
sión y por ende, capaces de favorecer la participación.

En principio, puede ser posible; sin embargo, tres factores se combinan para hacerlo excepcionalmente
difícil:
1. Muchos sistemas algorítmicos están protegidos por disposiciones normativas consagratorias de
secretos, ya sea porque se basan en secretos de carácter comercial o porque son utilizados por
las entidades gubernamentales y es necesario cuidar los intereses en juego.
2. Los actuales sistemas de datamining dependen cada vez más de los algoritmos de aprendizaje
automático. Esto se debe en parte al aumento en el tamaño de los conjuntos de datos que se
deben extraer para obtener información útil.
3. La interpretabilidad de las salidas de los algoritmos es un problema significativo y reconocido en
el campo del aprendizaje automático.

Reflexiones sobre Ingeniería 23