Skip to content

Paloma Llaneza: ¿Están sustituyendo los algoritmos el juicio humano? Volar por debajo del radar.

APEP - Logo

Día Europeo de Protección de Datos 2016

Monográfico de la Asociación Profesional Española de Privacidad

+

+

Paloma Llaneza

Socia de Razona LegalTech

Presidenta de la Sección TIC del Ilustre Colegio de Abogados de Madrid

 

 

China está implantando un nuevo sistema (Social Credit System “SCS”) que permite evaluar la capacidad crediticia de sus ciudadanos, como ya hacen las entidades financieras occidentales con todos nosotros. El sistema ferozmente ambicioso, autoritario, tecnológicamente sofisticado y disruptivo ha sido diseñado, según un documento oficial,  como “un componente importante del sistema de economía de mercado socialista” ya que “sus requisitos inherentes fijan la idea de una cultura de sinceridad, lo que permite promover la sinceridad y las virtudes tradicionales”. Esa redacción vaga pero con una gran carga de reproche (¿quién no ha escuchado cuando uno se queja de la vigilancia electrónica “yo es que no tengo nada que ocultar”?) en realidad habla de control de los ciudadanos: con la figura del “crédito social” las autoridades chinas planean hacer algo más que conocer la capacidad de endeudarse de sus ciudadanos, quieren evaluar la confiabilidad de los ciudadanos en todas las facetas de su vida.

El sistema, que a cualquier demócrata preocuparía muy seriamente, no se diferencia mucho de los algoritmos, sistemas, plataformas o herramientas que usamos sin criterio y que nos puntúan y nos clasifican en todos los momentos de nuestra vida. Todos nosotros estamos siendo categorizados y juzgados por algoritmos similares, tanto por las empresas con las que tratamos como por nuestros gobiernos. Mientras que el objetivo de estos sistemas podría no ser el control social, a menudo es su subproducto. Se ha hecho muy difícil volar por debajo del radar. Y todo apunta que cada vez será más difícil sin concitar toda serie de sospechas.

Dice Schneier que el juicio humano está siendo sustituido por algoritmos automáticos que permite una nueva forma de control social, que se verá extraordinariamente complicado por el uso masivo de la Internet de las cosas. Para evitar que esto ocurra, propone varias medidas, la primera de las cuales parece de difícil consecución: que los algoritmos usados para categorizarnos en lo público y en lo privado se hagan públicos. La segunda medida que propone (y por la que transita con timidez el tan esperado Reglamento Europeo de Protección de Datos personales) es la supervisión y la rendición de cuentas.

La visión que Schneier propugna, y con la que no podría estar más de acuerdo, se basa en una supervisión del algoritmo no en una mera información de su uso, como apunta el Reglamento. Sería la única manera de saber cómo se tratan los datos, que información se extrae y si las clasificaciones obtenidas y su uso afecta a libre desarrollo personal y económico de los titulares de los datos. En esta línea de controlar el código, Schneier propone que se habiliten sistemas manuales para que los afectados puedan modificar la clasificación que de ellos se ha realizado con la finalidad de “restaurar el juicio humano”.

El Reglamento Europeo de Protección de Datos está muy lejos de la propuesta de Schneier, limitándose a regular algunos aspectos de la elaboración de perfiles (es decir, la toma de decisiones individuales automatizadas) si bien las disposiciones referidas a esta práctica se han reducido significativamente tras el proceso de descafeinado que ha ido sufriendo el Reglamento a lo largo del periodo eterno de tramitación. Se conserva la obligación de informar a la persona de que el perfilado está teniendo lugar, el significado y las consecuencias de la elaboración de perfiles así como la lógica utilizada (artículo 14.1. h). Esta información sobre perfilado forma parte de la que ha de facilitarse en caso de ejercer el derecho de acceso  (artículo 15.1.h) Además, el interesado tendrá derecho a no ser objeto de una decisión basada únicamente en un tratamiento automatizado, incluyendo perfiles, que produzca efectos jurídicos que le conciernan o le afecten (artículo 20). Además, una evaluación de impacto será necesaria cuando se lleve a cabo una evaluación sistemática y extensa de los aspectos de la personalidad de personas físicas basada en perfiles siempre que sirva de base para la toma de decisiones con efectos jurídicos o que les afecten gravemente (artículo 33).

No hemos hecho un gran avance en un tema tan central del tratamiento moderno de datos. Al menos hemos de alegrarnos de que el perfilado del comportamiento de los residentes en la UE realizados por empresas de fuera de la Unión quede, por fin, sujeto al derecho de la UE.

Algo hemos mejorado.

+

Paloma Llaneza

Socia de Razona LegalTech

Presidenta de la Sección TIC del Ilustre Colegio de Abogados de Madrid

Twitter.

+

+

Puedes acceder al Monografíco de APEP por el Día Europeo de Protección de Datos 2016 en este enlace.

Blanca Granados Escribano
Volver arriba