São eles que, muitas vezes, decidem se você é contratado ou demitido, se você vai ter acesso a um benefício social, se seu visto de imigração vai ser concedido ou negado, quais notícias você vai ver nas redes sociais, qual o melhor trajeto do trabalho para casa ou qual o parceiro mais apropriado para um relacionamento.
Algoritmos são sequências lógicas de ações executáveis que viabilizam tomadas de decisões automatizadas e muitas vezes autônomas. Empregam-se algoritmos para quase tudo, sendo eles pensados como meios técnicos, eficientes e, em tese, menos subjetivos para lidar com um grande número de questões.
São algoritmos, por exemplo, que definem o preço do seguro de um automóvel, levando em consideração diferentes dados e informações. São algoritmos que balizam o cálculo da tarifa de transporte público, o tempo de duração dos sinais de trânsito e, eventualmente, onde são necessárias obras.
Algoritmos são usados na gestão de compras de hospitais, na estruturação de ações em face de uma epidemia ou mesmo na realização de diagnósticos automáticos, agregando volumes massivos de dados de forma rápida.
Algoritmos também se fazem cada vez mais presentes na área de recursos humanos de empresas diversas. Um relatório recente produzido pelo Center for Democracy and Technology indica que 33% das empresas já utilizam algoritmos para tomar decisões de contratação.
Tais algoritmos buscam predizer quem será bem-sucedido em uma certa função a partir de dados de pessoas que tiveram êxito (ou não) anteriormente. Se as promessas aqui são gigantescas, os riscos não são menores. O supramencionado relatório assinala, por exemplo, como essas formas automatizadas de contratação têm alimentado um viés capacitista, que prejudica pessoas com deficiência.
Os desafios não se restringem, todavia, a uma questão de viés. Os problemas são mais estruturais. Como todo padrão de decisão, algoritmos embutem – direta ou indiretamente – diferentes regras sociais e, com isso, afetam comportamentos.
A alteração nas regras para tomar uma decisão muda, consequentemente, o comportamento dos indivíduos e os vínculos coletivos da sociedade. Alterações essas que, pouco a pouco, institucionalizam-se, solidificam-se e parecem naturais.
Este é o argumento que gostaríamos de defender aqui. Os algoritmos podem ser pensados como instituições e eles têm institucionalizado uma nova sociedade regida por normas opacas, embutidas em sistemas autônomos de decisão. Os algoritmos estão assumindo um desempenho institucional na sociedade contemporânea porque eles estão dirigindo, gradativamente, o comportamento dos indivíduos na sociedade e gerando diversos impactos coletivos.
(…)
Algoritmos representam relações de poder. Não do tipo hierárquico, mas do tipo sutil, pervasivo e onipresente de redes invisíveis (e não avistáveis) que marcam nosso ser. A ação dos algoritmos parece nos fazer habitar o mundo kafkiano de Josef K. (protagonista de “O Processo”), com regras, padrões e procedimentos onipresentes e onipotentes, sem que consigamos, sequer, vislumbrar de forma mais concreta o contexto em que nos inserimos.
(…)
Ainda que projetados para lidar com a incerteza e que possam ser flexíveis para se adaptar continuamente a partir de novos dados oriundos de comportamentos de usuários, algoritmos são a própria reificação da dependência de trajetória ao projetar passos subsequentes, que eles ajudam a construir em uma eterna profecia autorrealizável. A flexibilidade que a lógica algorítmica pode acolher não é a da reflexividade, que nasce da incerteza sobre o próximo passo.
(…)
Estas três implicações nos conduzem a uma ordem nova de problemas. A primeira ordem questiona: se algoritmos são instituições e se os resultados deles derivados são de difícil compreensão e responsabilização, quais devem ser as formas de governança democrática dos algoritmos? O que não pode ser codificado? Quais os limites dessas decisões autônomas e automatizadas?
Como pensar formas públicas de regulação e gestão não apenas da produção algorítmica mas também de suas consequências? Como assegurar que a necessidade de construir soluções técnicas complexas não alimente uma sensação de que vivemos em um mundo mágico em que nada nem ninguém é passível de responsabilização? Como democratizar essas instituições que regem grande parte de nossa existência coletiva?
(…)
Leia o artigo na íntegra na Folha.
