El biaix algorítmic és una tendència sistemàtica en sistemes informàtics que produeix resultats injustos o discriminatoris envers determinats grups de persones.Mehrabi, N. et al. (2021). "A survey on bias and fairness in machine learning". ACM Computing Surveys. Aquest fenomen pot aparèixer tant de manera intencionada com no intencionada, i sovint reflecteix desigualtats socials, culturals o institucionals presents en les dades o en el context en què s’han desenvolupat els algoritmes.Friedman, B.; Nissenbaum, H. (1996). "Bias in Computer Systems". ACM Transactions on Information Systems.
Els algoritmes són conjunts d’instruccions que permeten processar dades per generar resultats o prendre decisions, i constitueixen la base de tecnologies com els motors de cerca, les xarxes socials, els sistemes de recomanació i molts altres serveis digitals.Cormen, T. et al. (2009). Introduction to Algorithms. MIT Press. Quan aquests sistemes es basen en dades esbiaixades o en criteris inadequats, poden reproduir o amplificar discriminacions existents en la societat.Kitchin, R. (2017). "Thinking critically about and researching algorithms". Information, Communication & Society.
Història Les primeres reflexions sobre el biaix en sistemes informàtics es remunten a la dècada de 1970, quan investigadors com Joseph Weizenbaum van advertir que els programes informàtics podien reflectir les decisions i suposicions dels seus creadors.Weizenbaum, J. (1976). Computer Power and Human Reason. W.H. Freeman. En aquell moment, ja es plantejava que els sistemes automatitzats no eren neutres, sinó que incorporaven valors humans.
Amb l’arribada de l’aprenentatge automàtic i el big data, el problema del biaix algorítmic ha esdevingut més rellevant, ja que els sistemes actuals poden analitzar grans volums de dades i influir en decisions a gran escala.O'Neil, C. (2016). Weapons of Math Destruction. Crown Publishing.
Causes El biaix algorítmic pot originar-se en diferents fases del desenvolupament d’un sistema:
Recollida de dades Les dades utilitzades per entrenar algoritmes poden no ser representatives de tota la població, fet que genera desequilibris.Suresh, H.; Guttag, J. (2021).
Disseny del sistema Les decisions humanes sobre quines variables incloure o com ponderar-les poden introduir biaixos.Barocas, S.; Selbst, A. (2016).
Ús i context Els algoritmes poden ser utilitzats en contextos diferents dels previstos inicialment, cosa que pot provocar resultats inesperats o discriminatoris.
Tipus de biaix Diversos estudis han classificat diferents tipus de biaix:
Biaix històric: reflecteix desigualtats existents en la societat. Biaix de representació: manca de diversitat en les dades. Biaix de mesura: errors en la forma de recollir o interpretar dades. Biaix algorítmic: derivat de decisions tècniques del model.
Mehrabi, N. et al. (2021).
Biaix en aprenentatge automàtic En sistemes d’aprenentatge automàtic, el biaix es pot manifestar com diferències de rendiment entre grups demogràfics. Això pot provocar que determinats col·lectius rebin resultats menys precisos o desfavorables.
Impacte El biaix algorítmic pot tenir conseqüències importants en diversos àmbits:
Justícia penal Algoritmes utilitzats per predir la reincidència poden mostrar diferències entre grups racials.Angwin, J. et al. (2016). ProPublica.
Sanitat Alguns sistemes han mostrat biaixos en l’assignació de recursos mèdics.Obermeyer, Z. et al. (2019).
Mercat laboral Sistemes de selecció automatitzada poden discriminar determinats perfils.Reuters (2018). Amazon recruiting tool.
Tecnologia i internet Els motors de cerca i xarxes socials poden reforçar estereotips o desigualtats.
Un cas destacat és el dels sistemes de reconeixement facial, que han mostrat taxes d’error més elevades en dones i persones amb tons de pell foscos.Buolamwini, J.; Gebru, T. (2018).
Problemes i limitacions Un dels principals reptes és la manca de transparència, ja que molts algoritmes són propietaris i difícils d’analitzar.Diakopoulos, N. (2015). A més, la complexitat dels sistemes dificulta la seva comprensió fins i tot per als seus creadors.
Solucions Diverses estratègies han estat proposades per reduir el biaix:
Tècniques Millora de la qualitat de les dades Auditories d’algoritmes Intel·ligència artificial explicable
Socials Diversitat en equips tecnològics Supervisió humana
Reguladores La Unió Europea ha implementat mesures com el Reglament General de Protecció de Dades (GDPR), que estableix limitacions a la presa de decisions automatitzades.European Union (2018).
Regulació A més del GDPR, s’han desenvolupat noves iniciatives com la legislació europea sobre intel·ligència artificial, orientada a garantir l’ús responsable d’aquestes tecnologies.
Vegeu també Intel·ligència artificial Aprenentatge automàtic Ètica de la intel·ligència artificial Reconeixement facial
Referències
Categoria:Aprenentatge automàtic Categoria:Discriminació