Imagineu-vos un món on els algorismes artificialment intel·ligents prenen decisions que afectin la vostra vida quotidiana. Ara, imagina que són prejudicis.
Aquest és el món en què ja vivim, afirma el científic de dades, doctor Harvard i l'autora Cathy O'Neil. (Llegiu aquí la part de la nostra discussió amb el Dr. O'Neil). Ens vam assentar amb el candidat al Premi Nacional del Llibre per conèixer què podem fer sobre els prejudicis en l’era del big data. CT: Es perjudica l'AI?
CO: S'ha de suposar un prejudici sobre tot algoritme que no hagi estat justificat explícitament. Perquè com a persones, som prejudicis. Si ho reconeixem i creem aquests algoritmes amb els nostres valors i les nostres dades, no hauríem d’assumir que hagi passat cap cosa màgica per fer les coses justes. No hi ha màgia allà.
CT: d’on obtenen les dades els algoritmes?
CO: Depèn de l'algorisme. De vegades, les xarxes socials, per a coses com l’orientació al mercat polític, la publicitat o els col·legis sense ànim de lucre i els préstecs depredadors, però moltes dades no s’estan recollint a les xarxes socials, ni tan sols en línia.
La recollida de dades està cada vegada més relacionada amb la vida real, com obtenir feina, treballar a la feina, anar a la universitat o anar a la presó. Aquestes coses no són coses que podem evitar amb les lleis de privacitat. Són qüestions de poder, on les persones que tenen com a objectiu els algorismes no tenen poder, i les persones que recopilen la informació, creen i despleguen els algorismes tenen tot el poder. No teniu cap dret de privacitat si sou un acusat penal, no teniu cap dret de privadesa a la vostra feina i no teniu gaire dret en matèria de privadesa si sol·liciteu un treball perquè si no responen a les preguntes que li ha preguntat el teu futur ocupador, és probable que no aconsegueixis la feina.
Hauríem de pensar menys en la privadesa i més en el poder quan es tracta d’algorismes i del mal que poden causar.
CT: Què podem fer per millorar-lo?
CO: Podem reconèixer que aquests algoritmes no són inherentment perfectes i provar-los els seus defectes. Hauríem de tenir auditories i monitors en curs, especialment per a decisions importants com contractar, sentenciar penalment o avaluar a les persones que ocupen el seu lloc de treball - per assegurar-nos que els algoritmes actuen de la manera que desitgem, no d’una manera discriminatòria o injusta.
Ailsa Johnson / © Cultura de viatge
CT: Quins són els millors i pitjors casos per al futur basat en dades?
CO: El pitjor dels casos és el que tenim ara, que tots esperem cegament que els algoritmes siguin perfectes, tot i que ara ho hem de conèixer millor. I propagem injustícies i injustícies passades. I seguim ignorant els defectes d’aquests algoritmes.
El millor dels casos és que reconeixem que aquests algoritmes no són inherentment millors que els humans. Decidim què volem com a humans, què busquem. Com volem que la societat pareixi i ensenyem aquests valors. Si ho fem amb èxit, aquests algoritmes podrien ser millors que els humans.
CT: Quin paper pot jugar la gent quotidiana?
CO: El paper més important que pot jugar un individu és no confiar implícitament en cap algorisme. Tenir una enorme quantitat d’escepticisme. Si us avalueu en un algorisme, pregunteu "Com sé que és just, com sé que és útil, com sé que és exacte?" Quina és la taxa d’error? Per a qui falla aquest algorisme? Falla dones o minories? ” Feu aquest tipus de pregunta.
La segona cosa, més enllà de l’escepticisme, és que si creieu que un algorisme és injust per a vosaltres o per a altres persones és organitzar-vos amb aquesta altra gent. Un exemple recent són els professors. Els models estadístics sobre professors amb valor afegit són generadors de nombres terribles, gairebé aleatoris. Però solien decidir què havien de tenir els professors i quins professors havien de ser acomiadats a tots els Estats Units.
El meu suggeriment és que facin que la seva unió retrocedeixi. I això va passar en alguns llocs. Però és sorprenent la poca resistència que hi havia a causa de la naturalesa matemàtica del sistema de puntuació.
CT: Com vau arribar als “big data”?
CO: Vaig treballar a Wall Street i vaig ser testimoni de la crisi financera des de dins. Em va desgustar la forma en què les matemàtiques servien per aprofitar la gent o per enganyar la gent. Vaig veure el tipus de dany que podria derivar de mentides matemàtiques, el que jo anomeno "l'armaització de les matemàtiques".
Vaig decidir apartar-me, així que em vaig incorporar a Occupy Wall Street i vaig començar a treballar com a científic en dades. Lentament em vaig adonar que estàvem veient un discrecionalitat errònia i enganyosa al voltant d'algorismes de dades enganyoses que passaven a fora de Wall Street i que això comportaria molts danys. La diferència era que, mentre que la gent de tot el món es va adonar de la crisi financera, no pensava que la gent notaria els fracassos d’aquests algoritmes de dades grans, ja que solen passar a nivell individual.
Llegiu aquí la part de la nostra discussió amb el Dr. O'Neil. El llibre de la Dra. Cathy O'Neil, The Weapons of Math Destruction: How Big Data Augmenta la desigualtat i amenaça la democràcia, ja està disponible ara.
