Kronik. Dømmekraften og det moralske ansvar hviler på menneskene – ikke på de digitale systemer.

Uansvarlige algoritmer

 

Af Brian Due og Jesper Højberg Christensen

I en tidsalder med en dataeksplosion og smarte algoritmers accelererende udvikling, er dataetik vigtigere end nogensinde. Enhver mellem- og topleder i enhver organisation er i dag nødt til at kunne forklare brugen af data og smarte algoritmer. Kan du det? Det er ikke let, for de etiske dilemmaer står stadig i kø for alle, der vil arbejde mere datainformeret. Private, offentlige og ngo-organisationer er berørt af spørgsmål af typen:

Hvorfor skal jeg ansætte en medarbejder, hvis min dataanalyse kan afsløre, at hun nok snart melder sig syg? Hvorfor spilde en uddannelse eller efteruddannelse på en person, der med høj sandsynlighed ikke gennemfører – ifølge algoritmens forudsigelser? Hvorfor igangsætte en dyr behandling af en patient, når sandsynligheden for, at hun snart dør, er meget stor – som big dataanalysen viser? Hvorfor rådgive min kunde til investering i en forening, hvor jeg via datainformerede dashboards kan se, at den ikke performer? Hvorfor ikke slippe en fængslet fri, når data viser, at hans type netop ikke gentager forbrydelsen?

Data om adfærd virker fristende objektive til at træffe afgørelser ud fra. Det sparer både besvær og udgifter, tror man. Og det kan være rigtigt, men er i sig selv også datadeterminisme, som Silicon Valley-profeter fremturer med. Her er menneskelig refleksion og dømmekraft overladt til de langt klogere maskiner. »The end of theory«, som et slogan lyder, hvormed man mener, at med nok data kan man forudsige alt helt præcist. Det er både dumt, naivt og ikke mindst etisk problematisk.

I sig selv er data ikke et nyt fænomen. Selv de såkaldt primitive mennesker samlede data om deres byttedyr via fodaftryk, dyrenes adfærd osv. Digitale data er heller ikke nyt. I 2002, for 17 år siden, var der mere digital data end analog data til stede i verden. Det nye er en kombination af, at algoritmerne nu gør det muligt hurtigt at omsætte store mængder forskelligartet data til indsigter, og at hypen samtidig får rigtig mange til faktisk at implementere software-robotter med beslutningskraft.

Læs også om Roger McNamee, der var mentor for Mark Zuckerberg, men nu har vendt sig mod sit livs investering: »Alle tiders monster«

For kort tid siden havde alt stadig en Silicon Valley-halleluja-stemning over sig. Regeringen nedsatte et disruptionråd med støtte fra profeterne fra Singularity University. I dag er det på høje tid at få etikken sat allerforrest den datainformerede økonomi. For alle vil snart helt naturligt opsamle og udnytte data om kunder og borgere via radikalt flere interne og eksterne kilder og tværgående datasæt. I sig selv ikke et problem, ligesom indsamling af dyrenes fodspor heller ikke var et dataproblem i sig selv. Men hvad anvendes data til? Anvendes det til at lokalisere og skyde en enkelt bisonokse, eller udrydder man hele bestanden? Fordi man kan, er det ikke sikkert, man skal.

Samlet set kan man i dag skabe nærmest totaldækkende brugerprofiler og dermed iværksætte automatiserede påvirkninger i skalaer og med en præcision, som aldrig før set. Hvis du træder ind foran et overvågningskamera, kan vi ansigtsgenkende dig og finde dine købspræferencer. Hvis du møder op til et lokalt vælgermøde, kan vi på dine likes og brugerprofil på Facebook identificere, om du er svingvælger fra Venstre eller Socialdemokratiet. Hvis du skal have godkendt et lån i banken eller få udbetalt penge fra forsikringen, kan vi afdække helt præcist, om du er til at stole på. Maskinen fodres med data. Vi forstår aldrig dilemmaerne. For algoritmen træffer bare en beslutning, der effektueres.

Men dilemmaerne findes jo stadig. Tag bare eksemplet med de selvkørende biler. Her er man ved at flytte dømmekraften fra et menneske til et system og lade algoritmen være den nye etiske agent. Er det for eksempel chaufføren eller personen i vejkanten, der skal overleve et uheld, hvis der ikke er andre udveje? Hvad skal algoritmen bestemme sig for at gøre ud fra det datainput, den får?

Valget mellem at gøre A eller B, når en bil kommer kørende, kan sættes på matematisk formel, men man kan ikke indbygge moralske nuancer og refleksion i algoritmen. Den skal dog stadig kunne træffe beslutninger i svære etiske situationer. På den måde tvinger de nye teknologier os også til at genoverveje klassiske etiske udfordringer, som vi tidligere har kunnet lade henstå til praktiske, ureflekterede og hurtige beslutninger i faktiske situationer. Kort sagt: dømmekraften.

De samme etiske overvejelser gælder alle former for nye intelligente software-systemer, for eksempel IoT, blockchain-løsninger, chatbots, kunstige SoMe-profiler og software-robotter. Der findes allerede gruopvækkende eksempler på kunstig intelligens, der opførte sig umoralsk. For eksempel Microsofts Twitter-profil Tay, der på 24 timer gik fra at være venlig til at være en hadsk racist, fordi den blev bombarderet med den type information af ekstreme grupperinger og lærte derfra. Et andet studie har vist, at Googles intelligente reklame-algoritme (AdSense) har en tendens til ikke at vise højindkomstjobs til kvinder. Et tredje studie viser, at Amazons dag-til-dag-levering, der blandt andet træffer beslutning ud fra en risikovurdering, ikke leverer til ghettoområder, hvor der kun bor sorte mennesker. Et fjerde studie har vist, at risikovurderingssoftware, der anvendes i det amerikanske retssystem til at vurdere, hvor sandsynligt det er, at en fængselsindsat begår kriminalitet igen, kun har ret i 61 procent af tilfældene, og at en sort kvinde med en let forseelse har langt større risiko for at blive fanget af systemet end en hårdkogt kriminel hvid mand.

I alle tilfælde kan man argumentere for, at beslutningerne er rationelle set ud fra en statistisk kalkule, men også samtidig til tider forkerte, diskriminerende, usympatiske, amoralske og vanskelige at forklare ud fra andet end den kunstige intelligens’ selvlærende algoritme. Dataisterne – dvs. dem, der nærmest religiøst tror, vi kan og skal alt med data – ignorerer det mest basale spørgsmål: nemlig at maskinerne ikke kan gøre det bedre, end det datainput de får, og de regler, de opererer efter. Bias, fejl, i data bliver reproduceret i beslutninger. Der sker ingen automatisk korrigering ud fra en reflekterende robotdømmekraft. For den findes ikke.

Læs også om Analogiseringsstyrelsen, der har et alvorligt budskab til den teknologi-fikserede offentlige sektor: »Digitalismens sidste dage«

Selvom de grelle eksempler fra Silicon Valley og omegn på mange måder er langt væk fra vores hverdag, så er spørgsmålet også helt lavpraktisk til stede i almindelige danske virksomheder. For alle spørger sig selv og sine rådgivere, hvordan de kan udnytte data i lige præcis deres digitale transformation. Men de kunne også spørge Heidegger eller Arendt.

Filosoffen Heidegger beskriver i sit værk om Spørgsmålet om teknikken, hvordan teknologi i sin essens blot er et middel for menneskelige mål, og han introducerer det fantastiske begreb om bestand – på engelsk: standing-reserve. Den datainformerede algoritmiske automatisering kan her danne dystopiske billeder om mennesket som instrumentel ressource, der passivt ser til som reserve, mens software-robotten træffer beslutninger.

Ikke mere opløftende bliver det, hvis vi kigger til Hannah Arendt, en anden tysk filosof, der fremhævede, at det forkerte sjældent er intentionelt ondt, men banalt, dumt og først og fremmest udtryk for ignorance, manglende refleksion og stillingtagen. Ondskabens banalitet, som hun beskriver, opstår med massesamfundet, bureaukratiseringen og anonymiteten, der følger med det moderne, og den kan accelerere i ekstrem grad, når teknologiske systemer og databehandlingssystemer varetager handlinger og beslutninger, helt uden at mennesker har truffet velovervejede beslutninger. Den fare ligger snublende nær i det radikalt digitaliserede samfund, hvis I bare overlader al magten til udviklerne uden også at implementere etik i beslutningsprocesserne.

Det kan koges ned til nogle enkelte spørgsmål, enhver leder og medarbejder må gå i dialog om som en indlejret del af snakken i innovation-hubs/-labs, SPRINT-sessions, ledelsesmøder, design- og kreative forløb og hackathons, der udgør det konkrete arbejde med dataanalyse og udnyttelse af algoritmer: Hvilken teknologisk og datadrevet udvikling er jeg/vi en del af og reelt implicit eller eksplicit medvirkende til? Kan jeg moralsk forsvare min/vores rolle i denne udvikling til enhver tid og over for alle? Kan jeg/vi moralsk set stå inde for de konsekvenser, vores teknologi og dataanvendelse har på mennesker?

Organisationer skal selvfølgelig afsøge og høste de fordele, ny teknologi og data giver for bedre produkter og bedre services. Men når teknologiudviklingen accelererer, og forretningsmulighederne vokser, er det let at forskyde den moralske overvejelse til systemet eller de andre. Et moralsk digitalt mindset må indbygges som en konstant kritisk dømmekraft i fag, professioner og kulturer; som helt konkrete spørgsmål, hver enkelt medarbejder og leder må tage med til udviklings- og beslutningsbordet.

Man kan nærmest alt, og man må meget inden for rammen af GDPR-reguleringen. Men det er næppe klogt i en dansk kontekst – hverken moralsk eller forretningsmæssigt – ukritisk at gøre alt det, amerikanere og kinesere henholdsvis kan og gør med de nye teknologier og data. For den ansvarlige algoritme findes ikke. Dømmekraften og det moralske ansvar hviler på menneskene. Ikke på systemet.

Brian Due, ph.d. er lektor i kommunikation på KU. Jesper Højberg Christensen er direktør i Nextwork. De er begge aktuelle med bogen »Langt fra Silicon Valley. Digital transformation i danske virksomheder«.

Dette er en kronik og udtrykker derfor alene skribentens holdning. De kan indsende forslag til kronik på opinion@weekendavisen.dk.

 

Læs også om, at få personer former den digitale revolution som Masayoshi Son: »Det japanske orakel«