Inventering av kunskapsläget för etiska, sociala och rättsliga utmaningar med artificiell intelligens

HÅLLBAR AI

Stefan Larsson, Lunds universitet, ForesMikael Anneroth, Ericsson Research

Anna Felländer, AI Sustainability CenterLi Felländer-Tsai, Karolinska institutetFredrik Heintz, Linköpings universitet

Rebecka Cedering Ångström, Ericsson Research

Bibliometriska analyser av Fredrik Åström, Lunds universitet.

Detta är en rapport baserad på det Vinnovafinansierade projektet

Hållbar AI – AI Ethics and Sustainability, lett av Anna Felländer.

HÅLLBAR AI

Inventering av kunskapsläget för etiska, sociala och rättsliga utmaningar med artificiell intelligens

Stefan Larsson, Lunds universitet, ForesMikael Anneroth, Ericsson ResearchAnna Felländer, AI Sustainability CenterLi Felländer-Tsai, Karolinska institutetFredrik Heintz, Linköpings universitetRebecka Cedering Ångström, Ericsson Research

AI Sustainability Center, 2019

Rapporten är fritt tillgänglig för spridning med de förbehåll som ryms inom Creative Commonslicensen Erkännande-Icke-Kommersiell-Inga Bearbetningar 4.0 Internationell.

I N N E H Å L L S F Ö RT E C K N I N G 

ai sustainability center är en multidisciplinär ’practice-thank’ som sam-lar aktörer från näringslivet, offentlig sektor och icke-statliga organisationer samt experter från olika akademiska discipliner, för att tillsammans identi-fiera, utvärdera och hantera de etiska implikationerna av AI.

ai sustainability center är grundat av Elaine Weidman Grunewald och Anna Felländer, 2018. Det har skapats för att innovationer inom ny tek-nologi ska kunna utvecklas på ett hållbart sätt. Centrets vision är att ett nytt och rättvist förhållningssätt till data, AI och framtidens teknologier är möjligt; ett förhållningssätt som tar hänsyn till både dess positiva och potentiellt negativa påverkan på individer och samhället på samma nivå som kommersiella fördelar eller andra effektivitetsvinster.

Innehållsförteckning

Rekommendationer V

Sammanfattning VI

Introduktion: Hållbar AI VII

Syfte: Inventering av kunskapsläget för hållbar AI VIII

Upplägg VIII

I Kartläggning av AI och ETIK 10

1. Bias och partiskhet 12

2. Ansvar: Erkännande och fördelning 15

3. Missbruk och illvillig användning 17

4. Transparens och förklarbarhet 20

II Bibliometrisk litteraturstudie 24

Metod 24

Litteratur om hållbar AI 26

Forskningsfält 27

Summering av bibliometrisk analys 32

III Områdesfördjupningar 33

Medicin: Utmaningar i framtidens sjukvård 33

Telekom 37

Digitala plattformar 39

Bilaga 1 42

I N N E H Å L L S F Ö RT E C K N I N G  V

Rekommendationer

1. regleringsfrågorna kring artificiell intelligens (ai) är många. Det är brådskande att en mer fokuserad ansats till dessa tas. Det gäller både etiska ramverk såväl som tolkning av rådande regleringar för del-vis nya praktiker. Även tillsynsmyndigheter behöver stimuleras och utbil-das för att kunna hålla jämna steg med teknik- och metodutvecklingen och hantera AI som marknadstillämpad teknologi.

2. flervetenskap och tvärvetenskap kring samhällstillämpad ai behövs för att nå mer kunskap om utmaningarna. Det gäller bland annat bias, ansvarsfördelning och vilken grad av transparens som är önskvärd för vilken kontext eller användning. AI:s komplexa uppbygg-nad och dess implikationer för samhället kräver en djup förståelse inom olika vetenskapliga discipliner inom såväl teknikvetenskap, sam-hällsvetenskap, medicin som humaniora. Således kräver forskning inom hållbar AI samarbeten både inom akademin samt mellan aka-demi, industri och offentlig sektor.

3. tillitsfrågan är central om vi vill uppfylla de löften och värden AI kan medföra i sektorer som handel, finans och vård i termer av indi-vidualisering, effektivisering och prognostisering.  Kunskapen kring samhällelig bias och relationen mellan förklarbarhet/transparens och ansvarsfrågor är nyckelfrågor för tillit.

I N N E H Å L L S F Ö RT E C K N I N G  V I

Sammanfattning

att artificiell intelligens (ai) och den snabba utvecklingen inom maskininlärning kommer med enorma löften är idag vedertaget. Men frågan om huruvida dess värden kommer att kunna realiseras på ett håll-bart sätt är mer osäker. Denna rapport landar i bedömningen att etiska, sociala, och rättsliga dimensioner inte i tillräcklig utsträckning har inte-grerats och testats i forskning, utformning och implementering av AI-system. Det leder till oavsiktliga negativa konsekvenser och risker när AI används i samhället.

Vi har fokuserat fyra problemområden: 1. bias och partiskhet; 2. ansvar: erkännande och fördelning; 3. missbruk och illvillig användning; 4. trans-parens och förklarbarhet. Genom att inventera kunskapsläget på områ-det för etiska, sociala och rättsliga utmaningar med artificiell intelligens och maskininlärning, identifierar denna rapport vilken typ av kunskap som det behövs mer studier för att ta fram. Rapporten pekar därmed på behovet av en multidisciplinär och tvärvetenskaplig approach till forsk-ning på området för att på så vis möjliggöra en hållbar utveckling av AI:s möjligheter. Detta gör man i rapporten genom 1. en bred kartläggning av rapporter och studier som publicerats på området för etik och hållbar AI; 2. en kvantitativ och bibliometrisk analys av publikationer i det kombine-rade området AI och etik; och 3. områdesfördjupningar inom vård och hälsa, telekom och digitala plattformar.

Denna kunskapsöversikt är en del av det Vinnovafinansierade projektet Hållbar AI – AI Ethics and Sustainability, som bland annat syftar till att samla ett multidisciplinärt konsortium av relevanta aktörer inom akademi och näringsliv för att identifiera de oavsiktliga negativa konsekvenserna av AI.

I N N E H Å L L S F Ö RT E C K N I N G  V I I

Introduktion: Hållbar AI

den här kunskapsöversikten har genomförts i det Vinnova finans-ierade projektet Hållbar AI – AI Ethics and Sustainability – som letts av Anna Felländer. Projektet är en del av programmet för utmaningsdriven innovation (UDI), som initieringsprojekt i steg 1. Den utmaning vi tecknat i projektet består i att etiska, sociala, samhällsekonomiska och rättsliga dimensioner inte i tillräcklig utsträckning har integrerats och testats i forskning, utformning och implementering av AI-system. Det riskerar att leda till oavsiktliga negativa etiska och samhällsekonomiska konsekven-ser när artificiell intelligens (AI) och maskininlärning används i samhäl-let, på exempelvis konsumentmarknader. För att möta den utmaningen är visionen att bygga tvärvetenskaplig kompetens för att ge organisationer verktyg för att uppfylla en viss standard med en certifiering. På så sätt kan utvecklingen av AI:s möjligheter ske på ett mer hållbart sätt.

Projektet samlade i ett första steg ett multidisciplinärt konsortium av relevanta aktörer inom akademi och näringsliv för att identifiera de oav-siktliga negativa konsekvenserna av AI. Exempelvis kan det handla om att historiska fördomar förstärks genom så kallade bias. Det kan även handla om att AI inte har tränats tillräckligt mycket eller att det finns en låg förståelse och insikt i hur algoritmen verkar på föränderlig data. Vidare ligger ibland de etiska värderingarna i händerna på den personen / de personerna som formulerar algoritmen. I steg 2 och 3 utvecklas cen-tret med kompetens, testbäddar, piloter och andra aktiviteter. Ett mål är att skapa en standard eller certifiering för etisk hantering av data och AI i organisationer och myndigheter. Det första steget i projektet syftade även till att inventera forskning, initiativ och praktiska exempel på områ-det i Sverige och internationellt.

I N N E H Å L L S F Ö RT E C K N I N G  V I I I

Syfte: Inventering av kunskapsläget för hållbar AI

syftet med denna rapport är att inventera kunskapsläget på området för etiska, sociala och rättsliga utmaningar med artificiell intelligens och maskininlärning. Orsaken till detta ligger i ett identifierat behov av att utveckla en innovation som erbjuder sätt att hantera dessa utmaningar och sortera vilken typ av kunskap som behöver mer studier.

Upplägg

kunskapen kring ai utifrån ett perspektiv kring etiska, sociala och rätts-liga konsekvenser är splittrad, både över vetenskapliga discipliner, men även över publikationstyper. Eftersom kunskapsfältet är nytt och under tillväxt kan man konstatera att det pågår en slags konceptuell utveckling i fältet, som ofta tar sig uttryck i rapportform och white papers snarare än i peer-review-granskade tidskrifter och konferenser. Det gör också att vi på det här området har behövt ta ett tämligen brett grepp i vår inventering. Vår uppdelning sker framförallt utefter följande tre publikationstyper:

Ɲ Rapporter, policies och konceptuella arbeten Ɲ Peer review-granskade artiklar, generellt Ɲ Bibliometrisk litteraturstudie baserad på Web of Science (WoS)

i del 1 gör vi en bred kartläggning av den flora av rapporter och stu-dier som publicerats på området för etik och hållbar AI. Dessa finns i granskade vetenskapliga tidskrifter och konferenser men också påfallande ofta i rapporter från expertgrupper, forskningsinstitut och regeringsorgan. Sistnämnda är ett tecken på den starka tillväxt och praktiska förankring som dessa frågor har kommit att få över de senaste 3 till 5 åren, vilket också indikeras av den bibliometriska ana-lys vi genomfört i del 2. Vi delar in del 1 i fyra helt centrala men långt ifrån uttömmande grupperingar:

I N N E H Å L L S F Ö RT E C K N I N G  I X

1. Bias och partiskhet;2. Ansvar: erkännande och fördelning; 3. Missbruk och illvillig användning; och4. Transparens och förklarbarhet. i del 2 gör vi en kvantitativ och bibliometrisk analys av publikationer i det kombinerade området AI, i vid mening, och etik, i vid mening. Här handlar det framförallt om engelskspråkig och vetenskapligt granskad litteratur.

i del 3 gör vi tre områdesfördjupningar i syfte att påvisa några av de praktiska implikationerna – både möjligheter och utmaningar – som branscher och fokusområden står inför. Vi fokuserar på följande tre områden:

1. Medicin: Vård och hälsa; 2. Telekom; och3. Digitala plattformar. Sistnämnda är möjligen en mindre etablerad kategori än övriga två, men här drar vi från insikter från samhällsvetenskaplig forskning kring sam-hällsrelevansen av den datadrivna organisationslogik som digitala platt-formar står för.1 Givet storskalighet och vår vardagliga användning av dessa tjänster är också användningen av AI helt central för att moderera och styra användandet på plattformarna.

1 Se här exempelvis Andersson Schwarz, J. & Larsson, S. (red. 2019) Plattformssamhället. Den digitala utvecklingens politik, innovation och reglering. Stockholm: Fores.

I N N E H Å L L S F Ö RT E C K N I N G  1 0

I

Kartläggning av AI och ETIK

många företag och organisationer jobbar aktivt med att adressera de utmaningar vi tecknar i detta dokument. Ett par av dem har även utåt kommunicerat sina ställningstagande och hur de ser på möjligheterna att förhindra oavsiktliga negativa konsekvenser av system och teknik baserade på artificiell intelligens (AI). Dessa företag inbegriper tek-nikföretag såsom IBM2, Microsoft3 och Google4. Även den Europeiska Unionen (EU) har initierat studier5 och publicerat rapporter67 som bely-ser vikten av att definiera policys kring hur vi ska adressera de etiska utmaningar som finns med autonoma system och AI. Vidare ser vi ett antal större bransch- och standardiseringsorganisationer samt forsk-ningsinstitut som jobbar med frågan. Här kan nämnas IEEE8, ITU9,

2 https://www.ibm.com/blogs/policy/trust-principles 3 https://www.microsoft.com/en-us/ai/our-approach-to-ai4 https://www.blog.google/technology/ai/ai-principles/ 5 http://europa.eu/rapid/press-release_IP-18-3362_en.htm 6 http://publications.jrc.ec.europa.eu/repository/bitstream/JRC113826/ai-flagship-report_

online.pdf 7 http://ec.europa.eu/research/ege/pdf/ege_ai_statement_2018.pdf 8 https://standards.ieee.org/industry-connections/ec/autonomous-systems.html 9 https://www.itu.int/en/ITU-T/AI/Pages/ai-repository.aspx

I N N E H Å L L S F Ö RT E C K N I N G  1 1

I . K A RT l Ä g g n I n g AV A I O C H E T I K

ACM10, ANE11 och AI Now12. Gemensamt för de studier som publicerats är att de med exempel belyser behovet av vidare forskning inom områ-det. I vissa fall finns även rekommendationer för vad man bör efter-sträva och genomföra i utvecklingen och användandet av tekniken för att om möjligt minimera risken för negativa konsekvenser. några över-gripande standarder eller gemensamma riktlinjer för detta finns dock inte antagna idag.

Vidare kan nämnas att IEEE (Institute of Electrical and Electronics Engineers) har startat ett program för att ta fram en etisk certifiering av autonoma och intelligenta system (ECPAIS13). Programmet syftar till att arbeta med områden såsom transparens, accountability och minimering av algoritmisk bias. Det finns även exempel på konceptuella approacher för “AI for good”14 eller upprop i stil med The Montreal Declaration for a responsible development of artificial intelligence.15

EU-kommissionens High-level Expert group on Artificial Intelligence (AI HlEg) har tagit fram ett utkast på etiska principer (som publicerades 18 december 2018). Dessa är på remiss och konsultation och ska slutgiltigt publiceras i mars 2019.16 En av våra projektmedlemmar, Fredrik Heintz, är medlem i denna europeiska expertgrupp.

När det gäller data- och algoritmdrivna system och eventuella samhäll-simplikationer av applicerad AI finns det en växande kunskapsmassa i forskningslitteraturen om betydelsen av legitimitet, ansvarsfördelning och transparens. Med engelskspråkig terminologi finns det ett relativt nytt fält formulerat kring Fairness, Accountability och Transparency som

10 https://www.acm.org/code -of-ethics11 https://ipaper.ipapercms.dk/IDA/ane/report/#/12 https://ainowinstitute.org13 https://standards.ieee.org/industry-connections/ecpais.html 14 AI4People—An Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and

Recommendations https://link.springer.com/article/10.1007/s11023-018-9482-5 15 Montreal declaration responsible AI. https://www.montrealdeclaration-responsibleai.

com/the-declaration?fbclid=IwAR0CjnOAlx0flYgpAqxq2gy05xgPka7YoonlhTjTEe5-qgMnRtl0oBn9EOo

16 https://ec.europa.eu/digital-single-market/en/news/draft-ethics-guidelines-trustworthy-ai

I N N E H Å L L S F Ö RT E C K N I N G  1 2

H Å L L B A R A I

förkortas FAT. Med FAT poängteras att algoritmiska system används i ett antal sammanhang som med hjälp av stora datamängder (Big Data), fil-trerar, sorterar, betygsätter, rekommenderar, ”personifierar” och på andra sätt formar mänskliga erfarenheter och förhållanden. Även om dessa system ger många fördelar, har de också inneboende risker, såsom kodi-fiering och förstärkande av samhällelig bias, reducerad ansvarsskyldig-het och ökad informationsasymmetri mellan dataproducenter (kunder) och datainnehavare.17

I det följande fokuserar vi på fyra kategorier som vi ser som centrala kom-ponenter för att tackla de utmaningar som hållbar AI står inför: bias och partiskhet, ansvar, missbruk samt transparens.

1. Bias och partiskhet

det finns en rad uppmärksammade exempel där samhällelig bias utan intention har reproducerats eller automatiserat förstärkts av AI-system, vilket ofta krävt rigorösa studier för att ens uppmärksammas. Att upp-täcka reproducerad och rentav förstärkt samhällelig bias är inte alltid en enkel sak, vilket hänger ihop med komplexiteterna runt transparensfrå-gan, vilket vi återkommer till nedan.

Det finns forskargrupper som har studerat och upptäckt automatiserade annonsfördelningsverktyg som innehöll en könsbias som oftare fördelade högavlönade jobberbjudanden till män än kvinnor.18 Andra har konstaterat att populära bilddatabaser innehåller genusbias, där kvinnor kopplades till köket och män till jakt, vilket ledde till en maskininlärande applikation

17 För en utvecklad rättssociologisk och rättsvetenskaplig analys av FAT-begreppet, se Larsson, S. (2019) “Artificiell intelligens som normativ samhällsutmaning: partiskhet, ansvar och transparens”.

18 Datta, A., Tschantz, M.C., Datta, A. (2015). Automated Experiments on Ad Privacy Settings – A Tale of Opacity, Choice, and Discrimination. Proceedings on Privacy Enhancing Technologies. 1: 92–112, DOI: 10.1515/popets-2015-0007.

I N N E H Å L L S F Ö RT E C K N I N G  1 3

I . K A RT l Ä g g n I n g AV A I O C H E T I K

som inte bara reproducerade utan även förstärkte samma bias.19 I ett vida kritiserat amerikanskt exempel på algoritmstyrd myndighetsutövning med straffbestämning baserad på en prediktion av den åtalades recidivism, dvs. sannolikhet för återfall, visade den undersökande journalistiksajten ProPublica att det s.k. COMPAS-systemet var mer sannolikt att felaktigt förutsäga att svarta åtalade hade hög risk och samtidigt göra motsatt typ av misstag för vita åtalade.20 Fler liknande exempel finns att läsa i program-meraren Cathy O’neils (2017) omtalade Weapons of math destruction: How big data increases inequality and threatens democracy.

En vetenskaplig utvärdering av tre kommersiella könsbestämmande bil-digenkänningssystem visade att kvinnor med mörkare hy är den grupp med störst grad av felklassificering.21 Det betyder bland annat att dessa tjänster, och applikationer som bygger på dessa, fungerar sämre för vissa gruppers utseenden. Och felmarginalen är påtagligt mycket mindre för ljushyade män. I linje med detta har det uppmärksammats att en av de mer använda bilddatabaserna, Imagenet, som innehåller runt 14 miljo-ner annoterade bilder, har flest bilder från ett fåtal länder, som USA och Storbritannien. Detta får konsekvenser för maskininlärning gällande kul-turella uttryck, exempelvis vad som tolkas som en bröllopsklänning blir den vita typ som är vanlig i USA, medan indiska bröllopsklänningar kate-goriseras som “performance art” eller “costume”.22 På applikationsnivå kan den här typen av bias leda till att kamerafunktioner som att tipsa foto-grafen när den fotograferade blinkar är beroende av ett stereotypt manligt

19 Rapporterades i tidningen Wired 21 augusti 2017: https://www.wired.com/story/machines-taught-by-photos-learn-a-sexist-view-of-women/ ; se studien: Zhao, J., Wang, T., Yatskar, M., Ordonez, V., & Chang, K. W. (2017). Men also like shopping: Reducing gender bias amplification using corpus-level constraints. arXiv preprint arXiv:1707.09457.

20 För analys, se Caplan, R., Donovan, J., Hanson, l. and Matthews, J. (2018). Algorithmic Accountability: A Primer, nYC: Data & Society; och larsson, S. (2019) “Artificiell intelligens som normativ samhällsutmaning: partiskhet, ansvar och transparens”. Studien genomfördes och rapporterades av den medborgarrättsligt drivna undersökande journalister vid ProPublica (23 maj 2016). https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

21 Buolamwini, J., & gebru, T. (2018). gender shades: Intersectional accuracy disparities in commercial gender classification. In Conference on Fairness, Accountability and Transparency (pp. 77-91).

22 Zou, J. & Schiebinger, l. (18 juli 2018). “AI can be sexist and racist — it’s time to make it fair”, Nature, comment. https://www.nature.com/articles/d41586-018-05707-8

I N N E H Å L L S F Ö RT E C K N I N G  1 4

H Å L L B A R A I

och ljushyat utseende. Kameran kan exempelvis tolka det som att asiater alltid blinkar.23

Att även sökmotorer, som i mycket är automatiserade och innehåller självlärande och därmed artificiellt intelligenta element, samspelar, repro-ducerar, och delvis är en produkt av samhällets sociala, historiska och kulturella strukturer demonstrerades nyligen med emfas av den ameri-kanska kommunikationsvetaren Safiya noble (2018) i boken Algorithms of Oppression: How search engines reinforce racism. Hon utvecklar en kritisk analys i termer av en ”teknologisk redlining” där dataanalysen dis-kriminerar vissa grupper på ett dolt sätt som sker strukturellt och oftast bara blir upptäckbart genom omfattande granskning i efterhand. En utmaning här tycks vara att relationen mellan samhällets inneboende strukturer och historik av både ojämställdhet och ojämlikhet – kommer att representeras i den data som lärande algoritmer tränas på. Om sam-hällelig bias finns i datan replikeras det i utfallet.

Rekrytering beskrivs ibland som ett särskilt problemområde gällande bias.24 Frågan kom upp igen i oktober 2018 i exemplet med Amazons utveckling av ett maskininlärningsbaserat verktyg för bedömning av kan-didater, som visade sig vara kraftigt partiskt åt att toppranka manliga sökande.25 Systemet lärde sig av detta att prioritera ansökningar som till stor del framhävde “manliga” egenskaper och nedvärdera ansökningar från t.ex. kvinnodominerade universitet. Exemplet visar på oförutsedda konsekvenser i maskininlärning där inlärningsmaterial omedvetet kan ge oönskade resultat i termer av bias.

Det finns exempel på innovationer som är inriktade på att motverka lik-nande bias, som det new York-baserade företaget Pymetrics, som erbjuder vad de kallar ”neuroscience games and bias-free AI to predicti-vely match people with jobs where they’ll perform at the highest levels”.

23 Zou, J. & Schiebinger, l. (18 juli 2018).24 https://www.forbes.com/sites/tomaspremuzic/2018/05/27/four-unethical-uses-of-ai-in-

recruitment/amp/25 https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-

secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCn1MK08g

I N N E H Å L L S F Ö RT E C K N I N G  1 5

I . K A RT l Ä g g n I n g AV A I O C H E T I K

Jobbmatchningen går ut på att rekryterande part låter ett högpresterande urval av sina anställda spela Pymetrics uppsättning av spel som bedö-mer saker som minne, känsloigenkänning, riskbenägenhet, rättvisepa-tos, och fokus.26 Pymetrics bestämmer vilka egenskaper som motsvarar hög prestanda för specifika roller i företaget. Arbetssökande får sedan gå igenom samma process, som bedöms av artificiell intelligens istället för människor, i syfte att undvika bias i uppfattandet av en persons namn, kön, hud, etnicitet, ålder och CV. Slutligen rekommenderar Pymetrics att rekryterande part anställer personer som har likartade kvaliteter med deras bästa anställda – på ”insidan”, men inte nödvändigtvis på ”utsidan”. Inte heller denna metod är rimligen utan utmaningar vad det gäller vilka värden som eftersträvas eller oväntade effekter, men den kan här verka som ett exempel på alternativa metoder.

Till viss del uppkommer bias i systemen inte bara från den träningsdata man använder utan även från preferenser och värderingar såväl hos de per-soner som utvecklar systemen som hos användaren av dem. Det sätt vi resonerar kring och upplever vår omgivning bygger på tidigare erfarenheter, upplevelser och även framtida mål. Vi får i och med det en subjektiv bild av vår omvärld som till viss del kan avvika från verkligheten och som inte all-tid är densamma som en annan persons upplevelse av samma händelse27. Kognition är ett stort forskningsfält och det har på senare år kommit stu-dier28 som knyter an till hur vår omvärldsuppfattning styr hur vi interagerar med och tolkar resultat från AI och maskininlärningsbaserade system.

2. Ansvar: Erkännande och fördelning

ansvarsfrågorna för gränsdragningar och oförutsedda effekter av användningen av AI i autonoma system är ett alltmer omdebatterat fält

26 https://www.pymetrics.com/about/27 https://www.edume.org/cognitive-bias/ 28 Kliegr, T., Bahník, Š., & Fürnkranz, J. (2018). A review of possible effects of cognitive biases on

interpretation of rule-based machine learning models. arXiv preprint arXiv:1804.02969. https://arxiv.org/pdf/1804.02969.pdf

I N N E H Å L L S F Ö RT E C K N I N G  1 6

H Å L L B A R A I

i nyhetsmedia och vi ser en växande mängd forskningslitteratur kring begrepp som algorithmic accountability och ansvarsfull AI. Ett algorit-miskt ansvarserkännande (”algorithmic accountability”), menar Caplan et al., i en rapport från forskningsinstitutet Data & Society,29 avser processen att fördela ansvar för skada när algoritmstyrt beslutsfattande resulterar i diskriminerande eller orättvisa konsekvenser.30 Ett sådant erkännande kan därmed också avse ansvaret för hur en algoritm skapas och dess inverkan och konsekvenser på samhället. Om skada uppstår innefattar ansvarsfulla system en mekanism för åtgärd.

En fråga som lyfts av rättsvetare som Larsson31 och Hildebrandt32 hand-lar om “tingens agens”, dvs. att de genom AI-utvecklingen i högre grad uppnår en autonomi och lärande föränderlighet, och denna autonomins koppling till frågor om rättvisa. Och, som Larsson konstaterar, uppstår det oundvikligen frågor kring tingens eller mjukvaruprocessernas agens när de är utrustade med förmågan att överblicka stora mängder information och lära från den, inte minst kopplat till automatiserat beslutsfattande.33

Ett område där frågan om ansvar har diskuterats flitigt är kring självkö-rande fordon. Ifall en olycka skulle inträffa, vem är det som bär ansvaret för den? Autonomin, som i datadrivna applikationer i mycket är avhängiga de algoritmer som designats för att utföra de funktioner som behövs, är ett fält som är helt centralt för förarlösa fordon, men som också väcker frågor i relation till ansvarsfrågor. Lagstiftning för utvecklingen inom självkörande fordon i trafik är under utveckling i Sverige (SOU 2018:16),34

29 Caplan, R., Donovan, J., Hanson, l. and Matthews, J. (2018). Algorithmic Accountability: A Primer, nYC: Data & Society.

30 Jfr. Diakopoulos, n. (2015). Algorithmic accountability: Journalistic investigation of computational power structures. Digital Journalism, 3(3), 398-415;

31 Larsson 2019. 32 Hildebrandt, M. (2015). Smart Technologies and the Ends of Law, UK & USA:

Edward Elgar Publishing.33 Larsson 2019, s. 351. 34 Den 1 juli 2017 fattade regeringen beslut om nya regler för självkörande fordon som gjorde

det lättare att få genomföra försök med självkörande fordon på allmänna vägar (förordning 2017:309, se SOU 2016:28). I förordningen regleras även att det vid färd med ett självkörande fordon ska finnas en fysisk förare i eller utanför fordonet. Den 7 mars 2018 lämnades slutbetänkandet i utredningen om självkörande fordon på väg över till regeringen (SOU 2018:16; se Dir 2015:114), där ansvarsfördelningsfrågor och dataskydd utgör en väsentlig del.

I N N E H Å L L S F Ö RT E C K N I N G  1 7

I . K A RT l Ä g g n I n g AV A I O C H E T I K

och där är ansvarsfrågorna helt centrala vid olyckor, vilket också har dis-kuterats i forskningslitteraturen en tid.35 Frågorna har aktualiserats inte minst i dödsolyckor med autonoma fordon inblandade, där blandningen av mjukvara, (säkerhets)förare, fordonets hårdvara och externa händel-ser fått bedömas och vägas. En Tesla modell S, som använder både radar och kameror för att tolka omgivningen, förväxlade i ett fall från 2016 en lastbil med himlen, vilket resulterade i en dödsolycka. I mars 2018 körde en bil, som Uber använder i sin utveckling av självkörande fordon, på och dödade en kvinna i Arizona i USA, vilket väckte omfattande debatt kring ansvarsfrågor och självkörande fordon i trafiken. Även om en jämförelse med förarstyrd trafik skulle ge att den autonoma är avsevärt säkrare så kommer ändå olyckorna påverka den tillit som behövs för att människor ska acceptera höggradigt autonoma fordon jämte sig i trafiken.

Ett par publicerade artiklar har tagit upp denna fråga och förespråkar någon form av en global, internationell myndighet som ska skapa det regelverk (lagar, policys) som behövs.36 Andra liknar frågeställningen med AI-system och ansvar med den som vi t.ex. har för mediciner inom hälso- och sjukvårdssektorn37. Ett sådant mer dynamiskt reglerande sys-tem tillåter olika algoritmer att efter test få verka i skarpa miljöer under uppsikt tills man vet att de har minimala “biverkningar”.

3. Missbruk och illvillig användning

en ökad medvetenhet för negativ och illvillig användning av AI har uttryckts som ett ansvar för design- och utvecklingssidan av en stor

35 Jfr. Hevelke A., & nida-Rümelin, J. (2015). Responsibility for Crashes of Autonomous Vehicles: An Ethical Analysis. Science and Engineering Ethics 21(3): 619–630.

36 Erdelyi, Olivia Johanna and goldsmith, Judy, Regulating Artificial Intelligence: Proposal for a global Solution (February 2, 2018). 2018 AAAI/ACM Conference on AI, Ethics, and Society (AIES ’18), February 2--3, 2018, new Orleans, lA, USA doi/10.1145/3278721.3278731. Available at SSRN: https://ssrn.com/abstract=3263992 http://www.aies-conference.com/wp-content/papers/main/AIES_2018_paper_13.pdf

37 London, A. J., & Danks, D. Regulating Autonomous Vehicles: A Policy Proposal. http://www.aies-conference.com/wp-content/papers/main/AIES_2018_paper_111.pdf

I N N E H Å L L S F Ö RT E C K N I N G  1 8

H Å L L B A R A I

samling forskare på området.38 Här kan autonoma vapen och Max Tegmarks m.fl. initiativ Lethal Autonomous Weapons Pledge näm-nas.39 Det finns dock en hotbild som är mindre extrem och inte nöd-vändigtvis explicit militariserad i sig, som tecknas av Brundage et al. Det handlar bl.a. om utvecklade varianter av cyberattacker som auto-matiserad hacking, och risken för distansövertagande av uppkopp-lade autonoma fordon, som därmed kan användas i fysiska attacker, till exempel för att styras in i folkmassor. Det inkluderar också politisk och polariserande användning av botnätverk för att påverka val, som inför Brexitomröstningen,40 eller för att skapa splittring i frågor, som vaccinationsdebatten i USA.41 Forskargruppen kring illvilliga (”malici-ous”) användningsområden för AI efterlyser i ett säkerhetsperspektiv en starkare kultur av ansvar hos AI-utvecklare för vad deras verktyg kan användas till, vilket framhäver vikten av utbildning, etiska standards och normer.42

En insikt här är också att en stor utmaning ligger i att samhällets inne-boende partiskhet och sociala bias kan blottläggas av lärande mjukvara och att designen i sig blir normativ. Svårigheten ligger då i ansvarsfrågan, både gällande vad verktygen kan komma att användas till men också som ett direkt uttryck för vilka värden autonom design egentligen repro-ducerar. Frågan har adresserats kring digitala plattformar,43 som med sökmotorer och sociala medier, när dessa inte bara riskerar att reprodu-cera mänsklighetens diskriminering, rasism och ojämlikhet, utan även förstärka dessa strukturer.

38 Brundage, M. et al. (2018) The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation. https://maliciousaireport.com.

39 https://futureoflife.org/lethal-autonomous-weapons-pledge/40 Bastos, M.T., & Mercea, D.(2017). The brexit botnet and user-generated hyperpartisan news.

Social Science Computer Review, https://doi.org/10.1177/0894439317 734157.41 Exv. Broniatowski, D.A. et al. (2018). Weaponized Health Communication: Twitter Bots and

Russian Trolls Amplify the Vaccine Debate, American Journal of Public Health, published online before print. DOI: 10.2105/AJPH.2018.304567

42 Brundage et al., 2018, s. 7.43 larsson, S. (2018) “Sju nyanser av transparens: Om artificiell intelligens och ansvaret

för digitala plattformars samhällspåverkan,” i Andersson Schwarz, J. & larsson, S. (red.) Plattformssamhället. Den digitala utvecklingens politik, innovation och reglering. Stockholm: Fores.

I N N E H Å L L S F Ö RT E C K N I N G  1 9

I . K A RT l Ä g g n I n g AV A I O C H E T I K

Det finns studier som visar på olika mjukvaror som kan användas för att försöka bryta s.k. filterbubblor, men där en insikt också är att även demo-krati är ett omtvistat koncept som drar i olika riktningar. En slutsats är att även de som designar behöver ha en god förståelse för detta.44

En del av ansvaret för att säkerställa att system inte har en, ofta oavsikt-lig, inbyggd bias kan läggas på den som utvecklar systemen. Mer oklart är hur man säkerställer att det inte finns bias och vem som har en kontroll-funktion i detta. Möjligheter att testa algoritmer för partiskhet finns doku-menterade och är väl utprovade45. Dock finns i USA en reglering CFAA (Computer Fraud and Abuse Act) som företag lutar sig mot för att förhin-dra denna typ av test. En studie46 diskuterar hur regleringen i detta fall bry-ter mot lagen i USA (där det finns ett antal stämningar relaterat till detta).

Ett problem ligger i att de metoder som är effektiva i att se om en algo-ritm är snedvriden (biased) åt något håll, ofta innebär att man definierar ett flertal olika alternativa (falska) profiler (användare) i systemet varifrån man sen kan identifiera ifall utfallet skiljer sig åt beroende på olika egen-skaper hos profilerna (kön, ålder, bostadsort etc.). En annan metod inne-bär att man upprepade gånger skickar samma förfrågan till systemet och ser ifall det blir någon skillnad på utfallet (s.k. “scraping”). Enligt CFAA är båda dessa metoder inte tillåtna då de använder systemet på ett felak-tigt sätt. Samtidigt förhindrar det möjligheten att effektivt testa algorit-merna för eventuell bias vilket i sin tur är något som ligger i allmänhetens intresse och i USA troligen bryter mot individens rättigheter enligt första tillägget i den amerikanska konstitutionen.

44 Bozdag, E., & van den Hoven, J. (2015). Breaking the filter bubble: democracy and design. Ethics and Information Technology, 17(4), 249-265.

45 Sandvig, C., Hamilton, K., Karahalios, K., & langbort, C. (2014). Auditing algorithms: Research methods for detecting discrimination on internet platforms. Data and discrimination: converting critical concerns into productive inquiry, 1-23. http://www-personal.umich.edu/~csandvig/research/Auditing%20Algorithms%20--%20Sandvig%20--%20ICA%202014%20Data%20and%20Discrimination%20Preconference.pdf

46 Patel, K. S. (2018). Testing the limits of the First Amendment: How Online Civil Rights Testing is Protected Speech Activity. Columbia Law Review, 118(5). https://columbialawreview.org/content/testing-the-limits-of-the-first-amendment-how-online-civil-rights-testing-is-protected-speech-activity/

I N N E H Å L L S F Ö RT E C K N I N G  2 0

H Å L L B A R A I

4. Transparens och förklarbarhet

tolkningsbar och förklarbar maskininlärning har varit ett fält i den inomvetenskapliga datavetenskapliga litteraturen ett tag, ibland kallat XAI, men en kritisk genomgång visar på behovet av att klassificera proble-men tydligare,47 inte minst i relation till den ökade praktiska betydelsen,48 och där även kunskap inom discipliner som socialpsykologi och kogni-tionsvetenskap skulle kunna bidra.49 Ett omvittnat problem för ansvars-frågor relaterade till algoritmdrivna processer är deras brist på transpa-rens, vilket ibland kallas för den svarta lådan, eller ”black-boxing”.50 En stor del av ansvarsfördelningsproblematiken handlar om hur man förstår vad som har hänt, vilket talar för vikten av att förstå relationen till trans-parens bättre gällande samhälls- och marknadsapplicerad AI, även om transparens inte kan ses som en lösning för alla problem.51

EU-kommissionen genomför en studie under 2018 och 2019 och ana-lyserar s.k. algoritmisk transparens för att öka medvetenheten och bygga en god kunskapsgrund för utmaningar och möjligheter för algo-ritmiska beslut:

Algorithmic transparency has emerged as an important safegu-ard for accountability and fairness in decision-making and for opening to scrutiny the way access to information is mediated online, especially on online platforms.52

47 guidotti, R., Monreale, A., Ruggieri, S., Turini, F., giannotti, F., & Pedreschi, D. (2018). A survey of methods for explaining black box models. ACM Computing Surveys (CSUR), 51(5): 93.

48 Biran, O., & Cotton, C. (2017). Explanation and justification in machine learning: A survey. In IJCAI-17 Workshop on Explainable AI (XAI).

49 Miller, T. (2019). Explanation in artificial intelligence: Insights from the social sciences. Artificial Intelligence. Vol 267: 1-38. https://doi.org/10.1016/j.artint.2018.07.007.

50 Jfr. Pasquale, F. (2015). The Black Box Society. The Secret Algorithms That Control Money and Information, Harvard University Press;

51 Ananny, M., & Crawford, K. (2018). Seeing without knowing: limitations of the transparency ideal and its application to algorithmic accountability. New Media & Society, 20(3), 973-989.

52 EU-kommissionen (25 april 2018). Algorithmic Awareness-Building. https://ec.europa.eu/digital-single-market/en/algorithmic-awareness-building

I N N E H Å L L S F Ö RT E C K N I N G  2 1

I . K A RT l Ä g g n I n g AV A I O C H E T I K

Det finns dock ett behov av att nyansera vad man avser med transparens när man uttrycker ett behov för det – för vem, på vilket sätt och i vilket syfte? Som nämnt, transparens är inte lösningen på alla problem, och det finns motstående intressen inom transparensfrågan, där full trans-parens rentav för vissa processer kan motverka en rättvisare bedömning eller undvikande av bias. Larsson delar in transparensutmaningarna med AI och maskininlärning i sju punkter, eller nyanser.53 En utmaning, från ett samhällsperspektiv, ligger i att balansera motstående intressen, där punkt 1 och 2 nedan representerar motverkande transparensintressen och 3 till 7 utgör varianter av kunskaps- och andra insynsutmaningar, inklusive det mer inomvetenskapliga XAI. Fler studier har även kommit att peka på behovet av samhällsvetenskapliga, psykologiska eller filosofiska komple-ment till den inomvetenskapliga AI-forskningen om förklarbarhet.54

1. ägande: att mjukvara och data är proprietär, t.ex. ett (för transparen-sen motstående) företagsintresse att inte visa upp hur de har löst ett visst problem, vilket kan bli fallet när en produkt kommersialise-ras och skalas upp på en marknad. För många företag är mjukvaran och dess algoritmer värdefulla ”recept” som betraktas som företags-hemligheter helt centrala för att stå sig väl på en konkurrensutsatt marknad.55

2. undvikande av missbruk (”gaming”): att transparens skulle mot-verka processens syfte och därmed kan missbrukas eller manipule-ras för att nå fördelar, som med trendingfunktionen hos Twitter, eller i fördelning av försörjningsstöd eller andra varianter av profilering eller betygssättande.56

3. kompetens och litteracitet: att det krävs en viss specifik

53 larsson, S. (2019). “Artificiell intelligens som normativ samhällsutmaning: partiskhet, ansvar och transparens” i Banakar, Dahlstrand & Ryberg-Welander (red.) Festskrift till Håkan Hydén. lund: Juristförlaget; larsson, S. (2018) “Sju nyanser av transparens: Om artificiell intelligens och ansvaret för digitala plattformars samhällspåverkan,” i Andersson Schwarz, J. & Larsson, S. (red.) Plattformssamhället. Den digitala utvecklingens politik, innovation och reglering. Stockholm: Fores.

54 Se exv. Mittelstadt, B., Russell, C., & Wachter, S. (2018). Explaining explanations in AI. arXiv preprint arXiv:1811.01439.

55 Se exv. Spiekermann, S., & Korunovska, J. (2016). Towards a value theory for personal data. Journal of Information Technology, 23(1): 62-84. doi:10.1057/jit.2016.4.

56 Se exv. Caplan et al. (2018).

I N N E H Å L L S F Ö RT E C K N I N G  2 2

H Å L L B A R A I

kompetens för att ens kunna bedöma algoritmer och deras dataan-vändning, förstå deras praktiska betydelse i en vardaglig kontext, vil-ket man kan kalla datalitteracitet eller algoritmlitteracitet.57

4. koncept, metaforer och terminologier: hur den komplexa AI-processen förklaras genom val av språk, metaforer och symboler, har direkta implikationer för hur den förstås, vilket i sin tur relaterar till acceptans och tillit.58

5. marknadskomplexitet: vilket kan ses som en kombination av pro-prietära upplägg och att de datadrivna marknaderna kan ses som komplexa ”ekosystem” där data mäklas och reser vidare mellan en rad aktörer. Detta inkluderar också det ofta kommersiellt motiverade upplägget med trackers, som tredjepartskakor och pixlar, dvs. det är ofta svårt att följa vart datan tar vägen.59

6. distribuerat, individualiserat utfall: kan bli utfallet av konsu-mentprofilerande tjänster som vill ”personalisera” sin affär, sin pris-sättning eller marknadsföring – vilket rimligen utmanar inte minst tillsynsverksamhet.60

7. algoritmkomplexitet: att autonomin i den självlärande algoritmen är så självständig att ingen har egentlig insyn eller kunskap om hur den löser ett problem, bara att den löser det (eller inte). Utfallet kan vara en högre sannolikhet för ett visst utfall, som i en applicerad kontext skulle kunna omsättas i högre lönsamhet genom mer försäljning eller mer

57 För algoritmernas roll, se Haider & Sundin (2019) “Algoritmernas roll i plattformssamhället. Vad är algoritmer, och vad gör dem till så viktiga komponenter i plattformssamhället?” i Andersson Schwarz, J. & larsson, S. (red.) Plattformssamhället. Den digitala utvecklingens politik, innovation och reglering. Stockholm: Fores; Haider & Sundin (2019) Invisible Search and Online Search Engines: The ubiquity of search in everyday life. Chicago: routledge Studies in Library and Information Science, som utvecklar betydelsen av media- och informationslitteracitet i relation till sökmotorer.

58 Hur vi förstår abstrakta, exempelvis digitala, fenomen kan vara avgörande för både hur de regleras men också för hur vi normativt bedömer dem. För en omfattande genomgång av metaforer och konceptuella metaforers rättsliga betydelse i relation till digitala fenomen, se larsson (2017) Conceptions in the Code.

59 Se Pasquale, F. (2015). The Black Box Society. The Secret Algorithms That Control Money and Information, Harvard University press. Komplexiteten i marknadsupplägget tecknas tydligt i Christl, W. (2017). Corporate Surveillance in Everyday Life: How Companies Collect, Combine, Analyze, Trade, and Use Personal Data on Billions. Vienna: Cracked Labs.

60 Vilket analyseras i förhållande till konsumentskydd i larsson, S. (2018a). Algorithmic Governance and the Need for Consumer Empowerment in Data-driven Markets, Internet Policy Review 7(2):1–12.

I N N E H Å L L S F Ö RT E C K N I N G  2 3

I . K A RT l Ä g g n I n g AV A I O C H E T I K

precision i en diagnos, men inte nödvändigtvis på vilka grunder eller hur resultatet nåddes i detalj.61

Den sistnämnda punkten konstateras av flera studier, där forskare har pekat på behovet av ”auditability”,62 dvs. granskningsmöjlighet, för tredje parter att sondera och granska beteendet hos en algoritm, till exempel som forskningsmetod för studier av diskriminering på digitala plattfor-mar.63 Det tas också upp som en viktig komponent i utkastet på etiska riktlinjer från EU-kommissionens expertgrupp, för att säkerställa pålitliga AI-system för att kunna spåra tidigare beslut i relation till de konsekven-ser som uppstår.64

Det finns även en omfattande diskussion i relation till automatiserat beslutsfattande och Dataskyddsförordningen, GDPR, huruvida individer har en “rätt till förklaring” för denna typ av beslut som bygger på profile-ring av individen.65 Syftet med detta betraktas då av vissa som en lämplig mekanism för att öka möjligheter för ansvarsfördelning och transparens kopplat till automatiserat beslutsfattande. Hur förklaringar kan och bör se ut i förhållande till automatiserat beslutsfattande som grundar sig på analys av personuppgifter och profilering är en fråga som kommer att bli allt viktigare framöver.

61 AI-forskningen talar här om AI-explainability (AIX), se IEEE, 2018, jfr. Wachter et al. (2017). Man kan också diskutera skillnaderna mellan tolkningsbarhet (”interpretability”), förklarbarhet (”explainability”) och förståbarhet (”comprehensibility”) för maskininlärningsmodeller i sig, se guidotti, r., Monreale, A., ruggieri, S., Turini, F., giannotti, F., & Pedreschi, D. (2018). A survey of methods for explaining black box models. ACM Computing Surveys (CSUr), 51(5): 93.

62 Diakopoulos, n., & Friedler, S. (2016). How to hold algorithms accountable. MIT Technology Review, 17(11);

63 Sandvig, C., Hamilton, K., Karahalios, K., & langbort, C. (2014). Auditing algorithms: Research methods for detecting discrimination on internet platforms. Data and discrimination: converting critical concerns into productive inquiry, 1-23.

64 The European Commission’s High-level Expert group on Artificial Intelligence (18 December 2018) DRAFT ETHICS gUIDElInES FOR TRUSTWORTHY AI. Working Document for stakeholders’ consultation Brussels.

65 Wachter, S., Mittelstadt, B., & Floridi, l. (2017). Why a right to explanation of automated decision-making does not exist in the general data protection regulation. International Data Privacy Law, 7(2), 76-99.

I N N E H Å L L S F Ö RT E C K N I N G  2 4

IIBibliometrisk litteraturstudie

ett sätt att skapa en övergripande bild av större samlingar litteratur är genom bibliometriska analyser, dvs. statistiska analyser av text och textmängder samt de metadata som beskriver dessa, genom samband och samförkomster i bl.a. tidskrifter. Den bibliometriska studien har genomförts i november 2018 i samarbete med Fredrik Aström, docent i bibliometri vid Lunds universitet. Syftet med den bibliometriska analysen är att beskriva de stora dra-gen i AI-forskningen genom kvantitativa analyser av litteraturen inom området. De aspekter som beskrivs är dels de forskningsfält där forsk-ning om AI-frågor bedrivs, genom att analysera de tidskrifter som cite-ras i AI-forskningen; dels innehållet i forskningen, genom analyser av de begrepp som används i forskningspublikationerna.

Metod

för att identifiera den forskningslitteratur som behandlar AI-frågor användes Web of Science-databaserna (WoS), där framför allt artiklar i

I N N E H Å L L S F Ö RT E C K N I N G  2 5

I I . B I B L I O M E T R I S K L IT T E R AT U R S T U D I E

internationella vetenskapliga tidskrifter indexeras. Sökningen i databa-serna bygger på en söksträng med en kombination av relevanta begrepp som matchas mot hur de förekommer i titlar, sammanfattningar (abstracts), samt nyckelord. notera här kombinationen av å ena sidan AI- och maskininlärningsrelevant litteratur med å andra sidan etik, ansvarsfrågor och samhällelig bias, dvs. sådant vi menar är centralt för hållbar AI.

(“artificial intelligence” OR “machine learning” OR “deep learning” OR “autonomous systems” OR “pattern recognition” OR “image recognition” OR “natural language processing” OR “robotics” OR “image analytics” OR “big data” OR “data mining” OR “computer vision” OR “predictive analytics”)

och

(“ethic*” OR “moral*” OR “normative” OR “legal*” OR “machine bias” OR “algorithmic governance” OR “social norm*” OR “accountability” OR “social bias”)

Vidare avgränsades sökningen till att endast gälla dokumenttyperna ”Article”, ”Book Chapter”, ”Letter”, ”Proceedings Paper” eller ”Review”. Sökningen resulterade i 2 706 publikationer, där den metadata som finns i WoS-databaserna för dessa publikationer laddades ner för analys, med hjälp av Bibexcel66 samt VOSviewer67.

För att undersöka inom vilka forskningsfält AI-forskningen bedrivs användes metoden ”journal co-citation analysis”,68 där man med hjälp av Bibexcel tar fram referenslistorna för de publikationer som ingår i analysen; och ur denna information utvinner de forskningstidskrifter som den citerade litteraturen publicerats i. Detta analyseras sedan genom att studera hur ofta de citerade

66 https://homepage.univie.ac.at/juan.gorraiz/bibexcel/67 http://www.vosviewer.com/68 McCain, K.W. (1991). Mapping economics through the journal literature: An experiment in

journal cocitation analysis. Journal of the American Society for Information Science, 42(4):290-296.

I N N E H Å L L S F Ö RT E C K N I N G  2 6

H Å L L B A R A I

tidskrifterna förekommer tillsammans i referenslistorna. Baserat på hur ofta tidskrifterna förekommer bildas ett nätverk av tidskrifter, vilka kan visualise-ras med hjälp av VOSviewer; där samförekomstfrekvensen används som ett avståndsmått och tidskrifter som förekommer oftare tillsammans placeras närmare varandra medan de som mer sällan citeras tillsammans placeras längre ifrån varandra. På så sätt bildas kluster av tidskrifter som ofta citeras tillsammans, vilka då kan ses som representationer av olika forskningsfält.

Innehållet i forskningen kartläggs på liknande sätt genom att studera samförekomster av de begrepp som används i litteraturen, så kallad ”co-word analysis”.69 Istället för citerade tidskrifter utvinner man här de begrepp som används i publikationernas titlar, sammanfattningar, samt de nyckelord som används för att beskriva publikationerna. För att und-vika ord som inte är betydelsebärande görs först en relevansanalys, sedan analyseras de relevanta begreppen utifrån hur ofta de förekommer tillsammans.

Litteratur om hållbar AI

vi inleder med en deskriptiv analys av AI-litteraturen (AI och etik) och dess utveckling över tid (figur 1). litteraturen inom detta urval av AI-forskningen kommer i huvudsak från 2010-talet, 75 % av litteraturen är publicerad efter 2011. Utifrån de sökbegrepp som använts för att defi-niera AI-forskningen och dess litteratur finner vi enstaka publikationer per år mellan 1970 och tidigt 1990-tal. Från 1996 till 2011 ökar antalet publi-kationer per år från ett tiotal till närmare hundra, och åren 2012-2016 ser vi en brant ökning där litteraturen i stort sett dubblar sig själv ungefär vartannat år.

69 Callon, M., Courtial, J-P., Turner, W.A., Bauin, S. (1983). From translations to problematic networks: An introduction to co-word analysis. Social Science Information, 22(2), 191-235.

I N N E H Å L L S F Ö RT E C K N I N G  2 7

I I . B I B L I O M E T R I S K L IT T E R AT U R S T U D I E

600

500

400

300

200

100

0

1970

1986

2002

1978

1994

2010

1972

1988

2004

1980

1996

2012

1974

1990

2006

1982

1998

2014

1976

1992

2008

1984

2000

2016

2018

AN

TAL

PU

BLI

KA

TIO

NE

RAI-publikationer/År (n=2706)

figur 1. Publikationer per år: hållbar AI.

Minskningen av publikationer per år för 2018 kommer ur att 2018 fortfa-rande är ett pågående år, så alla AI-publikationer för 2018 har ännu inte publicerats. Bara under perioden från maj 2018 – då ett första test av sök-orden genomfördes – till slutet av november, då den slutgiltiga undersök-ningen genomfördes, har antalet publikationer ökat i antal med ca 300.

Forskningsfält

utifrån de 2 706 publikationerna och de 141 083 referenserna som använts i dessa publikationer, har de 731 tidskrifter som citerats minst tio gånger analyserats ifråga om hur ofta de förekommer i publikationerna. Storleken på noderna – dvs de citerade tidskrifterna – representerar hur ofta respektive tidskrift citerats, medan avstånden mellan tidskrifterna – samt länkarna mellan noderna – representerar hur ofta tidskrifterna cite-rats tillsammans.

I N N E H Å L L S F Ö RT E C K N I N G  2 8

H Å L L B A R A I

De olika färgerna kommer ur en statistisk klusteranalys baserad på samfö-rekomstmåtten för tidskrifterna, där klustren representerar olika forsknings-fält (figur 2). Utifrån dessa kluster av citerade tidskrifter antar vi att dessa också motsvarar de forskningsfält som forskningen kommer ur: har vi t.ex. en samling av citerade tidskrifter kopplade till psykologi, så antar vi att de forskare och publikationer som citerar dessa tidskrifter också kan kopplas till psykologi som forskningsfält.

Analysen identifierar fem huvudsakliga kluster. I centrum av visualise-ringen finner vi tidskrifterna ”Science” och ”nature” som de mest citerade tidskrifterna. Dessa kan vi inte koppla till specifika forskningsfält efter-som de är mångvetenskapliga till sin natur. I den övre delen till vänster fin-ner vi ett kluster med juridiska tidskrifter som ”Harvard law Review” och ”Stanford law Review”. I mitten av den övre delen finner vi två kluster, det gula som samlar tidskrifter inriktade mot psykologi, t.ex. ”Psychological Review” och ”Trends in Cognitive Science”; samt det blå, datavetenskap-liga, klustret med tidskrifter som ”Artificial Intelligence”, ”lecture notes in Computer Science” och ”Machine Learning”. I den högra delen av visua-liseringen finner vi ett stort kluster av medicinska tidskrifter. Förutom de mer generella tidskrifterna hittar vi där tidskrifter som representerar olika medicinska inriktningar som ”Neurology” och ”Brain”, ”Neuroimage” och ”Radiology”, och ”European Journal of Human Genetics”.

I det medicinska klustret hittar vi också en samling citerade tidskrif-ter med inriktning mot medicinsk etik och informationshantering, t.ex. ”Journal of Law, Medicine and Ethics”, ”American Journal of Bioethics”, ”Journal of Medical Ethics”, samt ”Journal of the American Medical Information Society”. nere till vänster i visualiseringen finner vi ett klus-ter av samhällsvetenskapliga tidskrifter, framför allt med inriktning mot informatik och kommunikationsvetenskap – t.ex. ”Communications of the ACM”, ”Information Systems Research”, samt ”Information, Communication & Society” – men också tidskrifter med en företagseko-nomisk inriktning som ”Harvard Business Review” och ”Management Information Systems Quarterly”. Vi finner också tidskrifter som repre-senterar olika delar av samhällsvetenskaperna, som sociologi och

figu

r 2.

nät

verk

av

co-c

itera

de ti

dskr

ifter

(731

tids

krift

er, c

itera

de 1

0 gg

r elle

r fler

).

I N N E H Å L L S F Ö RT E C K N I N G  3 0

H Å L L B A R A I

statsvetenskap; men också tidskrifter som ”Science, Technology and Human Values”, ”Social Studies of Science”, samt ”Philosophy and Technology”, som kan säga representera forskning med mer kritiska för-hållningssätt till FoU-verksamhet, samt ett antal tidskrifter som represen-terar etiska perspektiv på informationshantering, teknik, och media.

För att undersöka innehållet i forskningen analyserades de begrepp som finns i titlar och sammanfattningar (abstracts), samt de nyckelord som beskriver publikationerna. Utifrån sammanlagt 40 349 termer gjordes en relevansanalys för att undvika icke-signifikanta termer och rangordna de mest signifikanta termerna, samt ett urval av de termer som förekommer minst 20 gånger. Dessa 306 termer analyserades genom att studera hur ofta de förekommer tillsammans i de 2 706 publikationerna, på samma sätt som de citerade tidskrifterna. Istället för nätverksvisualiseringen illustrerades dock sambanden genom en visualisering av täthet, där större samlingar av klustrade begrepp visualiseras genom att dels pla-cera dessa i närheten av varandra; dels genom att samla dessa i fält som blir rödare ju fler begrepp som samlas på samma ställe, medan glesare ”befolkade” områden är ljusare (figur 3).

I visualiseringen finner vi tre huvudsakliga kluster av termer. I den övre delen finner vi begrepp som kopplar samman frågor om AI och teknikut-veckling med etiska frågeställningar, representerade genom begrepp som ”robotics”, ”autonomous systems” och ”engineering”, samt ”ethics” (också tillsammans med t.ex. ”robot” eller ”machine”) och ”morality”. I visualise-ringens nedre högra del finner vi begrepp som kan kopplas till den tekniska utvecklingen och dataanalys, som ”machine learning”, ”algorithm”, ”pat-tern recognition”, ”neural network” och ”support vector machine”. Och nere till vänster finner vi ett kluster av begrepp framför allt kopplade till frågor om datasäkerhet och personlig integritet, t.ex. ”privacy”, ”data protection”, ”confidentiality”, och ”informed consent”. Dessa kopplas också till den mer specifika tillämpningen av dessa frågor inom medicinsk och hälso-forskning, reflekterat i termer som ”health data”, ”disease”, ”clinical trials” och ”treatment”.

figu

r 3.

Sam

före

kom

st a

v te

rmer

(306

ord

ur t

itlar

, abs

tract

s oc

h ny

ckel

ord,

som

före

kom

mer

20

gång

er e

ller fl

er).

I N N E H Å L L S F Ö RT E C K N I N G  3 2

H Å L L B A R A I

Summering av bibliometrisk analys

det är inte helt enkelt att teckna en djupare analys av vad den kvantita-tiva överblick som bibliometrin ger egentligen betyder. Dock:

Ɲ Tidskrifterna Science och Nature är mest tongivande, i kombina-tion med medicin, psykologi, kognitionsvetenskap, informatik och datavetenskap.

Ɲ Det har skett en stark tillväxt i det kombinerade fält vi definierar som “hållbar AI” de senaste 4-6 åren, dock med tonvikt enligt ovan;

Ɲ Det tycks pågå en kunskapstillväxt i amerikanska rättsliga tidskrifter. Vi kan dock inte med den här typen av analysmetod se om det finns någon motsvarighet i svensk eller nordisk rättsvetenskap.

Ɲ Det är framförallt ‘ethics’ (etik), jämte Big Data, AI och maskininlärning som har högst förekomst, till skillnad från ‘accountability’ och ‘social bias’ som inte är lika vanligt förekommande jämte dessa begrepp.

Ɲ Dataskydd och integritetsfrågor är ett område inom den växande litte-raturen, av relevans för en rad områden, och i samförekomstanalysen är det tydligt en fråga för AI och maskininlärning inom vård och hälsa.

För en snävare analys av AI och maskininlärning i kombination med etik och ansvarsfördelning, se bilaga 1.

I N N E H Å L L S F Ö RT E C K N I N G  3 3

IIIOmrådesfördjupningar

i det följande gör vi tre områdesfördjupningar i syfte att teckna några av de praktiska implikationer – både möjligheter och utmaningar – som branscher och fokusområden står inför. Vi fokuserar 1. medicin: vård och hälsa; 2. telekom; och, 3. digitala plattformar.

Medicin: Utmaningar i framtidens sjukvård

utvecklingen och omsättningen av ny kunskap och teknik inom sjuk-vården sker snabbt. Digitalisering, visualisering och simulering kopplat till AI, applikationer, och algoritmer ställer sjukvården inför ett paradigm-skifte och den medicinska etiken på sin spets. nya teknologier i sjukvår-den med psykologiskt utmanande situationer, nya interaktioner mellan människa och maskin samt AI som metodutveckling erbjuder stora möj-ligheter men ställer också nya krav på sjukvården.

Den mänskliga faktorn är ofta den direkt utlösande orsaken till medicin-ska misstag. Men bakomliggande säkerhetsbrister och fel på systemnivå får inte underskattas. Sådana fel, som sällan diskuteras, kan vara dels

I N N E H Å L L S F Ö RT E C K N I N G  3 4

H Å L L B A R A I

bristande standardisering och dels bristfällig utbildning och systematisk träning för att säkerställa kritiskt tänkande, relevant kunnande och kom-petens. Informationsflödet och tillgången till stora datamängder ökar sjukvårdssystemets komplexitet och pressar den mänskliga förmågan.

Artificiell intelligens och maskininlärning i sjukvårdenMaskinlärande har i förlängningen av den hype som existerar kring AI, för-ändrat vår förståelse för den till synes ändlösa potential som stora mäng-der information innebär. Den initialt återhållsamma hållningen inom hälso- och sjukvårdssektorn har snabbt förändrats och området genomgår nu en mycket snabb expansion tack vare tillgängliggörandet av stora datamäng-der, datorkraft, och innovation, vilket måste kopplas till att behövliga rätts-liga intresseavvägningar ännu släpar efter. Inom vissa fundamentala delar av medicinen så som t.ex. medicinsk bilddiagnostik har maskinlärande i vissa fall visat sig likvärdiga eller överlägsna den mänskliga förmågan i detektion av sjukdom. Som exempel kan nämnas bedömning av mam-mografibilder och att prediktera dödlighet vid misstänkt kranskärlssjuk-dom i hjärtat. Vid konstruktion av algoritmerna måste metrik och relevanta referenser noga definieras för att uppnå syftet med den aktuella algorit-men. Systematisk uppföljning av algoritmerna är också nödvändigt. Detta måste ske i nära samverkan med experter. Risker med partiskhet (bias) och skevhet (confounders) måste hanteras eftersom ursprunget till de data som ligger till grund för algoritmerna kan leda till felaktiga tolkningar. Likaså måste modellerna optimeras så att underanpassning och överan-passning undviks.

Tillit och ansvarDe medicinetiska och regulatoriska aspekterna måste också hanteras. Ansvarsförhållandena vid ett haveri måste kunna klarläggas. Det får inte råda några tvivel om huruvida konstruktören av algoritmen eller den som använt algoritmen som beslutsstöd bär ansvaret. Detta är idag en grå-zon i sjukvården. En lämplig nivå av förståelse, insyn och transparens i de potentiellt självlärande beslutsstöden måste definieras innan de kom-mersialiseras, skalas upp och används praktiskt i sjukvården. Det måste också definieras vilken nivå av förklaring och transparens som krävs

I N N E H Å L L S F Ö RT E C K N I N G  3 5

I I I . O M R Å D E S F Ö R D J U P N I N G A R

för att läkaren ska känna tillit och ställa sig bakom alltmer autonoma beslutsstöd. Tilliten i relationen mellan vårdgivare och patient måste säkerställas ju mer beroende relationen blir av AI och maskinlärande mjukvara som en tredje part. Transparens behöver möjliggöras för till-syn av kommersiella AI produkter i syfte att både se till att dessa får en adekvat lärande feedback men också för samhällets behov av att fördela ansvar när produkterna leder till oönskade och/eller oväntade utfall.

Värdekonflikter och etiska utmaningarDet finns även andra intresseavvägningar att göra. Maskininlärning bero-ende av stora datamängder brukar framhållas som en nödvändighet i AI-utvecklingens framgångsrecept. Det banar dock väg för värdekonflik-ter mellan reglering och lagar som skyddar integritet och patienters infor-mation – en traditionellt sett helt central del i medicinsk etik – och den till-gång till stora mängder patientdata som utvecklingen av AI-verktyg behö-ver inom sjukvård. Hur mycket av patienternas medvetenhet och vilja bör därmed tas i beaktande när deras information ges ut för att träna AI? Hur gör man med de grupper som inte kan tillfrågas, antingen för att databa-sen – som ursprungligen har tillkommit med ett annat syfte – är gam-mal eller för att de av andra skäl inte är beslutsföra. Ett annat dilemma är problem som uppstår om patienten inte förstår frågeställningarna. Enligt hälso- och sjukvårdslagen skall verksamheten bygga på respekt för patientens självbestämmande och integritet. Det innebär inte sällan en krock mellan värdet av innovation och värdet av individuell integritet.

Det finns ett stort behov av att diskutera framtida prissättning av resul-tat framtagna av algoritmer respektive av fysisk hälso- och sjukvårdsper-sonal. Detta är helt nödvändigt för att framtida värden, vinster, kostnader och risker skall vara transparenta och rimliga i relation till insatserna. De nya utmaningarna understryker behovet av nya grepp inom framtidens hälso- och sjukvård. Framtidens utbildning måste dessutom skapa för-utsättningar för att kunna värdera och hantera dataapplikationer och beslutsstöd innan resultaten tillämpas och skalas upp. Etiska frågeställ-ningar och ansvarsfrågor måste diskuteras så att dessa inte hamnar i köl-vattnet på teknikutvecklingen. Etik har alltid varit en central del av såväl

I N N E H Å L L S F Ö RT E C K N I N G  3 6

H Å L L B A R A I

medicinsk vetenskap och sjukvårdens praktik. Den behövs ett nytt para-digm i relation till artificiell intelligens och maskininlärning.

Tre exempel för att belysa och konkretisera aktuella utmaningar för tillämpad AI i sjukvården1. Det senaste året har stora satsningar och saluföring skett inom områ-

det preventivmedelsappar. Dessa faller inom kategorin medicin-tekniska produkter där läkemedelsverket har tillsynsansvar men ej ansvar för godkännande.

genom appen registrerar brukaren (kvinnan) regelbundet sin kropps-temperatur. Efter att data matats in och kalibrerats värderar appen ris-ken för att bli gravid eftersom kroppstemperaturen förändras i anslut-ning till fertila perioder under menstruationscykeln. Läkemedelsverket har efter att ha fått in hundratals anmälningar om oönskade graviditeter granskat och utrett appen. Efter uppdatering av bruksanvisning och app med förtydligande avseende risken för oönskad graviditet avslutades granskningen och appen fick grönt ljus. läkemedelsverket sammanfat-tar avslutningsvis att ”privatpersoner som är oroliga över eller har frå-gor om vilket preventivmedel som bör användas ska vända sig till vår-den för att få hjälp och råd av sin barnmorska eller läkare”.70

genom uppdateringen av bruksanvisningen tydliggjordes användarens ansvar och transparens avseende risken för att bli gravid lyftes fram. Ett tydligt etiskt dilemma är om användaren inte förstår och kan tolka bruksanvisningen.

2. Algoritm för att estimera återstående livslängd hos cancersjuk patient med skelettmetastaser.71 Målet är att reducera partiskhet (bias) i behandlingsbeslut för cancerpatienter med skelettmetast-aser. På så vis kan överbehandling och underbehandling för denna patientgrupp undvikas. Produkten har validerats i olika populationer

70 https://lakemedelsverket.se/Alla-nyheter/nYHETER---2018/lakemedelsverkets-granskning-av-Natural-Cycles-avslutad/

71 https://www.pathfx.org/

I N N E H Å L L S F Ö RT E C K N I N G  3 7

I I I . O M R Å D E S F Ö R D J U P N I N G A R

för att öka validiteten. Patientdata laddas in och en estimerad över-levnadstid ges. Ett etiskt dilemma och även ett transparensproblem kan uppstå avseende hur man skall informera patient och anhöriga. Hur förklarar och försvarar man behandlingsvalet inför patienten och anhöriga om överlevnaden trots allt inte är i linje med estimatet?

3. Digital läkare för ”triage”. Dylik applikation innebär att virtuella besök i

sjukvården kan ske 24/7 via en chatt med en bot. Boten ställer frågor och guidar vidare i linje med ett beslutsträd. Det förekommer att för-säkringsbolag initialt hänvisar patienten till denna service som en del av sin sjukvårdslösning eftersom det innebär kostnadsbesparingar. Det finns stor effektiviseringspotential i denna typ av ”plattformsie-ring” av vård, som också öppnar upp för analys av stora datamängder, samtidigt som det i enlighet med kunskapsöversikten ovan finns ris-ker med partiskhet (bias) och skevhet (confounders) i data som ligger till grund för den rekommendation som patienten erhåller. Ett etiskt dilemma är risken för underdiagnos/feldiagnos/överdiagnos, samt-liga potentiellt allvarliga utifrån frågor om ansvar, ansvarserkännande och ansvarsfördelning. Överdiagnos skulle kunna skapa onödiga besök i vården ”för säkerhets skull” med skenande sjukvårdskostna-der för potentiellt godartade självläkande tillstånd på bekostnad av sjukvård för de sjukaste och mest behövande.

Telekom

telekommunikationsteknologin (telekom) möjliggör att AI på bred front kan användas inom olika områden i samhälle och industri idag. Den medger att data effektivt kan samlas in via sensorer, aggregeras och dist-ribueras till de tjänster och system som efterfrågar informationen. Data som både representerar fysiska storheter i vår omgivning (temperatur, UV-strålning, bullernivå, hastighet, bild- och ljudinformation etc.) men även information om hur olika objekt och tjänster används (digitalt innehåll, posi-tionsändring, driftläge, aktuella uppkopplingar etc.). Förutom en ren överfö-ring av information mellan två enheter (ett röstsamtal, video etc.) så får vi

I N N E H Å L L S F Ö RT E C K N I N G  3 8

H Å L L B A R A I

via de datapunkter vi samlar in en digital representation av den fysiska värl-den samt kunskap om hur både den fysiska och den digitala världen sam-verkar och nyttjas över tid. I mer eller mindre autonoma system kan sedan återkoppling ske tillbaka till aktuatorer i nätverken som verkställer besluten tagna med hjälp av AI systemen samt ger återkoppling och konnektivitet mellan olika delsystem uppkopplade till den intelligenta infrastrukturen.

Ser vi till den mängd användare, tjänster och uppkopplade sensorer vi har globalt innebär detta att enorma mängder data hanteras i realtid dyg-net runt. För att möjliggöra detta tar även telekom som industri hjälp av den teknik för automation och beslutsstöd som finns tillgänglig såsom maskininlärning och AI.

Företagen inom telekomsektorn driftar idag nätverk för att möjliggöra mobil kommunikation för 5,7 miljarder abonnenter globalt72. För de som erbjuder kommunikation och uppkoppling som tjänst, behövs förutom tillgång till en infrastruktur för kommunikation även grundläggande data om hur nätverken utnyttjas av varje enskild användare (eller ting) som underlag dels för debitering av tjänsten, dels för att i realtid kunna optimera kapacitet och tillgänglighet i nätverken. Nätverk som även konstant övervakas med andra system för att förebygga att allvarliga driftstörningar uppstår. Dessa system blir idag allt mer autonoma med hjälp av AI. Målet är att de delar av nätverken som börjar indikera fel snabbt ska kunna identifieras och om möjligt åtgärdas utan att mänsk-liga operatörer behöver ingripa. Eventuella skiften i belastning i delar av nätverket kan predikteras och möjliggör således för resurser att omför-delas så att en hög kvalité och tillgänglighet för överföring av data bibe-hålls. Vidare övervakas trafiken i systemen så att man kan säkerställa att den data som passerar genom nätet hanteras på ett säkert sätt med hög integritet. Tilliten till systemen bygger även på att attacker mot sys-temen och stöld av data kan förebyggas och om möjligt förhindras på ett effektivt sätt.

72 Ericsson Mobility Report https://www.ericsson.com/en/mobility-report/reports/november-2018

I N N E H Å L L S F Ö RT E C K N I N G  3 9

I I I . O M R Å D E S F Ö R D J U P N I N G A R

För denna hantering av telekomsystem med hjälp av AI finns det utmaningar som behöver adresseras. En del av de utmaningar som redan har presente-rats mer i detalj ovan och vissa av de exempel som använts för att illustrera utmaningarna kommer från just IT och telekomsektorn.

Det finns dock ytterligare en grad av komplexitet i det faktum att de AI baserade verktyg som appliceras inom sjukvård, transportsystem, myn-dighetsutövning m.m. ofta integreras med de funktioner och egenska-per som finns i den intelligenta infrastrukturen för kommunikation av data som telekomsektorn erbjuder. Detta väcker frågeställningen73 om hur ansvar ska fördelas vid utvecklandet av AI baserade system. Branschorganisationer som IEEE74 och standardiseringsorgan som ITU75 har arbetat med frågan och fört en offentlig diskussion om etiska aspek-ter av teknikutvecklingen.

Digitala plattformar

de digitala plattformarna är inte någon bransch i sig, men är en orga-nisationsform som i allt högre grad påverkar en rad marknader, vilket upp-märksammas och studeras av allt fler medievetare, rättsvetare, och eko-nomer.76 Detta gäller inte minst utmaningar med innehållsmoderering, som i mycket handlar om att automatisera upptäckt och delvis beslut genom varianter av AI som bildigenkänning och språkanalys.77 En utpe-kad utmaning ligger i kombinationen av att göra normativa val, dvs vär-deringsgrundande, samtidigt som man automatiserar delar av processen,

73 https://www.linkedin.com/pulse/nordic-engineers-send-message-politicians-inese-podgaiska/

74 https://ethicsinaction.ieee.org75 https://medium.com/@UNDP/who-is-writing-the-future-designing-infrastructure-for-

ethical-ai-4999620db295, https://news.itu.int/challenges-and-opportunities-of-artificial-intelligence-for-good/

76 van Dijck, J.; T. Poell & M. de Waal (2018). The Platform Society. Public Values in a Connective World. Oxford University Press; Andersson Schwarz, J. & larsson, S. (red. 2019) Plattformssamhället. Den digitala utvecklingens politik, innovation och reglering. Stockholm: Fores; larsson, S. & Andersson Schwarz, J. (eds. 2018) Developing Platform Economies. A European Policy Landscape. Brussels and Stockholm: European Liberal Forum asbl and Fores.

77 gillespie, T. (2018a). Custodians of the Internet: Platforms, content moderation, and the hidden decisions that shape social media. Yale University Press.

I N N E H Å L L S F Ö RT E C K N I N G  4 0

H Å L L B A R A I

som också lär sig från mänskliga uttryck, värderingar och sociala struktu-rer. Bland annat är transparensfrågan i detta automatiserade beslutsfat-tande, som nämnt ovan, en mångbottnad utmaning78. En specifik utma-ning handlar om ansvarsfrågor för plattformens algoritmiska design i mötet med samhällsstrukturer som i sig redan är biased och partiska, dvs diskriminerande, rasistiska, hatiska eller på annat sätt kulturellt utmanande, där olika grupper kan ha vitt skilda uppfattningar. Larsson har i annat sammanhang beskrivit detta som utmaningen med “normativ design”.79

Man kan konstatera att svårighetsgraden i att moderera storskaliga digitala plattformar med kulturella och mediala uttryck är oerhört hög för gränsfall, kontextuella motsättningar, politiska meningsmotstån-dare som använder flaggningsfunktioner för att obstruera motstån-dare eller andra upptänkliga sätt att missbruka plattformarnas upp-lägg, utöver oavsiktliga effekter av en automatiserad implementering av policy. Man hamnar snabbt i utmaningar där man inte bara ska defi-niera vad som är oacceptabelt, utan även navigera i en mängd kulturer, kolliderande rättsordningar och laddade frågor, vilket medieforskaren Gillespie beskriver som:

... balancing offense and importance; reconciling competing value systems; mediating when people harm one another, inten-tionally or otherwise; honoring contours of political discourse and cultural taste; grappling with inequities of gender, sexuality, race, and class; extending ethical obligations across national, cultural, and linguistic boundaries; and doing all that around the hottest hot-button issues of the day.80

78 larsson, S. (2018) “Sju nyanser av transparens: Om artificiell intelligens och ansvaret för digitala plattformars samhällspåverkan,” i Andersson Schwarz, J. & larsson, S. (red.) Plattformssamhället. Den digitala utvecklingens politik, innovation och reglering. Stockholm: Fores.

79 larsson, S. (2018) “Sjyst AI och normativ design”, i Akenine, D. & Stier, J. (red.) Människor och AI. Stockholm: AddAI.

80 gillespie (2018, s. 10).

I N N E H Å L L S F Ö RT E C K N I N G  4 1

I I I . O M R Å D E S F Ö R D J U P N I N G A R

Transparensfrågan kring AI-drivna processer är en central fråga som träffar digitala plattformar, i balansen mot proprietära upplägg, centra-listisk styrning och skalbarhet med en stor mängd samtidiga användare. Storskaligheten hos många digitala plattformar och den datadrivna auto-matiseringen leder till att den samhälleliga betydelsen och därmed för-tydligandet av riskbilden blivit oerhört viktig. Oförutsedda konsekvenser av plattformarnas normativa arbete med automatiserad policyimplemen-tering har kommit att bli helt centrala att förstå för de marknadsskapande och infrastrukturella upplägg som påverkar hela marknader, inklusive individer och företag.81

En normativ utmaning infinner sig när maskininlärning och andra varian-ter av AI används som central part i applikationer som interagerar med människor och samhälleliga strukturer, för att de därmed samspelar med historiska upplägg och samhällelig bias i övrigt. I många fall finns därmed ingen normativt neutral mark: ska samhällelig bias reproduceras eller motverkas av den specifika applikationen? Ska skevheter i genus, makt, etnicitet, ekonomi och religion motverkas eller utgöra underlag för relevansbedömningar, prissättning och andra åtgärder? Och, om den ska motverkas, måste även dessa normer definieras – vilka normer ska styra? Hur ska balansen definieras och av vem?

AI och maskininlärning representerar ett löfte och möjlighet – ibland rentav en förutsättning – i linje med denna del av digitaliseringen även för de digitala plattformarna. Detta samtidigt som de datadrivna tekno-logierna väcker nya och fundamentalt viktiga samhällsfrågor i termer av ansvarserkännande och ansvarsfördelning, vilken nivå och typ av trans-parens som är lämplig för vad, och ytterst hur tillit byggs och relaterar till autonoma och artificiella beslut i takt med att plattformarnas samhälls-betydelse växer.

81 larsson, S. (2018) “Sju nyanser av transparens: Om artificiell intelligens och ansvaret för digitala plattformars samhällspåverkan”.

I N N E H Å L L S F Ö RT E C K N I N G  4 2

Bilaga 1 Peer review-granskade artiklar, överlagEtt urval i Web of Science-databaserna på fokusering av etik och ansvars-fördelning i kombination med antingen AI eller Ml, gav 46 artiklar som fördelade sig i en analys av co-citering enligt följande.

“artificial intelligence” OR “machine learning” och“ethic” OR “accountability”

Hållbar AI

detta är en inventering av kunskapsläget för etiska, soci-ala, och rättsliga utmaningar med artificiell intelligens, utfört i ett Vinnovafinansierat projekt lett av Anna Felländer. Baserat på en kartläggning av rapporter och studier, en kvantitativ och bibliometrisk analys, och områdesfördjupningar inom vård och hälsa, telekom, och digitala plattformar ges tre rekommenda-tioner: Hållbar AI kräver att vi 1. fokuserar regleringsfrågor i vid mening, 2. stimulerar mångvetenskap och samverkan, samt att 3. tillitsbyggande i användningen av samhällsapplicerad artifi-ciell intelligens och maskininlärning är centralt och kräver mer kunskap i relationen mellan transparens och ansvar.

www.aisustainability.org