Cultural AIJacco van Ossenbruggen

CWI, VU Amsterdam

Cultural AI: Een discipline die (nog) niet bestaat“Cultural AI is the study, design and development of socio-technological AI systems that are implicitly or explicitly aware of the subtle and subjective richness of human culture. It is as much about using AI for analyzing human culture as it is about using knowledge and expertise from the humanities to analyze and improve AI technology. It studies how to deal with cultural bias in data and technology and how to build AI that is optimized for cultural and ethical values.”

Marieke van Erp, Antal van den Bosch, Jacco van Ossenbruggenzie ook https://huc.knaw.nl/im-afraid-i-can-do-that

Culturele AI: mens & machineMachines gebruiken om menselijke cultuur te bestuderen (“digital humanities”)

Mensen leren om te begrijpen wanneer machines wel of niet passen bij onze culturele waarden (beschouwende studies naar AI toepassingen)

Machines leren om menselijke culturele normen en waarden beter te begrijpen (geestes/sociaal wetenschappelijke kennis gebruiken om AI beter te maken)

Wij moeten AI beter begrijpenArthur C. Clarke’s third law: “Any sufficiently advanced technology is indistinguishable from magic.”

Twee soorten AI:

1. Statistisch leren uit data2. Symbolisch redeneren over kennis

https://codewords.recurse.com/issues/five/why-do-neural-networks-think-a-panda-is-a-vulture

Voorbeeld: statistisch leren (met te weinig culturele kennis)

● Model is 99.7% zeker dat dit een afbeelding is van een douche kapje...

● Te weinig goede voorbeelden in de data?

● Of te weinig begrip van culture context?

Voorbeeld: symbolisch redeneren (met te weinig culturele kennis)

Mens: “Pepper, what do you know about apples?”

Pepper: “I know an apple is an eukaryotic life form”

http://makerobotstalk.nl

Relevantie werkt vaak best goed met statistiek:

Google afbeeldingen, gezocht op ‘‘professional hair for work’’

The Guardian, 8 april 2016

Google afbeeldingen, gezocht op ‘‘unprofessional hair for work’’

The Guardian, 8 april 2016

Is Google’s zoekmachine seksistisch en racistisch?

● Generiek “relevantie” algoritme dat vaak prima werkt (maar dus niet altijd)

● Patronen in web pagina’s en gebruiker clicks● Combinatie algoritme + veel verschillende data =

onvoorspelbaar● Hoe kun je dit soort “bias” meten en/of afschatten?● Hoe kun je het voorkomen? En willen we dat wel?

○ “Waarheid verbloemen / politieke correctheid”○ Oplossingen zouden juist kunnen leiden tot

het bewust classificeren van afbeeldingen op ras/gender/...

Algorithmische transparantie: “Retrievability bias”KB kranten archief (100M artikelen 6 maanden server logs) studie:

● We hebben 1M vragen opnieuw door de (black box) zoekmachine gehaald● Geteld hoe vaak elk artikel de top 10 (100, 1000) haalt● Kijken of deze aantallen correleren met document-eigenschappen

Bevindingen:

● 96% van de artikelen komt nooit in de top 10 (76% nooit in top 100)● Zoekalgoritme discrimineert erg lange en erg kort artikelen (een beetje)● Best scorende artikelen bevatten lange lijsten van namen (lokale

verkiezingen, zwemdiploma’s, ...)

M. C. Traub, T. Samar, J. van Ossenbruggen, J. He, A.P. de Vries, and L. Hardman: Querylog-based Assessment of Retrievability Bias in a Large Newspaper Corpus. In Proceedings of the 16th ACM/IEEE-CS on Joint Conference on Digital Libraries, JCDL '16, pages 7-16. New York, NY, USA, 2016. ACM.

https://www.digitaleoverheid.nl/nieuws/knops-verkent-mogelijkheden-voor-transparantielab-algoritmes/?pk_campaign=nieuwsbrief-10-2019

Fouten hebben impact!● Terecht veel aandacht voor ethische

aspecten in beschouwingen over AI, voorkomen van discriminatie, onterechte beslissingen, transparantie etc.

● E.g. gebruik AI in:○ Online politieke advertenties○ Beoordelen hypotheekaanvragen○ Beoordelen politie inzet○ Beoordelen CVs○ …

● Echte beslissingen over echte mensen

https://phys.org/news/2018-11-amazon-sexist-hiring-algorithm-human.html

Amazon stopte eind 2018 het gebruik van hun AI tool om CVs automatisch te beoordelen

Maar: alternatieven niet noodzakelijk objectiever!

- Bias in social media profielen- Bias in advertentie kosten

Menselijke cultuur accepteert discriminatie eerder van mensen dan van machines?

Het “AI effect”

CC BY 2.0 https://www.flickr.com/photos/99527366@N00/889158887

Larry Tesler: “Intelligence is whatever machines haven't done yet”.

Er is nog heel veel wat machines nog niet kunnen!

Zoals: begrip van onze cultuur

Waar zitten de oplossingen van de toekomst?

Waar zoeken we de oplossingen?● UI voor AI onderzoek

○ Gebruikersinterfaces die mensen helpen (het gebrek aan) culturele context te begrijpen

● AI door symbolisch redeneren onderzoek:○ expliciet interpreteren & modelleren van kennis in culturele context○ nuttig toepassen van die kennis in de juiste context

● AI door statistisch leren onderzoek:○ impliciete aanwezigheid culturele kennis & context in trainingsdata○ rol van culturele kennis in de uitkomsten, bias & debias

● Hybride AI onderzoek:○ Hoe symbolische en statistische aanpak te combineren○ Gebruikmakend van het feit dat culturele kennis impliciet en expliciet kan zijn

Tijd voor een nationaal Cultural AI lab!Verbindend & multidisciplinair (alfa/beta/gamma) onderzoekEthiek als drijfveer, niet als excuus om niets te doen!

Voortbouwen op:

● rijke digitale collectie NL en kennis daarover● NL toponderzoek in SSH & AI

Technologie ontwikkelen

● geoptimaliseerd voor publieke & culturele waarden● impliciet/expliciet bewust van die waarden● voor en door publiek

Ideeën voor samenwerking & partners welkom!

https://docs.google.com/forms/d/e/1FAIpQLSf3I8gREjreCjZQPLZsl_5kR8rt8D3YNF5ZIeV6eQYJlc5fjA/viewform

Backup slides

NEWSGAC: AI voor genre classificatie in kranten

aysenur.bilgin@cwi.nl https://github.com/newsgac/platform

Algorithmic transparency: Retrievability biasKB newspaper archive (100M articles, 6 months server logs) study:

● We reran 1M real user queries through the (black box) search engine● Counted how often each document appears in top 10 (100, 1000)● Analyzed correlation technical document features with retrieval counts

Findings:

● 96% of the articles never make it into the top 10 (76% never in top 100)● Engine discriminates against very short and very long documents● Best scoring articles contain long list of names (local elections, swimming

diploma’s, ...)

ION: Sanders depicted by NYT vs WP

Laura Hollink et al http://ion.project.cwi.nl/

Where do culture and AI meet?● Cultural AI is about humans and about technology● Human stakeholders

○ Awareness of cultural opportunities & sensitivities by■ computer scientists developing new AI methods and theories■ engineers deploying AI technology in products■ consumers using AI-based products ■ collection owners & curators deploying AI technology on their own collection■ Scholars using AI to study cultural artifacts, products of the mind

○ Awareness of technological limitations of AI by the above■ AI can do a lot, but there is still a lot AI cannot do yet ... ■ The impact of technology is never neutral■ Most technology is generic but used for a specific goal (fit for purpose?)

○ Awareness on how technology and culture influence one another○ How do we educate humans to raise awareness, knowledge & skills in this area?

Where do culture and AI meet?● Technology

○ To what extent does technology need to have cultural values explicitly incorporated?■ How to do so, where to stop, who decides, …?

○ To what extent can technology support cultural awareness of its users■ How, when, …?

Today: algorithmic transparency (I)● Do users still understand the results of their

software?● and... do computer scientists?

○ Example: KB’s newspaper archive on Delpher, >100M articles from 4 centuries

○ Big, and thus only accessible through a search engine○ So… is that search engine “fair”?

M. C. Traub, T. Samar, J. van Ossenbruggen, J. He, A.P. de Vries, and L. Hardman: Querylog-based Assessment of Retrievability Bias in a Large Newspaper Corpus. In Proceedings of the 16th ACM/IEEE-CS on Joint Conference on Digital Libraries, JCDL '16, pages 7-16. New York, NY, USA, 2016. ACM.

Is the engine fair? Good question!● Hard to answer, because each search result

depends on many things:○ Quality of the OCR engine, different for

(each section of) each article○ Technique used to index OCR text○ Technique used to match query to index○ Technique used to rank matching results○ …

● Bottom line: CS cannot predict the result of a query! At the same time ...

Is the engine fair? ● … we know search engines are not

objective technology:○ They are designed to favour “relevant” over

“irrelevant” documents○ How does the machine’s notion of relevancy influence

fairness?

● Can we empirically “measure” this fairness?○ Yes: using a bias metric called “retrievability”1) ○ Need access to: all the documents, the queries users

pose, the software (thanks KB!) …

1) L. Azzopardi and V. Vinay. Retrievability: An evaluation measure for higher order information access tasks. In Proceedings of the 17th ACM Conference on Information and Knowledge Management, CIKM ’08, pages 561–570, New York, NY, USA, 2008. ACM.

Examples: why we need it machine bias, lack of cultural knowledgehuman bias

●