Automation bias
Nie wieder werde ich behaupten, dass die E-Mails, die die University of Edinburgh an ihre Alumni verschickt, nutzlos sind. Heute habe ich echt was daraus gelernt: automation bias.
Automation bias is the propensity for humans to favor suggestions from automated decision-making systems and to ignore contradictory information made without automation, even if it is correct.
#LLM-basierte Chatbots bringen also ein doppeltes Bias-Problem mit sich:
reproduzieren sie bekanntlich den Bias der Trainingsdaten undhaben ihre Nutzer:innen die Tendenz,
#AIslop mehr zu glauben als direkt von Menschen vorgebrachten Vorschlägen.
Vielleicht wäre der deutschsprachige Diskurs über
#Automatisierung,
#Digitalisierung und »
#KI« gescheiter, wenn es diesen Wikipedia-Artikel auch auf deutsch gäbe? Aber wie würde das Lemma auf deutsch heißen?
Die obige Definition geht zurück auf Mary Cummings (2004): "Automation Bias in Intelligent Time Critical Decision Support Systems" in AIAA 1st Intelligent Systems Technical Conference. DOI: 10.2514/6.2004-6313.
Leider ist der Volltext z.Z. nicht kostenlos abrufbar. Auf der Suche danach in
@base@openbiblio.social fand ich ein gleichnamiges Buchkapitel von derselben Autorin aus dem Jahr 2017 – auch ohne Volltext. In BASE kann man sehen, wer es zitiert hat. Da sind interessante Publikationen bei.
Ich schulde euch noch den Text aus dem Alumni-Newsletter, in dem automation bias erwähnt wird: Trust, responsibility and the future of AI and robotics von Helen Hastie, die wenige Jahre vor mir dieselben Fächer studiert hat und jetzt die School of Informatics leitet. Danke, Prof. Hastie!
#automationBias #kognitiveVerzerrung #hci #Automatisierungsfalle #Computergläubigkeit #Automatisierungsbias #doubleAIbias #kiNeinDanke #KünstlicheDummheit
