Stellen Sie sich vor, Ihr Arbeitgeber weiss, dass Sie an Alzheimer erkranken werden – fünf Jahre bevor Sie Symptome entwickeln. Stellen Sie sich umgekehrt vor, Sie sind Arbeitgeber und wissen, dass Ihr Angestellter innert fünf Jahren dement wird.
Würden Sie diesen Angestellten behalten und sich auf Krankheitsausfälle, eine grosse Fehlerquote und Kosten einstellen? Oder würden Sie versuchen, diesen Arbeitnehmer so schnell als möglich loszuwerden?
Das sind keine düsteren Gedankenexperimente. Technisch ist das bereits heute machbar: Stimmerkennungs-Softwares können mit bis zu 90-prozentiger Wahrscheinlichkeit Demenzerkrankungen voraussagen. 2019 entwickelt das deutsche Start-up «ki elements» ein entsprechendes Produkt, das Stevens Institute of Technology in den USA ebenso.
Möglich machen solche Vorhersagen Algorithmen. Sie unterwandern immer stärker unser Leben, haben sich in unser Privatleben eingeschlichen, sich in unseren Jobs breitgemacht. Kaum ein Experte bezweifelt, dass ihre Macht noch wachsen wird. Doch was ist das, ein Algorithmus? Und warum sollte uns deren Allmacht Sorgen machen?
Jeder mathematisch Interessierte kann in einigen Wochen Algorithmen programmieren
Ein Algorithmus ist eigentlich nichts Kompliziertes. Ein sehr einfacher Algorithmus sei etwa eine Wenn-Dann-Vorschrift, erklärt Martin Kolmar (54), Professor für Volkswirtschaftslehre und Direktor des Instituts für Wirtschaftsethik von der Universität St. Gallen. Beispiel: «Wenn es draussen kalt ist, ziehen Menschen sich warm an.» Komplexere Algorithmen basieren auf demselben Prinzip einer eindeutigen Handlungsvorschrift, benötigen jedoch eine Programmierung.
Zurück zur Stimmerkennungssoftware, die Voraussagen zu Demenzerkrankungen liefern kann. Sie funktioniert so: Ein Programm analysiert Stimmen von an Demenz erkrankten Personen – und sucht bei ihnen Übereinstimmungen. Es findet Wortfindungsstörungen, leichtes Stottern, Pausen und eine verwischte Aussprache. Dasselbe Programm sucht nun bei noch Gesunden dieselben, wenn auch vielleicht noch sehr schwachen Auffälligkeiten in der Stimme.
Das Programmieren bestimmter, sogenannter «lernender» Algorithmen ist für mathematisch Interessierte relativ einfach, sagt Kolmar: «Unsere Studierenden können im Prinzip innert ein paar Wochen sogenannte Bayessche Lernalgorithmen programmieren.» Diese netzartigen mathematischen Strukturen aus der Wahrscheinlichkeitsrechnung, die vom britischen Mathematiker Thomas Bayes (1701–1761) entwickelt wurden, sind die Grundlagen populärer «lernender» Algorithmen. Sie sind sehr gut geeignet, Muster in Datensätzen zu erkennen, man benötigt dann nur einen Datensatz, mit dem man den Algorithmus füttern kann. Im Falle des obigen Beispiels braucht man also Audioaufnahmen von Menschen, die an Demenz erkrankt sind, und von solchen, die es nicht sind, und der Algorithmus findet dann die Besonderheiten in der Sprache der Demenzkranken, wenn es solche gibt.
Dies wiederum wirft sowohl rechtliche wie auch ethische Fragen auf: Wer darf überhaupt welche Daten sammeln? Wer darf sie verwerten? Und wollen wir das als Gesellschaft überhaupt? Juristisch sind die beiden ersten Fragen in den meisten Ländern kaum geregelt. Auch in der Schweiz nicht, wie gerade in diesem Jahr eine an der Universität St. Gallen erschienene Dissertation zum Thema «People Analytics in privatrechtlichen Arbeitsverhältnissen» herausgearbeitet hat. Algorithmen, warnt der Autor darin, führen zu einer umfassenden Machtverschiebung zugunsten von Datensammlern und zulasten Betroffener – also uns, der Bevölkerung.
Wer alles Daten sammelt und wie das das Persönlichkeitsrecht verletzt
Würden Sie sich je einem Unbekannten gegenüber so vorstellen? «Guten Tag, ich bin Herr Hans Muster, ich werde kaum je angerufen, glaube, dass Reptilien die Welt regieren, und finde es ziemlich toll, zuzuschauen, wie Frauen gewürgt und geschlagen werden.» Oder: «Ich bin Elvira Muster, stark übergewichtig, und weil ich keine Freunde habe, ist mein Lebensinhalt, Katzenvideos zu schauen.»
Die Beispiele mögen krass sein. Aber auf den Servern grosser Unternehmen wie Google, Facebook oder dem Pornoanbieter Mindgeek, zu dem unter anderem Pornhub gehört, weiss man, ob Sie übergewichtig sind, wie viele Freunde Sie haben, ob Sie unter Depressionen leiden oder auf welche Art von Sex sie stehen … – weil jeder Klick, jede Verweildauer, jede Suchanfrage gespeichert und ausgewertet wird. Fordert man die gesammelten Datensätze an, kann nur schon bei Facebook das Äquivalent von 15'000 (!) ausgedruckten A4-Seiten zusammenkommen.
Wofür eigentlich, ausser Werbung zu schalten? «Während mittlerweile allen klar ist, dass Daten gesammelt werden, liegt das grosse Problem darin, dass völlige Unklarheit und Intransparenz darüber herrscht, wem diese Daten wofür weitergegeben werden», sagt Rechtsanwalt Martin Steiger, Mediensprecher der «Digitalen Gesellschaft».
Klingt das unangenehm? Nun, es wird noch schlimmer: Das Geschäftsmodell dieser Firmen ist es, Daten zu verkaufen. «Unternehmen wollen wissen, wem sie am besten welchen Deal anbieten können und mit wem eine Geschäftsbeziehung für das Unternehmen teurer werden könnte», sagt Kolmar, «Algorithmen fördern also, dass Unternehmen uns klassifizieren, um uns unterschiedlich behandeln zu können, ohne dass wir wissen, weshalb wir unterschiedlich behandelt werden.»
Warum Datensätze Diskriminierungen fördern
Wo Algorithmen mitbestimmen, herrscht oft Diskriminierung. Wissenschaftlich ist das längst bewiesen: Joanna Bryson, eine auf künstliche Intelligenz spezialisierte britische Mathematikerin hat bereits 2017 in einer Studie, die im Magazin «Science» publiziert wurde, Algorithmen analysiert, die von Firmen in Auswahlverfahren für Arbeitnehmer eingesetzt werden – und kam zum Schluss, dass Algorithmen bestehende Diskriminierungen abbilden und verstärken. So werden die Wörter «weiblich» und «Frau» eher mit Geisteswissenschaften assoziiert, hingegen «männlich» und «Mann» eher mit Mathematik und Ingenieurberufen. Europäische Namen sind in Sprachmustern eher mit angenehmen, afroamerikanische mit unangenehmen Begriffen verbunden. Solche Algorithmen bevorzugen bei gleicher Qualifikation Bewerber mit europäisch klingenden Namen.
Egal, wer wir sind, Algorithmen stecken uns in Schubladen. Je nachdem, wer wir sind, bekommen wir unterschiedliche Preise angeboten, werden auf dem Arbeitsmarkt unterschiedlich behandelt, bekommen via Google- und Facebook-Vorschlägen unterschiedliche Informationen. Ironischerweise passiert das in einer Zeit, in der eigentlich Bestrebungen laufen, unsere Gesellschaft möglichst diskriminierungsfrei zu gestalten. Algorithmen laufen dem entgegen. «Die zentrale ethische Frage lautet deshalb, welche Ungleichbehandlung wir als Gesellschaft akzeptieren wollen», sagt Kolmar, «dabei muss Ungleichbehandlung nicht an sich schlecht sein; frühe Informationen über künftige Krankheiten in den Händen von Ärztinnen und Ärzten kann viel Leid verhindern. Dieselbe Information in den Händen einer Versicherung oder eines potenziellen Arbeitgebers kann hingegen sehr problematisch sein. Das müssten wir sehr dringend auf Ebene der Gesellschaft diskutieren.»
Algorithmen versprechen ein einfacheres Leben – und verstärken stattdessen Probleme
Das Versprechen lautet eigentlich: Algorithmen dienen den Menschen – und sollen uns das Leben erleichtern, da sie unsere Bedürfnisse aufdecken, bevor wir sie selbst erkennen. Das stimmt aber schon dadurch nicht, dass diverse Algorithmen auf Klickmaximierung programmiert sind. Beispiel Facebook: Gemäss der ehemaligen Facebook-Managerin und Whistleblowerin Frances Haugen setzt der Konzern diverse Mechanismen ein, um uns süchtig zu machen und so lange wie möglich auf der Plattform zu halten. Manager würden dabei genau wissen und in Kauf nehmen, dass dies mit Desinformation und dem Schüren von Hass gelingt.
Facebook weiss auch schon lange, sagt Haugen, dass die Tochterplattform Instagram Mädchen in die Magersucht treibt. Profit stehe aber über dem Wohl von Kindern. Während die Studienlage für Jungen noch dünn ist, kann man aber davon ausgehen, dass dasselbe auch für sie gilt: Sehr wenige Jungen hatten wohl ursprünglich ein Bedürfnis, Frauen geschlagen, gewürgt und erniedrigt zu sehen – Algorithmen auf den entsprechenden Seiten schlagen aber teilweise krasse Inhalte vor. Mit Folgen: Sexualtherapeuten und Psychoanalytiker sagen schon seit einigen Jahren, dass sexuelle Probleme wie Erektionsstörungen bei jungen Männern ansteigen. Kolmar sieht ein Versagen einer ganzen Generation gegenüber der Jugend: «Wir Erwachsenen lassen und sehen zu, dass problematische Verhaltensweisen verstärkt werden. Dies ist ein riesiges soziales Experiment, von dessen Folgen wir erst langsam eine Ahnung bekommen, und das, was in der Forschung erkennbar wird, ist nicht unbedingt schön.»
Wer handelt, um uns vor Diskriminierung durch unregulierte Algorithmen zu schützen?
«Wer regulierend eingreifen könnte, sind Staaten», sagt Kolmar, «doch das ist nicht einfach, denn wie gesagt sind die Möglichkeiten der Algorithmen je nach Anwendung ein Problem oder ein Segen.» Ausserdem müssten Staaten miteinander kooperieren, um länderübergreifend Massnahmen gegen Facebook, Google und Co. zu treffen. «Auch dies ist eine grosse Hürde»,
sagt Kolmar. Er fügt an: «Kommt hinzu, dass die drei grössten Staaten bisher kaum Interesse zeigten, die grossen Firmen zu regulieren: In den USA steht einer Regulierung das Verständnis von Kapitalismus im Weg, in China arbeitet der Staat direkt mit Datensammlern wie Alibaba zusammen, und russische Trollfirmen versuchten gemäss aktuellem Wissensstand mehrfach, via Facebook Abstimmungen in den USA und Grossbritannien zu beeinflussen.»
Die EU setzt seit einigen Jahren eine «Expertengruppe für Ethische Standards für vertrauenswürdige KI» ein, die ab 2019 diverse Empfehlungen publizierte. Laut Kolmar ist das nicht nur uneigennützig: «Die EU merkte, dass sie im Bereich Machine Learning und KI nicht mit China und den USA wettbewerbsfähig ist. Die EU setzt deshalb neu auf die Marktnische «trustworthyness» (Vertrauenswürdigkeit). Was aber zumindest ein Anfang ist.»
Deutschlands Arbeitsministerium liess in den letzten Jahren durch Expertengruppen ermitteln, inwiefern KI auf den Arbeitsmarkt und auf die Ungleichbehandlung von Menschen Einfluss nimmt.
Und in der Schweiz? «Hierzulande geschieht noch zu wenig», sagt Kolmar.
Man kann sich selbst kaum schützen
Rechtsanwalt Martin Steiger sagt: «Die Schweiz tappt hinterher, was den Datenschutz und insbesondere die Regulierung von Algorithmen betrifft. Das wird sich auch mit dem neuen Datenschutzgesetz ab 2023 nicht ändern.» Und sich selbst wirksam zu schützen, sei illusorisch. «Man kann sich von sozialen Plattformen fernhalten oder Suchmaschinen wie DuckDuckGo benützen, aber ein Grossteil des sozialen Lebens spielt sich nun mal im digitalen Raum ab. Alternative Dienste sind leider häufig nicht gut genug.» Ausserdem fliessen bei diversen Anwendungen Daten ab, auch ohne dass man diese aktiv teilt, etwa bei Fitnessapps oder bei Kreditkartentransaktionen. «Wenn man ehrlich ist, hat man allein kaum eine Chance, sich zu entziehen», sagt Steiger.
Ein weiterer Grund also, endlich als Gesellschaft die Politik in die Pflicht zu nehmen, etwas zu tun.
Zehntausende von jungen Instagram-Nutzern befragte der Mutterkonzern Facebook zwischen 2018 und 2021. Die Resultate, die das «Wall Street Journal» nun publik macht, zeichnen kein schmeichelhaftes Bild.
Teenager in den USA und Grossbritannien gaben in einer Studie an, welche ihrer negativen Gefühle wegen Instagram entstanden sind. Die Antworten: Bis zur Hälfte fühlt sich unter Druck, ein perfektes Foto schiessen zu müssen; je 40 Prozent finden sich nicht attraktiv genug und denken, dass sie zu wenig Geld besitzen. Ein Drittel sorgt sich darüber, zu wenig Freunde zu haben, und ein Fünftel fühlt sich einsam. Zudem geben Teenager Instagram die Schuld für erhöhte Angst und Depressionen. 13 Prozent in Grossbritannien und 6 Prozent in den USA führten Suizidgedanken auf Instagram zurück.
Die Facebook-Forscher weisen in einer internen Präsentation darauf hin, dass viele Probleme spezifisch für Instagram sind. Der soziale Vergleich sei dort besonders schlimm. Andere Plattformen, zum Beispiel Tiktok, betone Leistung, bei Snapchat liege der Fokus vor allem auf dem Gesicht und lustigen Filtern. Auf Instagram hingegen zählen der Körper und Lebensstil, was besonders bei jungen Frauen zu Essstörungen führen könne.
Hierbei ist besonders die sogenannte Explore Page toxisch. Diese Seite wird bespielt von einem Algorithmus, der ständig neue Fotos und Videos anzeigt zu Themen, auf denen Nutzerinnen lange verweilen. So tauchen sie immer tiefer ein in eine Bilderflut, aus der sie kaum rauskommen.
Die negativen Effekte betreffen jedoch nicht alle Nutzer. Zwischen 30 und 40 Prozent gaben an, dass es ihnen dank Instagram besser gehe. Der höchste Wert liegt bei Jungs in den USA, wo fast die Hälfte Instagram positiv bewertet.
Zehntausende von jungen Instagram-Nutzern befragte der Mutterkonzern Facebook zwischen 2018 und 2021. Die Resultate, die das «Wall Street Journal» nun publik macht, zeichnen kein schmeichelhaftes Bild.
Teenager in den USA und Grossbritannien gaben in einer Studie an, welche ihrer negativen Gefühle wegen Instagram entstanden sind. Die Antworten: Bis zur Hälfte fühlt sich unter Druck, ein perfektes Foto schiessen zu müssen; je 40 Prozent finden sich nicht attraktiv genug und denken, dass sie zu wenig Geld besitzen. Ein Drittel sorgt sich darüber, zu wenig Freunde zu haben, und ein Fünftel fühlt sich einsam. Zudem geben Teenager Instagram die Schuld für erhöhte Angst und Depressionen. 13 Prozent in Grossbritannien und 6 Prozent in den USA führten Suizidgedanken auf Instagram zurück.
Die Facebook-Forscher weisen in einer internen Präsentation darauf hin, dass viele Probleme spezifisch für Instagram sind. Der soziale Vergleich sei dort besonders schlimm. Andere Plattformen, zum Beispiel Tiktok, betone Leistung, bei Snapchat liege der Fokus vor allem auf dem Gesicht und lustigen Filtern. Auf Instagram hingegen zählen der Körper und Lebensstil, was besonders bei jungen Frauen zu Essstörungen führen könne.
Hierbei ist besonders die sogenannte Explore Page toxisch. Diese Seite wird bespielt von einem Algorithmus, der ständig neue Fotos und Videos anzeigt zu Themen, auf denen Nutzerinnen lange verweilen. So tauchen sie immer tiefer ein in eine Bilderflut, aus der sie kaum rauskommen.
Die negativen Effekte betreffen jedoch nicht alle Nutzer. Zwischen 30 und 40 Prozent gaben an, dass es ihnen dank Instagram besser gehe. Der höchste Wert liegt bei Jungs in den USA, wo fast die Hälfte Instagram positiv bewertet.