(openPR) Das Team stellte die Arbeit am 1. Oktober 2024 in Padua auf dem 27th International Symposium on Research in Attacks, Intrusions and Defenses (RAID) vor.
Die Forschenden der Ruhr-Universität Bochum kooperierten für die Arbeit mit Kollegen des Helmholtz-Zentrums für Informationssicherheit CISPA in Saarbrücken und des Leibniz-Instituts für Sozialwissenschaften GESIS in Köln. Die Arbeiten fanden im Rahmen des Exzellenzclusters Cybersecurity in the Age of Large-Scale Adversaries, kurz CASA, statt.
„Mithilfe von KI kann man heutzutage täuschend echt aussehende Bilder erzeugen, die in den Sozialen Medien dafür missbraucht werden können, um scheinbar reale Accounts zu erstellen“, erklärt Jonas Ricker. Wie verbreitet solche KI-generierten Profilbilder sind, ist bislang kaum untersucht. Die Forschenden trainierten eine Künstliche Intelligenz darauf, reale von KI-generierten Bildern unterscheiden zu können. Mit diesem Modell analysierten sie automatisiert die Profilbilder von rund 15 Millionen Twitter-Accounts. Die Daten dafür stammten aus März 2023. Alle Accounts, die kein Porträtbild als Avatar nutzten, schlossen die Forschenden aus ihrem Datensatz aus. Etwa 43 Prozent aller Accounts verblieben in der Analyse. 7.723 davon klassifizierte das Modell als KI-generiert. Die Ergebnisse überprüften die Forschenden stichprobenartig auch manuell.
Im nächsten Schritt schaute sich das Team an, wie sich Accounts mit KI-generierten Bildern im Vergleich zu Accounts mit realen Personenbildern auf der Plattform verhielten. Fake-Bild-Accounts hatten im Durchschnitt weniger Follower*innen und folgten auch selbst weniger anderen Accounts. „Auffällig war auch, dass über die Hälfte der Fake-Bild-Accounts erst 2023 erstellt worden ist, teils wurden hunderte Accounts in einigen Stunden aufgesetzt – ein Hinweis, dass es sich nicht um echte Nutzerinnen oder Nutzer handelt“, folgert Jonas Ricker. Neun Monate nach der ersten Datensammlung schauten die Forschenden, ob die Fake-Bild-Accounts und eine gleiche Anzahl von Echt-Bild-Accounts noch aktiv waren und stellten fest, dass über die Hälfte der Fake-Bild-Accounts zu diesem Zeitpunkt von Twitter gesperrt worden war. „Ein weiteres Indiz, dass es sich um Accounts handelt, die unlauter agiert haben“, so Ricker.
Die Wissenschaftlerinnen und Wissenschaftler untersuchten darüber hinaus die Inhalte, mit denen die Fake-Bild-Accounts auf Twitter in Erscheinung traten. Dabei zeigten sich einige wiederkehrende Themen, etwa Politik – häufig mit Trump-Bezug –, Covid-19 und Impfungen, der Ukraine-Krieg, Verlosungen oder Finanzen inklusive Kryptowährungen. „Wir können nur mutmaßen, was dahintersteckt“, sagt Jonas Ricker. „Aber es ist davon auszugehen, dass einige Accounts erstellt wurden, um gezielt Desinformationen oder politische Propaganda zu verbreiten.“
Die Arbeiten wurden unterstützt von der Deutschen Forschungsgemeinschaft im Rahmen der Exzellenzstrategie (EXC 2092 CASA – 390781972), vom Bundesministerium für Bildung und Forschung im Rahmen des Grants UbiTrans (16KIS1900), von der Leibniz Association Competition (P101/2020) sowie vom Deutschen Akademischen Austauschdienst.
wissenschaftliche Ansprechpartner: Jonas Ricker Lehrstuhl für Maschinelles Lernen Fakultät für Informatik Ruhr-Universität Bochum Tel.: +49 234 32 22797 E-Mail:
