KI-basierte KI-Detektoren können nicht stets oder gut erkennen, ob ein Text mit KI generiert wurde, sie können nur erkennen, ob ein Text schlecht mit KI generiert wurde. Die KI-Detektoren schlagen besonders gerne an, wenn ein Text hölzern ist.
@emollick nennt das die „Detection Illusion“:
oneusefulthing.org/p/post-ap… (siehe Screenshot) Das ist ein Problem, weil dann auch Texte als KI-generiert identifiziert werden, die es nicht sind. Gleichzeitig werden Texte die nur KI generiert, aber sehr gut geschrieben sind, nicht als solche erkannt (und dann kommt es auf die jeweiligen Umstände an, ob das überhaupt ein Problem ist oder nicht). Die Nähe zum Lügendetektor ist real: KI-basierte KI-Detektoren wären als Beweismittel im Prozess wohl untauglich, weil Sie ebenfalls eine Black Box sind, sie also nicht dokumentieren oder erläutern können, warum aus ihrer Sicht etwas als KI-generiert gilt, bzw. wissen wir nicht, ob die schriftliche Auskunft des KI-Detektors wirklich dessen richtige Erklärung/Begründung ist. Denn auch ein KI-Detektor kann Bias haben, das ist überhaupt nicht abschaltbar:
Zum Beispiel werden regelmäßig alle deutschen Gesetze von solchen KI-basierten KI-Detektoren als KI generiert identifiziert, selbst das GG. Ebenso kann es passieren, dass Texte von Leuten, die nicht Muttersprachler sind, als KI generiert identifiziert werden, dabei sind sie lediglich vielleicht nicht so eloquent, wie ein Muttersprachler die geschrieben hätte. Guckt man sich die aktuelle Rechtsprechung Deutschland an, sieht man auch, dass die Gerichte sich nicht auf KI-Detektoren stützen, sondern auf weitere, nicht KI-relevante Umstände, die belegen, dass jemand akademischen Betrug begangen (VG München, Zulassung zum Masterstudium) hat oder die Arbeit nicht gemacht (LG Darmstadt, Unfallsachverständiger) und es kommt Wirklichkeit oft gar nicht per se darauf an, ob etwas mithilfe von KI geschrieben wurde, sondern (1) ob das geschriebene tatsächlich echte Gedanken eines Menschen und den echten gedanklichen Ausdruck dieses Menschen enthält oder vom Autor nicht mal gelesen wurde und (2) ob es schlecht ist und schlampig. Wie in dem konkreten Fall von Voigt in der FAZ, wo ja etliche von dessen Zitaten überhaupt nicht stimmen, was man auch ohne KI-Detektor redaktionell hätte herausfinden können, wenn jemand in der Redaktion vor Veröffentlichung die Zitate selber gecheckt hätte oder Herrn Voigt gebeten hätte die Quellen mal bitte vorzulegen (das hätte er nicht gekonnt und dann hätte man sich die Veröffentlichung erspart).