Wall of Text incoming, sorry.
Probabilistic vs deterministic: LLMs sind Textgeneratoren. Sie rufen keine gespeicherten Antworten ab, sie interpolieren zwischen Milliarden von Mustern und erzeugen daraus neuen Text. Das klingt beeindruckend, und das ist es technisch gesehen auch. Aber es ist eben etwas fundamental anderes als Verstehen. Wikipedia ruft Daten ab. Eine LLM rät sehr gut. Intelligenz ist keines von beidem.
Das eigentliche Problem liegt im Unterschied zwischen Grammatik und Semantik und ich glaube das wird oft unterschätzt. Eine LLM beherrscht Struktur. Sie hat ein außergewöhnliches Gespür dafür, welche Wörter in welchem Kontext wahrscheinlich folgen. Aber Bedeutung? Die erschließt sich der LLM nicht.
Bei Programmierung wird das besonders deutlich weil dort die Syntax sehr klar und eng definiert ist, die Semantik dahinter aber enorm komplex. Eine LLM schreibt Code der funktioniert, manchmal sogar eleganten Code, aber sie hat keine Ahnung was dieser Code in der Welt bewirkt. Soe erkennt Muster in Code genauso wie in einem Gedicht.
Natürlich gibt es den Einwand: "Wenn ein Modell so konsequent richtig liegt, ab wann spielt es dann noch eine Rolle ob es wirklich versteht?"
Das ist philosophisch nicht uninteressant. Aber ich finde es verwechselt Erscheinung mit Substanz. Ein Taschenrechner schlägt jeden Menschen in Arithmetik. Trotzdem käme niemand auf die Idee zu sagen er verstehe Mathematik.
Wie kann man mich überzeugen?
Gib einer LLM alles was die Menschheit bis 1905 wusste und nichts darüber hinaus. Dann schau ob sie von selbst auf Einsteins Relativitätstheorie kommt. Nicht nacherzählen, sondern entdecken. Ich bin ziemlich sicher was passieren wird. Und so lange dieses Experiment scheitert bleibt "Intelligenz" im Zusammenhang mit LLMs das was es immer war: eine Metapher.