weil es aus Sicht des Computer tatsächlich einen Unterschied zwischen "h" und "H" gibt

Das Problem ist ja, dass einige Leute dem Computer (mindestens) menschliche Intelligenz zusprechen. Hat er schlichtweg nicht; selbst wenn er die Instruktionen "versteht" fehlt ihm der menschliche Erfahrungskontext um zu beurteilen ob Case Sensitive Matching hier Sinn macht.

Das wird dann tückisch, wenn Menschen nach Fakten fragen und der Computer einen faktenähnlichen Text generiert ohne zu wissen, auf welche Details es ankommt. Die beliebten Beispiele sind Quellenangaben und Präzedenzfall-Verweise die gar nicht existieren. Woher soll der Computer wissen, dass du Fälle meinst, die wirklich existieren und relevant für dein Plädoyer sind? Woher soll er überhaupt wissen, wie relevant die genau sind?

Uns ist vielleicht klar, dass man sowas zumindest prüfen muss, aber wir sind auch nicht die Zielgruppe, die diesem Irrtum auf dem Leim gehen. Die Hype-Crowd hat es offensichtlich auch nicht sehr eilig, dieses Fehlerbild zu entzerren.

Da hilft es nicht, wenn wir als Programmierer sagen können "klar, hast die Frage ja nicht präzise gestellt"; wenn der KI menschliche Intelligenz zugeschrieben wird müsste sie zumindest die Mehrdeutigkeit erkennen und nach Klarstellung fragen, oder einfach beide Antworten liefern.

Zufall ist beim Generieren von Sprache gut, weil die nicht exakt ist oder sein muss. Aber wenn er eine Frage faktisch richtig beantworten kann, macht es keinen Sinn, das zufällig mal falsch zu machen. Wenn ich Fehler will, mach ich sie selbst. Das ist nicht das geeignete Anwendungsgebiet, und darum geht es hier letztlich:

Frag LLMs nicht nach Fakten. Sie sind wunderbar im Texte schreiben, aber die Fakten musst du selbst liefern.