I had this happen when a game at random times filled up the available memory so quickly that it froze completely before any OOM watchdog could catch it.

Das Grundproblem ist doch ein ganz anderes. Klar können Leute wie du und ich das einschätzen und Wege finden, das irgendwie zum Laufen zu kriegen. Aber das ist überhaupt nicht mein Punkt und das habe ich auch versucht darzustellen. Der Punkt ist, dass diese Chatbots ganz normalen Leuten als allwissendes Universalwerkzeug verkauft werden und diese Normalos überhaupt keine Chance haben den Output richtig einzuschätzen und die entsprechenden Schlüsse zu ziehen. Darüber hinaus unternehmen diese Anbieter auch nichts, um die Nutzer im Umgang mit LLMs zu schulen (ausser dem winzigen Disclaimer dass die Informationen falsch sein können am Ende der Seite). Stattdessen wird die Wunderwelt der künstlichen Intelligenz gepredigt.

Deine Argumentation “das ist ein Bedienproblem” zieht ab der Stelle nicht mehr wo Dinge als etwas verkauft werden was sie nicht sind. So zu tun als wäre ein LLM in irgendeiner Weise intelligent (und das tun ausnahmslos alle, die “AI” anbieten) ist absolut fahrlässig. Und aus dieser Perspektive betrache ich das eben auch wenn ich einen Chatbot teste.

Ich habe Mistral gerade mal ausprobiert. Ich teste Nischenwissen, über welches wenig im Netz verfügbar ist, und dafür nehme ich gern die Assembly-Programmiersprache IC10 im Spiel “Stationeers”. Das Ergebnis war einfach nur unterirdisch schlecht, denn der gesamte Output war von Anfang bis Ende komplett halluziniert. Kompletter Unfug. Es wurden Scriptbeispiele genannt, die so aussahen wie Javascript-Pseudocode und absolut nichts mit IC10 zu tun hatten. Auf den Hinweis, dass es sich bei IC10 um eine MIPS-orientierte assembly language handelt kam dann die “Korrektur”, welche mit erfundenen MIPS-ähnlichen Instructions irgendwelchen weiteren kompletten Unsinn dargestellt hat. Darüber hinaus wurden noch Mechaniken erfunden, die es im Spiel überhaupt nicht gibt.

Ich bin sowieso kritisch eingestellt, was die Nutzung von LLMs als “Universalwerkzeug” angeht, und habe meinen ChatGPT-Account bereits gekündigt. Frage mich aber, wie Menschen solche Chatbots ernsthaft produktiv nutzen wollen. Ein System, welches Wissenslücken mit Lügen im selbstbewusstem Tonfall füllt ist einfach absolut nicht hilfreich. Man könnte natürlich argumentieren, dass Chatbots für andere Wissensbereiche (z.B. Python) eine wesentlich bessere Datengrundlage haben und das dann besser funktioniert. Aber kann man einem System auch nur halbwegs vertrauen wenn es sich bei Wissenslücken um Kopf und Kragen halluziniert? Ich hätte da Bedenken. Bei Fragen mit einer besseren Datengrundlage sind die Fehler dann subtiler und schwieriger zu finden, aber das Grundprinzip LLM bleibt ja das selbe.

I had issues with python. The language server would just exit randomly leaving Codium with the functionalit of a glorified text editor.

I just saw VS Codium as an alternative to VS Code on the list. My personal experience with Codium, nothing works reliably and there is no support, not even a user community. When the language server crashes often and randomly with only an exit code in the log, leaving you without code completion and other basic IDE functions it’s not fun. It was a world of pain and I can’t recommend it.