Moin, also Qwen 3.6 35B MoE (mix of experts ist ganz wichtig) läuft auf lokaler Hardware super. 3.8 ist gerade raus aber noch kein MoE-Modell. Das Besondere ist, dass man hier nur die aktiven experts in den VRAM laden kann und den Rest in den CPU/RAM auslagern kann. Auslagern geht auch bei anderen Modellen aber die MoE-Architektur macht’s nochmal besser. Läuft auf 8GB-VRAM mit 17 Tokens pro Sekunde (und das ist noch steigerbar, habe mir nur viel Kontext freigelassen). Erstmal nur Text, versteht sich. Aber zum Coden super. Kann man auch mit Tools erweitern oder mit Open Notebook/Zoo Code etc. arbeiten lassen. Qwen 3.8 soll an Flagshipmodelle wie Claude Opus ranreichen. Die Entwicklung geht jedenfalls dahin, dass nicht mehr Hardware gebraucht wird, sondern weniger. Ich denke, dass bald die meisten ihr eigenes LLM mit Tools und Erweiterungen laufen haben werden. Für Bilder und Videos braucht man natürlich mehr. Aber auch da wird die Entwicklung Richtung Ressourcensparsamkeit gehen, vermute ich. Schlecht für die Abokraken, gut für die Nutzer.

https://youtu.be/8F_5pdcD3HY