Post #3974158

@knud@mastodon.social @Fischblog@chaos.social Wenn die Hyperscaler nicht den Hardwaremarkt leerkaufen würden, hätten längst schon viel mehr Leute, die LLMs und sonstige große ML-Modelle einsetzen, lokale Systeme am Laufen, die keinen Cloud-Anbieter benötigen. Es gibt genug kompakte Modelle, besonders aus China, die relativ bescheidene Hardwareansprüche haben und auf einer Maschine lauffähig sind, die vor der künstlichen Verknappung von RAM und GPUs vielleicht 1500€ gekostet hätte (jetzt ein Vielfaches, wenn man sie überhaupt bekommt). Und die chinesischen Modelle stehen meist auch noch unter freien Lizenzen, man kann sie einfach so herunterladen und benutzen, ohne irgendwelche Gebühren zahlen zu müssen, und kann sie auch modifizieren.