Post #4460198

Ich mag LLMs. Sie sind ein tolles Werkzeug. Aber ich möchte diese lokal nutzen. Als HiWi für kleine Arbeitsaufgaben. Ich freue mich schon, wenn die Blase platzt und ich potente LLMs selbst nutzen darf. Auch Hardware, welche kein Atomkraftwerk braucht. Es gibt genug Beispiele lokal LLMs ausführen zu können. Und Murphy wird es auch hier richten. Iron Man kann nicht arbeiten und fliegen, da er Jarvis nicht erreicht, weil er Kunde bei Vodafone Business ist. Ich sehe mich mit einem Apple Mini mit 96GB RAM, minimalen Verbrauch und einem lokalen LLM. Im Moment leider bei den Kosten nicht möglich. Der Vergleich ist hier ein Dual Xeon 3.6GHz mit 64GB ECC RAM und eine ATi Graka, welcher nie angeschaltet ist, da 2000Watt Netzteil. Dies zum Thema Strom, als Nebensatz #adminlife