換新電腦的目的之一就是跑Local LLM。實測的結果是24G的記憶體勉強能跑到12G的模型，實務上低於10G比較安全，畢竟同時不會只跑LLM。 但真正的問題是MacBook Air沒有散熱，就算能跑，最後也是過熱當機，CPU/GPU的效能遠超過機器能承受的限度。解決方案是開啟省電模式(Low Power Mode)，溫度就維持在50-60度，而不會破百。 目前 Qwen 27B 4 bit 太大，3 bit 勉強。Ternary-Bonsai-27B (2 bit) 剛好，1 bit 就語無倫次了。BTL3-Compact 看起來有趣，但格式特殊，客製化的引擎有點問題，只能先列入觀察名單了。 要來研究有沒有Medium Power Mode了。🤔