自分の手元で動かすLLM、Gemma3 27b に代わるいいやつはないかなと思い、いろいろと試してきたのだが、ついにこれと思えるやつがあった。
とっくに有名なやつでみんな既に使っていると思うけど、 Llama-4-Scout-17B-16E-Instruct これがよかった。名前は知っていたけど、試したことがなかったのだった。
Gemma 3 27b と同じように安定して軽快に動くので使いやすい、それでいて、たぶん結構かしこいはず。
Qwen3 とか DeepSeek R1も試したんだけど不安定なので使いたいと思わなかったのだ。
GPT-OSSは瑣末なことにすぐ目を奪われてコード書き始めたり、なんというか短絡的でダメだった。
Llama 4 Scout は Gemma と比べたら起動がずっと遅い、90GBもメモリ食うから仕方がない、でも起動さえしちゃえば動作は早いのだ。すばらしい。ありがたや。