_ [雑談]

へえ openai が open weight model を出したんだ、harmony ってなんじゃろ、llmのことは知らんことばかりだし、って思ったら、新しいツールだった。これすごくよさそう、というかこういうのがあるとllmを誰でも簡単に上手にシステムプロンプトを書けて制御できるよね、そういうツールっぽい。どんどん道が舗装されていく。

build-vulkan/bin/llama-cli -hf unsloth/gpt-oss-120b-GGUF:F16 --threads 0 --ctx-size 16384 --n-gpu-layers 99 --temp 1.0 --min-p 0.0 --top-p 1.0 --top-k 0.0

こんなんで gpt-oss-120b が意外と早く動いた(40 token/secくらい)。 Ryzen AI Max+ 395、こいつはお買い得だ。

それにしても暑い。8月になってから暑さが強烈というか夜でも暑いまんまね。これからもっと暑くなったりするんだろうか。恐ろしい。