_ [雑談]

なんか rocm がいい感じになってきているっぽいので llama.cppを rocm backend で動かしたいと思って、開発中のrocmのコードを持ってきてビルドしたけど、かなりクラッシュする、けど激早くなった。

で、 https://www.amd.com/en/developer/resources/technical-articles/2026/how-to-run-a-one-trillion-parameter-llm-locally-an-amd.html の記事を読んだ。このクラスターいいなあ。で、最新の rocm じゃなくても rocwmma の flash attention 使えるんだと分かったので、明日あたり試してみたい。

ちょっと試してみたけど、やっぱりまだvulkanのほうが早かった。でもrocmでもvulkanと同じくらい、ほんのちょっと遅いくらいで動いた。激早いと思ったのは勘違いだったかな。