_ [雑談]

もう8月。

日記編集画面の角が丸くなったのはtdiaryが変わったからなのか、それともブラウザが変わったからなのか、不思議だ。

LLMで遊ぶ用のいろんなFLOSSやFLOSSっぽいけどFLOSSじゃないものがあるんだけど、僕はなるべくLLMを直接使いたいと思っているので、今のところはllama.cppだけ使って、あとはゴミのようなpythonコードでそれをラッピングしている。

アプリ開発者としては、LLMにJSONを出力させて、そのJSONをpythonで読み取って何かしら処理して別のJSONを作って、それをまたLLMに与えて、LLMに別のJSONを出させて、そのJSONをpythonで何か処理してまたJSON作って、という繰り返しで何かAIっぽい便利アプリを作ったらいいのかなと思っている。

とりあえず、llama.cpp の cli コマンドで改行入りの文章を一塊のテキストとして入力できないので、それをやるしょうもないpythonコードをLLMに書いてもらって、そのコードのままでは動かなかったのでちょっと直して動くようになり、無事に改行入りの文章をLLMに与えられるチャットができた。これで自分のパソコンのLLMとチャットができるようになったので一旦は満足した。

こんな感じで、自作のゴミのような deep search とか coding agent とかを作りたい、というか簡単に作れると思う。なんか、あんまり行数いらないと思う。

なんか無駄にVRAMがいっぱいあるので、二つのLLMを動かしてチャットをさせるという不毛なこともできたりする。