Text-Generation-Webuiのllama.cppだけをアップデートした。
qwen3.5を試そうと思って、Text-Generation-Webuiで使おうとしたら、ロード時にエラー。知らないアーキテクチャといわれた。
huggingfaceを見ると、最新のllama.cppを使っているとある。そこでこれをアップデートすることにした。手動で。
requirementsを見る
Text-Generation-Webuiのrequirements.txtを見ると以下のような記述があった。リンクは先頭のhを削っているので注意:
# CUDA wheels
ttps://github.com/oobabooga/llama-cpp-binaries/releases/download/v0.74.0/llama_cpp_binaries-0.74.0+cu124-py3-none-win_amd64.whl; platform_system == "Windows"
ttps://github.com/oobabooga/llama-cpp-binaries/releases/download/v0.74.0/llama_cpp_binaries-0.74.0+cu124-py3-none-linux_x86_64.whl; platform_system == "Linux" and platform_machine == "x86_64"
ttps://github.com/turboderp-org/exllamav3/releases/download/v0.0.18/exllamav3-0.0.18+cu128.torch2.7.0-cp311-cp311-win_amd64.whl; platform_system == "Windows" and python_version == "3.11"
...そして、実際、cmd_windows.bat pip freezeすると、仮想環境でのモジュールを確認できる。このあたりのURLが指定されていた。
これは戻すのも簡単だろうということで、実行に移す。
force-reinstallする
以下のコマンドを実行するだけ。リンクは先頭のhを削っているので注意。
cmd_windows.bat pip install --upgrade --force-reinstall ^
ttps://github.com/oobabooga/llama-cpp-binaries/releases/download/v0.87.0/llama_cpp_binaries-0.87.0+cu124-py3-none-win_amd64.whlアップデートでき、ggufが使えるようになった。
ただやはり微妙に使いづらいのでお試しだけになりそうだ。
ttpsは記事を書く上では必要な作業だった。
以上です。
