高品質なローカル推論用GGUFの量子化を実現。画像- 動画-…
このサイトの記事を見る
GitHub – huawei-csl/MACaQ: SOTA model-agnostic quantization for GGUF, local inference and beyond. Quantize and run text, image, video and audio models with llama.cpp, vLLM, Diffusers and PyTorch. · GitHub
未分類