免费提示词
估算本地大模型显存和部署方案
适合想在本机跑模型的人。你要提供:显卡内存配置和业务场景。
请根据我现有的硬件显卡/内存配置与业务场景,帮我计算出最适合部署的模型尺寸、量化等级、最大并发上下文,并给出启动与接口调用方案。
示例片段(ans-vram-calc.py)
只是写法示意,不是完整程序。
# ANS 本地大模型权重与 KV Cache 显存占用精算器 (ans-vram-calc.py)
def estimate_ans_llm_vram_gb(params_b: float, bits: int = 4, ctx_len: int = 8192) -> dict:
weights_gb = round(params_b * (bits / 8.0) * 1.12, 2)
kv_cache_gb = round((ctx_len / 4096.0) * (params_b / 7.0) * 0.65, 2)
return {"weights_gb": weights_gb, "kv_cache_gb": kv_cache_gb, "total_recommended_gb": round(weights_gb + kv_cache_gb + 1.2, 2)}免费使用,可用于个人和商业项目。模型输出的内容由你自己核对。