模型部署好之后，权重占的显存基本固定。为什么并发用户一多，显存还是先告急？因为真正随用户数量线性膨胀的，是每个请求都要独占一份的 KV Cache。