怎么做百度提交入口网站今日新闻头条热点

chatglm量化推理指标对比，单卡显存32G, 保持batchsize为64不变。通过不同的量化可以节省显存进而提升提升batch size，加快全量数据的推理速度。当然通过量化可以降低大模型的显存使用门槛。