部署service服务,加载LLaMA-65B模型时出现out of memory报错提示,如下图所示。
权重太大,内存不足。
将config.json文件中ModelConfig的npuMemSize调小,比如调成8。