部署service服务,加载llama-65b模型时出现out of memory报错提示,如下图所示。
权重太大,内存不足。
将config.json文件中ModelParam的npuMemSize调小,比如调成8。