新增特性

1

MindIE Service

1. 新增MindIE MS功能，整合Kubernetes生态组件（包括昇腾MindX DL组件），提供MindIE Server推理服务单模型多机的部署、删除服务和服务状态监控管理能力。

2. 新增服务化MindIE Benchmark工具，支持通过部署昇腾服务化配套包后，以调用终端命令的方式测试大语言模型的在不同配置参数下推理性能和精度，并通过表格的形式展示模型在各个阶段的推理耗时（例如FirstTokenTime,DecodeTime等），以及对应时延的平均值、最小值、最大值、75分位（P75）和99分位（P99）概率统计值，最后将计算结果保存到本地csv文件中。

3. 支持Atlas 800I A2推理产品多机推理（提前部署ROCE网络）。

2

MindIE LLM

1. 新增TextGenerator功能，负责模型的前后处理、自回归推理、并行解码插件化推理，面向调度层提供统一的推理接口。

2. 新增MindFormers对接，支持ATB-Models、MindFormers多模型后端，使能多框架推理能力。

3. 新增W4A16量化能力。

4. 新增多机推理能力。

5. 新增ATB Models中Qwen1.5/LlaMa3/StarCoder2/Gemma等预置模型推理能力。

3

MindIE SD

1.SDXL新增controlnet、lora、inpainting特性支持；支持动态分档和动态shape；支持Atlas 300I Duo 推理卡推理。

2.新增EulerAncestralDiscreteScheduler / DPM ++ SDE Karras采样器支持。