开发工具

什么是精度比对？

精度比对是指通过NPU运行生成的dump数据与Ground Truth（基于GPU/CPU运行生成的npy数据）进行比对。实现自主研发算子与业界标准算子运算结果的差异比较。

详细介绍请参见：

• 命令行：《精度比对工具使用指南》。
• IDE：《MindStudio用户指南》的“精度比对”。

什么是单算子比对？

精度比对的一种方式。选择网络模型中一个或多个参与计算的算子进行精度比对。

详细介绍请参见：

• 命令行：《精度比对工具使用指南》。
• IDE：《MindStudio用户指南》的“精度比对”。

如何进行精度比对？

1. 获取NPU dump数据和GPU/CPU dump数据。
2. 使用精度比对工具对两份dump数据进行比对。

什么是专家系统？

专家系统是用于聚焦模型和算子的性能调优Top问题，识别性能瓶颈，重点构建模型和算子瓶颈分析并提供优化推荐，支撑开发效率提升的工具。

详细介绍请参见：

• 命令行：《专家系统工具使用指南》。
• IDE：《MindStudio用户指南》的“专家系统”。

如何使用专家系统工具？

1. 根据专家系统工具的要求准备输入数据。
2. 在专家系统工具执行操作下填入数据，并执行，等待输出结果。

什么是专家系统自有知识库？

专家系统自有知识库是指专家系统工具原生提供的模型或算子性能瓶颈识别功能，支持部分特定场景的瓶颈识别并输出优化建议。

详细介绍请参见：

• 命令行：《专家系统工具使用指南》。
• IDE：《MindStudio用户指南》的“专家系统”。

什么是性能分析？

性能分析工具为用户提供了端到端的数据采集、分析及可视化展示的能力，能够准确定位软硬件的性能瓶颈，并给出针对性的性能优化建议。

• 命令行：《性能分析工具使用指南》。
• IDE：《MindStudio用户指南》的“性能分析”。

什么是集群场景性能分析？

已采集昇腾处理器硬件、操作系统、进程及线程、函数等各层级的性能原始数据，性能分析工具导入原始数据后进行可视化的展示，并进行性能指标的分析，定位到具体瓶颈点和热点函数，最后输出优化建议，帮助用户快速定位和处理软件性能问题。

• 命令行：《性能分析工具使用指南》。
• IDE：《MindStudio用户指南》的“性能分析”。

如何使用性能分析工具？

1. 准备昇腾AI应用或训练工程。
2. 选择合适的性能采集方式并配置需要的采集项。
3. 执行性能数据采集。
4. 进行性能数据分析。

什么是PTQ量化？

PTQ（Post-Training Quantization）即训练后量化，训练后量化会量化预训练的浮点模型和使用部分训练数据来校准模型，从而减小模型大小，并且加快推理过程。包含Data-Free和Label-Free算法，这两种训练后量化算法可在昇腾推理平台进行，同时支持有/无校准数据集的PTQ量化场景，可将Float浮点模型转换为定点INT8模型，达到模型压缩、减少计算量、提升推理时延的目的。

• Data-Free量化：无需获取输入数据集，即可对模型进行量化。通过翻转优化权重，多尺度渐进迭代优化的方法在无数据场景实现了有效量化。
• Label-Free量化：用户需要提供少量数据集做矫正，相比于无数据量化，Label-Free量化的输入数据符合原数据分布，量化精度会更高。

什么是QAT量化？

QAT（Quantization Aware Training ）即量化感知训练，是在模型中插入伪量化模块（quantizer）模拟量化模型在推理过程中进行的舍入（rounding）和钳位（clamping）操作，从而在训练过程中提高模型对量化效应的适应能力，获得更高的量化模型精度 。在这个过程中，所有计算（包括模型正反向传播计算和伪量化节点计算）都是以浮点计算实现的，在训练完成后才量化为真正的INT8模型。