下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

ASCEND_WORK_PATH

功能描述

若开发者期望编译运行过程中产生的文件落盘到归一路径,可通过此环境变量设置单机独享文件的存储路径,各组件编译运行过程中产生的单机独享文件会存储到此环境变量定义的路径中。
  • 此环境变量指定的路径支持大小写字母(a-z,A-Z)、数字(0-9)、下划线(_)、中划线(-)、句点(.)、中文字符。
  • 请确保指定的路径存在且路径有效,执行用户需要具有读、写、可执行权限。

各组件落盘到${ASCEND_WORK_PATH}路径下的文件如下表所示。

表1 各组件进程独享文件落盘路径汇总

组件

共享文件落盘路径

文件内容

优先级说明

AOE

${ASCEND_WORK_PATH}/aoe_data

记录AOE调优过程中的相关信息,包括调优任务名称、调优耗时、调优前后的模型执行时间/算子执行时间、知识库命中信息等。

ASCEND_WORK_PATH > AOE默认调优工作目录

AOE默认调优工作目录为:

${install_path}/latest/tools/aoe/conf/aoe.ini中“WORK_PATH”参数的取值。

LOG

${ASCEND_WORK_PATH}/log

日志文件。

ASCEND_PROCESS_LOG_PATH > ASCEND_WORK_PATH > 日志默认存储路径($HOME/ascend/log)

TRACE

${ASCEND_WORK_PATH}/atrace

trace日志文件。

ASCEND_WORK_PATH > trace日志默认存储路径($HOME/ascend/atrace)

ATC

${ASCEND_WORK_PATH}/kernel_meta

算子编译生成的调试相关的过程文件,包括但不限于算子.o(算子二进制文件)、.json(算子描述文件)、.cce等文件。

参数“debug_dir” > ASCEND_WORK_PATH > 默认路径(./当前执行路径)

${ASCEND_WORK_PATH}/

预检结果文件check_result.json。

参数“check_report” > ASCEND_WORK_PATH > 默认路径(./当前执行路径)

$ASCEND_WORK_PATH/FE/${进程号}/fusion_result.json

除去fusion_switch.cfg文件中关闭的融合规则外,仍旧使用的融合规则。

ASCEND_WORK_PATH > 默认路径(./当前执行路径)

${ASCEND_WORK_PATH}/

开启DUMP图描述信息打印的场景下(即配置环境变量DUMP_GE_GRAPH的场景),会落盘相应的DUMP图文件。

环境变量“DUMP_GRAPH_PATH” > ASCEND_WORK_PATH > 默认路径(./当前执行路径)

TF Adapter

${ASCEND_WORK_PATH}/kernel_meta

算子编译生成的调试相关的过程文件,包括但不限于算子.o(算子二进制文件)、.json(算子描述文件)、.cce等文件。

TF Adapter配置参数“debug_dir” > ASCEND_WORK_PATH > 默认路径(./当前执行路径)。

TF Adapter配置参数“debug_dir”的详细说明可参见:

${ASCEND_WORK_PATH}_<pid>_<sessionid>

开发者通过配置参数“external_weight”开启权重外置的场景下,此目录下存储Const/Constant节点的权重文件。

ASCEND_WORK_PATH > 默认路径(./当前执行路径)

${ASCEND_WORK_PATH}/

开启DUMP图描述信息打印的场景下(即配置环境变量DUMP_GE_GRAPH的场景),会落盘相应的DUMP图文件。

环境变量“DUMP_GRAPH_PATH” > ASCEND_WORK_PATH > 默认路径(./当前执行路径)

${ASCEND_WORK_PATH}/extra-info/data-dump/<device_id>

配置参数“enable_exception_dump”取值为“2”且未配置环境变量“NPU_COLLECT_PATH”的场景下,落盘异常算子的输入数据。

ASCEND_WORK_PATH > 默认存储路径(当前脚本执行路径)。

$ASCEND_WORK_PATH/FE/${进程号}/fusion_result.json

除去fusion_switch.cfg文件中关闭的融合规则外,仍旧使用的融合规则。

ASCEND_WORK_PATH > 默认路径(./当前执行路径)

AscendCL

${ASCEND_WORK_PATH}/kernel_meta

算子编译生成的调试相关的过程文件,包括但不限于算子.o(算子二进制文件)、.json(算子描述文件)、.cce等文件。

  • 构图接口"aclgrphBuildInitialize"中参数“DEBUG_DIR” > ASCEND_WORK_PATH > 默认路径(./当前执行路径)
  • 构图接口"aclgrphBuildModel"中参数“DEBUG_DIR” > ASCEND_WORK_PATH > 默认路径(./当前执行路径)
  • 应用编译接口“aclCompileOpt”中参数ACL_DEBUG_DIR > ASCEND_WORK_PATH > 默认路径(./当前执行路径)

${ASCEND_WORK_PATH}_<pid>_<sessionid>

开发者通过配置参数“external_weight”开启权重外置的场景下,此目录下存储Const/Constant节点的权重文件。

ASCEND_WORK_PATH > 默认路径(./当前执行路径)

Profiling

${ASCEND_WORK_PATH}/profiling_data

Profiling工具收集到的性能数据的存放路径。

离线推理场景

  • 若通过msprof命令采集性能数据,优先级如下:

    --output参数 > ASCEND_WORK_PATH > 默认路径(推理执行的模型文件存储路径)

  • 若通过“acl.json”配置文件方式采集性能数据,优先级如下:

    配置参数“output” > ASCEND_WORK_PATH > 默认路径(应用工程可执行文件所在目录)

TensorFlow训练/在线推理场景

PROFILING_OPTIONS环境变量中的“output”参数、训练脚本“profiling_options”配置中的“output”参数、训练脚本调用Profiler类配置的“output_path”参数,优先级大于ASCEND_WORK_PATH。

需要注意:训练/在线推理场景下,output/output_path参数与环境变量ASCEND_WORK_PATH二者需要配置一个,否则profiling性能数据采集功能报错。

PyTorch训练/在线推理场景

on_trace_ready=tensorboard_trace_handler函数指定的性能数据路径 > ASCEND_WORK_PATH > 默认路径

若配置tensorboard_trace_handler函数后未指定具体路径,可以通过环境变量ASCEND_WORK_PATH设置,此时落盘的性能数据会自动解析;若代码中未使用on_trace_ready=torch_npu.profiler.tensorboard_trace_handler函数,那么通过环境变量ASCEND_WORK_PATH设置并落盘的性能数据为原始数据。

配置示例

export ASCEND_WORK_PATH=/repo/task001/172.16.1.12_01_03

配置的路径需要为已存在目录,且执行用户具有读、写、可执行权限,该路径的最后一段字段需要可唯一标识当前机器。

建议此唯一标识通过machineID、vmID与dockerID拼接组成,如:“machineID_vmID_dockerID”。
  • machineID:当前机器的IP地址。
  • vmID:虚拟机ID。
  • dockerID:Docker容器ID。

如果您是物理机环境,仅通过IP地址标识即可。

使用约束

多服务器场景下,各机器上的AI处理器型号以及固件驱动与CANN软件版本需要保持一致。

支持的型号

Atlas 200/300/500 推理产品

Atlas 训练系列产品

Atlas 推理系列产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

Atlas 200/500 A2推理产品

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词