推理服务器(插Atlas 300I Duo 推理卡)存在亲和性调度,如一台Atlas 800 推理服务器(型号 3000)最多支持插4张Atlas 300I Duo 推理卡,每张Atlas 300I Duo 推理卡存在2个昇腾AI处理器。使用推理服务器(插Atlas 300I Duo 推理卡)的用户可以在下发任务yaml时,首先通过“duo”参数指定使用Atlas 300I Duo 推理卡,再通过“npu-310-strategy”参数指定调度模式,最后通过“distributed”参数指定调度策略。各参数的详细说明见表1。
参数名 |
默认值 |
取值说明 |
---|---|---|
duo |
false |
|
npu-310-strategy |
chip |
|
distributed |
false |
|