下载
中文
注册

功能与原理介绍

智能机械臂基于Atlas 200I DK A2 开发者套件的深度学习AI推理功能和机械臂的二次开发,通过串口硬件通信和python接口软件支持实现。

图1 实现原理

当前功能所用模型,均为已训练并进行模型转换的“.om”文件,如果用户需要使用自己的场景或地图,需参考Atlas 200I DK A2 开发者套件使用模型适配工具生成推理应用,使用模型适配工具自行训练生成模型,并上传至开发者套件。

任意位置积木分拣

基于开发者套件的内置YoloV5神经网络模型的推理结果,标记十字标定板中积木的位置,并使用机械臂进行分拣。

  1. 通过摄像头提取十字标定板轮廓,通过机器视觉方法提取轮廓的四个角点,透视变换轮廓内的平面。
  2. 使用模型适配工具训练转换的om模型进行推理,最后根据推理结果下发指令,控制机械臂抓取在摄像头可视范围内的任意位置摆放的积木,并移动至对应颜色区域。
图2 任意位置积木分拣功能原理

任意位置积木堆叠

基于开发者套件的内置YoloV5神经网络模型的推理结果,标记十字标定板中积木的位置,并使用机械臂进行堆叠。

  1. 通过摄像头提取十字标定板轮廓,通过机器视觉方法提取轮廓的四个角点,透视变换轮廓内的平面。
  2. 使用模型适配工具训练转换的om模型进行推理,最后根据推理结果下发指令,控制机械臂抓取在摄像头可视范围内的任意位置摆放的积木,并移动至灰色区域并堆叠在一起。
图3 任意位置积木堆叠功能原理