功能与原理介绍
智能机械臂基于Atlas 200I DK A2 开发者套件的深度学习AI推理功能和机械臂的二次开发,通过串口硬件通信和python接口软件支持实现。
图1 实现原理


任意位置积木分拣
基于开发者套件的内置YoloV5神经网络模型的推理结果,标记十字标定板中积木的位置,并使用机械臂进行分拣。
- 通过摄像头提取十字标定板轮廓,通过机器视觉方法提取轮廓的四个角点,透视变换轮廓内的平面。
- 使用模型适配工具训练转换的om模型进行推理,最后根据推理结果下发指令,控制机械臂抓取在摄像头可视范围内的任意位置摆放的积木,并移动至对应颜色区域。
图2 任意位置积木分拣功能原理

任意位置积木堆叠
基于开发者套件的内置YoloV5神经网络模型的推理结果,标记十字标定板中积木的位置,并使用机械臂进行堆叠。
- 通过摄像头提取十字标定板轮廓,通过机器视觉方法提取轮廓的四个角点,透视变换轮廓内的平面。
- 使用模型适配工具训练转换的om模型进行推理,最后根据推理结果下发指令,控制机械臂抓取在摄像头可视范围内的任意位置摆放的积木,并移动至灰色区域并堆叠在一起。
图3 任意位置积木堆叠功能原理

父主题: 样例介绍