之前跟大家聊过一些机器人基础知识和运动控制,今天这篇换个方向,讲讲机器人视觉和机械臂调试里的那些事儿。
就拿机器人抓东西这个环节来说,看着简单,真拆开全是细节:相机得先看见东西,跟踪得稳稳跟过去,底盘不能晃,最后机械臂伸出去还得抓得准。这篇就把这条链路从头到尾跑一遍,踩过的坑、调出来的参数都摆出来,希望能给做类似产品的朋友一个参考。

01
咱们的主控是米尔基于RK3576核心板的开发板,板载6TOPS NPU。外设三样:RGB-D深度相机输出RGB、IR、深度三路数据,六轴轻量机械臂走串口控制,移动底盘是STM32控制的麦克纳姆轮。

这篇要干的三件事先摆出来:用RK3576自带的NPU加速MixFormerV2做目标跟踪,把传统OpenCV那套换掉;底盘跟着目标走,保持安全距离;机械臂伸出去把东西抓回来,完成识别、跟随、抓取闭环。
另外两个词先说明白,不然后面容易懵。手眼转换,就是相机看到物体在图像里的位置,得换算成机械臂能执行的坐标。逆运动学,就是我知道夹爪要伸到哪个点、什么姿态,反推六个关节各转多少度。
软件上拆成五个核心ROS2节点,各干各的。camera_driver负责发RGB图和深度图;mixformer_tracker吃RGB图加初始目标框,吐出目标2D框和3D坐标;object_follower拿目标3D坐标发/cmd_vel速度指令控制底盘;grasp_planner结合目标3D坐标和深度规划机械臂运动轨迹;arm_controller按轨迹执行抓取、控制夹爪状态。
咱们可以整理一个表格出来:

整体数据流一句话:相机进MixFormerV2跟 踪器,经手眼转换到坐标,底盘跟随靠近停住,机械臂逆运动学规划,最后抓取执行。

02
深度相机和普通USB摄像头不一样,ROS2下走标准驱动节点发布话题数据。相机输出640×400 NV12,帧率13~15 FPS。三路数据里,RGB图给跟踪用,IR图辅助深度计算、夜间或弱光也能用,深度图每个像素就是毫米级距离值。主控订阅/camera/color/image_raw和/camera/depth/image_raw就能拿到。
这里有个关键点,深度图和RGB图得做时间对齐和空间对齐,一般驱动会直接给对齐后的深度图,后面把2D框映射成3D坐标才准。不少人刚上手时会卡在这,以为拿到深度图就能直接查像素,结果RGB框和深度图死活对不上,折腾半天才发现是驱动里对齐选项没开。所以先查这个,再怀疑算法,能省不少时间。
03
传统OpenCV跟踪,KCF、CSRT这些,光照一变、被挡一下、目标动快点,很容易丢,而且全跑在CPU上,帧率上不去。MixFormerV2是基于Transformer的端到端跟 踪器,精度和鲁棒性都好不少。配上RK3576的6TOPS NPU,单帧推理30ms左右,跟踪帧率能到15~20 FPS;NPU独立干视觉活,CPU腾出来专心跑ROS2通信和运动控制;功耗还低,嵌入式移动机器人上这点尤其要紧。
这套组合的价值不在NPU跑了个模型这个噱头,而在于把视觉从CPU上卸下来之后,整个系统的实时性余量变大了。底盘控制、TF发布、串口通信这些对时序敏感的任务不再跟跟踪抢核,跑起来才稳。这一点你调过底盘控制就有体会,CPU一忙,速度指令发得一顿一顿的,机器人跟起来就不顺。
部署流程不复杂。PyTorch权重拿下来,用RKNN-Toolkit2转成.rknn格式,做INT8量化。ROS2节点里订阅RGB话题,缩放到模型输入尺寸比如224×224做预处理,调NPU推理出边界框,再结合深度图对应区域的有效深度值,经手眼转换得到目标在机器人坐标系下的3D坐标,发/target_3d_position和/tracking_box话题。
性能匹配上注意一下,相机约15 FPS,MixFormerV2是累计3帧一起推理,batch size=3,单次约70ms,整体跑下来是流畅的。这里有个取舍,batch size=3意味着跟踪有轻微延迟,对慢速目标无所谓,但目标动得很快,就得在帧率和延迟之间重新调,不是固定参数一劳永逸。实际调的时候常遇到这种情况:一开始图省事没动参数,追快速移动的目标时底盘总是慢半拍,把batch调小才跟得上。
手眼转换这块,本文用的是眼在手上,深度相机固定在机械臂末端,跟着臂一起动。所以相机到机械臂末端camera_link→end_effector_link是固定变换,标定一次就行;末端到基座end_effector_link→arm_base_link随关节角度实时变,驱动节点要实时发动态TF。ROS里用tf2监听完整变换链,物体坐标就从相机系转到机械臂基座系了。
04
跟踪节点给出目标在底盘坐标系下的3D位置后,object_follower按这个逻辑走。
先算目标相对机器人中心的水平距离和角度偏差。然后优先转方向,原地旋转让机器人正对目标,角度偏差压到5°以内。再往前走,保持正对,线速度前进,直到离目标约0.5米,这是安全抓取距离。到了就停,发速度零指令,同时触发抓取标志。
这个先转正、再直走的策略看着简单,但比边走边转稳得多。麦克纳姆轮虽然能全向移动,可一旦边走边转,手眼转换的坐标系跟着晃,抓取精度容易掉。先对准再走,等于把问题拆开,工程上更可控。说白了就是别贪那点时间,稳比快重要。
05
底盘停在0.5米后抓取节点启动。这套系统不依赖MoveIt 2,机械臂控制全走串口直接下发各关节角度,逆运动学自己实现。不用MoveIt 2不是图省事,而是这种轻量六轴臂加固定抓取场景,自己写解析解反而更直接、链路更短,省掉一大套规划框架的开销;代价是换臂型就得重调参数,通用性上要做取舍。你要是做产品定型,这个取舍值得提前想清楚。
手眼转换还是眼在手上那套。静态部分标定一次拿到camera_link→end_effector_link,动态部分靠关节角度实时算end_effector_link→arm_base_link。抓取时目标在图像里检测到,先得相机系3D坐标,再用tf2监听camera_link→end_effector_link→arm_base_link整条链,自动转到机械臂基座系,不用手动干预,只要驱动节点正确发关节状态和TF就行。
逆运动学解算,六轴臂串口收角度指令,每个轴一个值。已知夹爪在基座下的目标位置和期望姿态,比如垂直向下抓,反推6个关节角度。实现上针对具体臂的D-H参数写解析解,速度快,适合固定构型;或者用数值迭代解,比如雅可比伪逆法,通用但要注意收敛。输出6个关节角度,单位是度或弧度,串口逐条发,可以同时发也可以按顺序动。

抓取流程捋一遍。从跟踪节点读底盘停住瞬间的目标3D点,已转到arm_base_link。按物体形状和相机视角设夹爪期望方向,水平或垂直接近,这个得靠经验预设。逆运动学求解,解不出来比如目标超出工作空间,就调整底盘位置重新跟。串口依次发6个关节角度,等臂到位,简单延时或读状态反馈。发夹爪闭合指令,靠电流反馈或限位开关判断夹没夹住。夹住后保持闭合,底盘原地等下一步指令。
这里提醒一个坑,第三步解不出来就调整底盘重新跟听着轻巧,实际调的时候工作空间边界最好提前标出来,别等解算失败了再退,不然机器人会在边界附近反复进退,动作显得很笨。
06
这篇文章主要讲了视觉跟随加抓取,实现了完整的 识别 - 跟随 - 抓取 闭环。关键点再拎一下:MixFormerV2加NPU做高能效跟踪;手眼转换用眼在手上配置,固定偏移和关节运动都得考虑;逆运动学自研,不依赖MoveIt 2。
米尔RK3576这套方案能用在服务机器人、巡检机器人、教育竞赛这些场景,不一定多高大上,但真跑起来是能用的。希望这篇对正在调类似产品的你有帮助。
