电子发烧友网>机器人> > 正文

【自适应计算在机器人领域的应用】连载七:用ROS 2在机器人内部集成自适应计算的新架构

2021年11月11日 15:24 ? 次阅读

作者: Víctor Mayoral-Vilches 和 Giulio Corradi,赛灵思公司

连载七:用ROS 2 在机器人内部集成自适应计算的新架构

图 1 所示的架构将硬件加速集成到 ROS 2 中,同时坚持以机器人专家为中心的理念。不要求熟悉非 ROS 工具(如 Vivado 或 ViTIs 工具),或熟悉 OpenEmbedded 或 Yocto。此外,该架构构建在开放的标准之上,以 C++++ 和 OpenCL 作为生成加速内核的目标计算语言。通过这种方法,机器人领域的大多数用户都可以受益于硬件加速的功能。该架构基于三大支柱构建:ROS 构建系统 (ament)、ROS 元构建工具 (colcon) 以及嵌入式固件 (firmware)。

poYBAGGMxfmAIsjNAAFLeCW-KIY238.png

图 1: ROS 2 硬件加速工作组 (HAWG) 初始架构

第一个支柱是 ament ROS 2 构建系统的扩展。ament_viTIs(1)通过一系列 CMake 宏和实用工具实现这些扩展,将 ViTIs 工具包含到 ROS 2 生态系统内。提议的架构是一种适用于几乎任何加速技术的架构,即 ament_acceleraTIon 抽象层从框架和软件平台(如 Vitis 工具)抽象构建系统扩展,为 FPGAGPU 提供支持。作为替代加速技术的例子,图 10 里包含了 ament_rocm,展现未来集成 ROCm5(2)软件开发平台的潜力,以实现 HPC/超大规模级 GPU 计算。在后台,ament_acceleration 的每次专门优化都需要对应的库。例如,ament_vitis 依靠 Vitis 和赛灵思运行时 (XRT) 库(3)。后者是一种开源的标准化软件接口,用于简化应用代码和加速内核之间的通信。Vitis 工具和 XRT 完全对机器人工程师隐藏,不仅简化了加速内核的创建,而且还帮助机器人专家专注于计算图像的改进。通过提供犹如任何其他 ROS 封装的体验,以这种方式实现简化加速内核创建工作的目标。图 2 所示的代码列表 1 展示的是使用 ament_vitis ROS 封装的示例。宏 vitis_acceleration_kernel 提供灵活性,允许用户无缝地扩展CMakeLists.txt 并选择加速 ROS 封装的哪些部分。

pYYBAGGMxgCAC8r1AAGrQlSkPWM737.png

图 2: 代码列表 1

第二个支柱扩展“colcon”ROS 元构建工具,以集成硬件加速专用流。

第三个支柱是嵌入式固件。表达为 acceleration_firmware(1),第三个支柱旨在为硬件加速平台提供固件专用工件,这样就能针对这些工件编译加速内核,从而简化流程并保持ROS 开发流程。提出的架构在构建时特意考虑到各种硬件加速平台,可以支持边缘(嵌入式)器件,以及适用于工作站、数据中心乃至云硬件加速的 PCIe? 加速器。平台选择通过在 ROS 工作空间资源(在 src/ 下)中加入特定的 acceleration_firmware 库(acceleration_firmware_xilinx)来实现。构建过程中的平台选择(本例中为赛灵思 Zynq UltraScale+? MPSoC ZCU102 平台)通过 colcon mixins 来实现。通过这种方式,colcon build -build- base=build-zcu102 -install-base=install-zcu102 -merge-install -mixin zcu102 将为 ZCU102 硬件平台构建完整的 ROS 2 工作空间,交叉编译 ROS 封装,在运行中视情况为 ZCU102 平台生成内核。所有中间步骤完全实现自动化,而且产生的 install-zcu102 目录能直接在硬件中使用。

为了容纳中间工件并在嵌入式流程中提供灵活性,acceleration_firmware 在 ROS 2 工作空间中引入新的子文件夹结构,即 《ros2-workspace-path》/acceleration/firmware/《platform》 路径。

图 3 是 acceleration_examples ROS 2 封装构建完成后,该架构的工作方式预演。流程从 colcon 构建 ROS 2 工作空间开始(图 3,插图编号 1)。无需使用特殊的旗标,只是对应的封装和硬件加速工作组 (HAWG) 基础设施必须位于工作空间的 src 目录内。colcon 将为开发工作站架构构建每一个封装。这其中包含 ament_vitis Cmake 宏(图 3,插图编号 1),该宏将一系列 CMake 扩展部署到产生的本地 ROS 2 叠加工作空间中。

这些扩展与本地 Vitis 安装(1)(图 3,插图编号 3)相连,对ROS 2 包直接提供其功能。换句话说,ROS 2 包能从它们的 CMakeLists.txt 文件使用这些宏,并且使用赛灵思的硬件加速工具。

固件包(如 acceleration_firmware_kv260)是该架构的重要组件。切换加速器时,只需用适用于新的目标加速器的包替换这个包即可。任意一个有效的固件包都应包含固件工件和 CMake 逻辑,以便在 ROS 叠加工作空间中正确地为实现硬件加速目的而解包、部署和配置固件(图 3,插图编号 4)。此外,有效的固件包应包含根文件系统、根文件系统的 sysroot(用于交叉编译)或在构建时自动生成 ROS 2 mixins(2) 的模板,以简化嵌入式流程和其他方面。如需进一步详细了解,请参阅任何官方固件包的完整工件列表。

总之,首先调用 colcon 构建(图 3,插图编号 3),让 ROS 2 工作空间为硬件加速做好准备并将文件部署在本地叠加内(图 3,插图编号 2、3 和 4)。在此之后,从本地叠加第二次调用带 -mixin《target-board》 旗标的 colcon 构建,将进行交叉编译(图 3,插图编号 51)并根据需要为目标加速器硬件生成加速器(图 3,插图编号 52)。从这一点开始,colcon_acceleration 包有助于其余流程的进一步自动化。这部分已超出本文所要探讨的内容。

下列三种不同的电路开发板已经获得基本支持:赛灵思 Zynq UltraScale+ MPSoC ZCU102,ZCU104 以及 Kria? KV260 视觉 AI 入门套件

poYBAGGMxgyAelwEAAGaD5c9RMQ739.png

图 3:HAWG 初始架构内 ROS 2 包之间的交互走查

要点总结:在既往研究的启发下,当前研究提出一种以 ROS 2 为中心的架构,让硬件加速在 ROS 生态系统中发挥关键作用。图 12 体现的提议被模块化成不同的 ROS 2 包,它们的构建方式与任何其他 ROS 包一样。这种架构适用于各种平台(瞄准边缘、工作站、数据中心或云提供支持),也适用于各种技术(支持 FPGA 和 GPU ),并且只需提供对应的专业 acceleration_firmware,就能轻松地将其移植到其他电路板

表 4 总结了这里提出的方法与以前的工作的比较。

poYBAGGMxhOAb_z7AABwGcfwnaQ077.png

表 4:ROS 与 ROS 2 各类自适应计算集成方法比较表(含赛灵思 ament_vitis)

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

OnRobot推出首款解决方案的软件产品WebL...

WebLytics集成了全球公认的设备综合效率(OEE)行业测试标准,可实时识别机器人单元的动态趋势....
发表于 2021-11-11 17:29? 13次阅读
OnRobot推出首款解决方案的软件产品WebL...

【自适应计算在机器人领域的应用】连载五:为什么是...

随着 ROS 超越学术层面开始进入工业和其他领域,ROS 的局限性也日渐凸显,如缺乏嵌入式支持和深度....
发表于 2021-11-11 15:35? 87次阅读
【自适应计算在机器人领域的应用】连载五:为什么是...

【自适应计算在机器人领域的应用】连载四:如何理解...

传统的机器人软件编程是在预定义的架构和约束条件下,在给定机器人的 CPU 中进行功能编程。
发表于 2021-11-11 15:33? 63次阅读
【自适应计算在机器人领域的应用】连载四:如何理解...

【自适应计算在机器人领域的应用】连载三:为什么F...

CPU 和 GPU 擅长控制流计算。它们的控制驱动机器模型基于控制令牌,控制令牌提示应执行语句的时间....
发表于 2021-11-11 15:30? 75次阅读
【自适应计算在机器人领域的应用】连载三:为什么F...

美乐威基于赛灵思自适应平台打造的优化KVM方案

古代战场上,指挥大营是“运筹帷幄,决胜于千里之外”的关键。 在信息和网络技术极度发达的万物互联时代,....
发表于 2021-11-11 15:23? 126次阅读
美乐威基于赛灵思自适应平台打造的优化KVM方案

【自适应计算在机器人领域的应用】连载六:自适应计...

由于机器人行为建立在 ROS 节点交互的结果之上,因此用于这个用途的加速器通过从总体上减少 ROS ....
发表于 2021-11-11 15:18? 77次阅读
【自适应计算在机器人领域的应用】连载六:自适应计...

【自适应计算在机器人领域的应用】连载二:工业类比...

总体而言,CPU、GPU 和 ASIC 等采用固定架构的器件,在其为开发者提供优势的同时,也让其付出....
发表于 2021-11-11 15:12? 46次阅读
【自适应计算在机器人领域的应用】连载二:工业类比...

【自适应计算在机器人领域的应用】连载一:什么是自...

机器人是一种系统级的系统,它由感知周边环境的传感器、根据感知采取行动的致动器和负责处理数据的计算构成....
发表于 2021-11-11 15:02? 53次阅读
【自适应计算在机器人领域的应用】连载一:什么是自...

蓝牙技术|蓝牙与机器人

蓝牙是一种解决方案导向型技术,涵盖音频传输(无线耳机、无线扬声器、车载系统);数据传输(运动和健身设备、医疗...
发表于 2021-11-11 11:12? 0次阅读
蓝牙技术|蓝牙与机器人

机器视觉FPGA可拓展性应用

上一期中,聊到MCU在机器人行业中的发展时提到,目前在工业机器人和服务机器人上用量最多的是MCU。随....
发表于 2021-11-11 09:51? 217次阅读
机器视觉FPGA可拓展性应用

以己之长攻彼之短 FPGA在机器人市场如何突围

电子发烧友网报道(文/李宁远)上一期中,聊到MCU在机器人行业中的发展时提到,目前在工业机器人和服务....
发表于 2021-11-11 09:51? 264次阅读
以己之长攻彼之短 FPGA在机器人市场如何突围

DSP在机器人行业如何应对难关?

既然聊过了机器人应用向的MCU和FPGA,那DSP也不能落下。面对来势汹汹的FPGA以及尚稳坐钓鱼台....
发表于 2021-11-11 08:00? 199次阅读
DSP在机器人行业如何应对难关?

怎样去解决ABB机器人电源模块短路板短路的问题

为什么ABB机器人电源模块短路板会发生短路呢? 怎样去解决ABB机器人电源模块短路板短路的问题? ...
发表于 2021-11-11 07:35? 0次阅读
怎样去解决ABB机器人电源模块短路板短路的问题

市占率Top1,斯坦德机器人领跑半导体行业物流自...

随着智能制造的崛起,现代化的制造生产模式已是大势所趋。其中自动化生产与柔性生产成为了制造型企业两大发....
发表于 2021-11-10 15:56? 22次阅读
市占率Top1,斯坦德机器人领跑半导体行业物流自...

NVIDIA创建AI计算平台,为医疗仪器和设备提...

AI 医疗设备技术创新为医疗健康专业人员提供更好的决策工具,在机器人辅助手术、介入放射学和放射治疗规....
发表于 2021-11-10 14:32? 306次阅读
NVIDIA创建AI计算平台,为医疗仪器和设备提...

华南智能制造与科技创新展览会(SMF)下月举办

华南智能制造与科技创新展览会(SMF)下月举办,把握最后机会,加入本年度华南压轴智造盛会!
发表于 2021-11-10 12:05? 95次阅读
华南智能制造与科技创新展览会(SMF)下月举办

腾阳立柱机器人码垛机的特点

腾阳立柱机器人码垛机是由腾阳继高位码垛机、坐标机器人码垛机之后,自主研发生产制造的一款适用于厂房面积....
发表于 2021-11-10 11:32? 32次阅读
腾阳立柱机器人码垛机的特点

适老方案推行,上海智慧养老实施

为进一步增强广大老年人的获得感、满足感,去年下半年来,市民政局从应用场景出发,根据老年人、养老服务机....
发表于 2021-11-10 11:20? 41次阅读
适老方案推行,上海智慧养老实施

扫地机器人的工作原理及特点是什么

近年来,随着计算机技术与人工智能科学的飞速发展,智能机器人技术逐渐成为现代机器人研究领域的热点。其中....
发表于 2021-11-09 16:04? 313次阅读
扫地机器人的工作原理及特点是什么

埃斯顿码垛机器人润滑油桶码垛案例

我国人口红利正逐步消退,而主要以人工搬运为主的码垛岗位无法承担不断增长的劳动力成本,在用人成本、招工....
发表于 2021-11-09 14:57? 36次阅读
埃斯顿码垛机器人润滑油桶码垛案例

2022东莞IIOTC工业物联网工业自动化展

展会名称:CMM电子制造自动化资源展 同期展会:东莞国际芯片及半导体产业博览会ChipsSemico....
发表于 2021-11-06 16:50? 108次阅读
2022东莞IIOTC工业物联网工业自动化展

智能制造的本质

过去很长一段时间里,许多人错误地认为智能制造就是自动化的生产方式,认为机器人换人、无人工厂、黑灯工厂....
发表于 2021-11-06 11:25? 138次阅读
智能制造的本质

斯坦德机器人叉车,软硬兼施打造Gulf智能无人叉...

“斯坦德机器人自创立以来就一直专注于打造工业物流搬运的解决方案,从原料入库到出库,经过一系列跨场景搬....
发表于 2021-11-05 17:57? 192次阅读
斯坦德机器人叉车,软硬兼施打造Gulf智能无人叉...

YAMAHA机器人 RCX240控制柜参数

YAMAHA机器人 RCX240控制柜 机器人参数详情如下: 手持编程器的机器人参数编辑画面采用以下格式。 [tabl...
发表于 2021-11-05 17:51? 362次阅读
YAMAHA机器人 RCX240控制柜参数

新鲜出炉,普渡科技荣登“2021机器人企业创新排...

机器人行业的发展带来的不只是一个或几个行业的变化,而是整个经济社会全行业的变革,不断推动着经济快速发....
发表于 2021-11-05 17:20? 458次阅读
新鲜出炉,普渡科技荣登“2021机器人企业创新排...

自动折盖封箱机的技术参数

自动折盖封箱机主要用于纸箱封箱打包,通过对纸箱竖起的四个上盖自动折平并自动进行胶带封箱,该设备采用左....
发表于 2021-11-05 15:41? 17次阅读
自动折盖封箱机的技术参数

探博M1受邀参加“青少年机器人与人工智能科普教育...

2021年10月,深圳市探博智能机器人有限公司受“广州市科学技术协会”及“广东省机器人协会”的邀请,....
发表于 2021-11-05 14:38? 168次阅读
探博M1受邀参加“青少年机器人与人工智能科普教育...

墨影MCR以7大类人特性打造机器人超级新物种

墨影移动协作机器人,模拟人的思考、行为方式,以X86复杂指令集架构实现超高算力、超大带宽,对传统AM....
发表于 2021-11-04 16:32? 39次阅读
墨影MCR以7大类人特性打造机器人超级新物种

巡检机器人智慧高速的应用

作为国内首条智慧高速公路——杭绍甬高速的建设正如火如荼地进行着,在建设现场还有一位特殊的安全监察官,....
发表于 2021-11-04 15:40? 546次阅读
巡检机器人智慧高速的应用

智慧工地巡检机器人有哪些功能

作为省重点工程,全国首条智慧高速——杭绍甬高速的建设一直备受关注,标准化、工业化、智慧化也是杭绍甬项....
发表于 2021-11-04 15:35? 58次阅读
智慧工地巡检机器人有哪些功能

请问一下ROS机器人的硬件是由哪些部分组成的

请问一下ROS机器人的硬件是由哪些部分组成的?分别有何功能?...
发表于 2021-11-04 06:35? 0次阅读
请问一下ROS机器人的硬件是由哪些部分组成的

玻璃纤维布智能验布机系统有哪些功能优势

在生产织造过程中,玻璃纤维多轴向织物容易受到生产工艺、环境及人为因素的影响造成表面有污纱、毛团、断纱....
发表于 2021-11-03 14:18? 50次阅读
玻璃纤维布智能验布机系统有哪些功能优势

管廊巡检机器人可以巡检哪些内容

地下综合管廊环境复杂,管廊的全面巡检必须保证每周至少一次,同时还需要根据季节以及地下构筑物工程的特点....
发表于 2021-11-03 11:51? 31次阅读
管廊巡检机器人可以巡检哪些内容

移远通信亮相杭州云栖小镇的云栖大会

“蚂蚁金融、天猫精灵、菜鸟网络、阿里云等等”,移远通信和阿里巴巴已经在多个重要项目展开了深度合作,强....
发表于 2021-11-03 10:08? 2127次阅读
移远通信亮相杭州云栖小镇的云栖大会

打破市场格局,擦窗机器人正在打造中国“智造”新名...

最近几年,擦窗机器人行业越来越受到资本界的关注。根据AVC数据,2021年上半年,擦窗机器人零售规模....
发表于 2021-11-03 09:29? 22次阅读
打破市场格局,擦窗机器人正在打造中国“智造”新名...

软串口控制舵机的方法

/*第三课nodemcu 控制舵机*/#include <ESP8266WiFi.h>#include <SoftwareSerial.h&g...
发表于 2021-11-03 06:42? 0次阅读
软串口控制舵机的方法

ADI Silicon Labs 赛灵思芯片原厂...

11月1日消息,朋友圈传出两张涨价函,涨价函显示,ADI和Silicon Labs已向客户通知将分别....
发表于 2021-11-02 18:31? 967次阅读
ADI Silicon Labs 赛灵思芯片原厂...

松灵机器人新品丨特种重载防水履带底盘BUNKER...

松灵机器人全新发布了一款加强型越野履带式移动底盘开发平台BUNKER Pro,它采用了多悬挂组合设计....
发表于 2021-11-02 17:31? 621次阅读
松灵机器人新品丨特种重载防水履带底盘BUNKER...

赫特智慧科技荣获北京市“专精特新”企业官方认证

近日,北京赫特智慧科技有限公司荣获了由北京市经济和信息化局颁发的北京市“专精特新”中小企业荣誉证书。....
发表于 2021-11-02 11:45? 192次阅读
赫特智慧科技荣获北京市“专精特新”企业官方认证

工业RFID的应用:RFID与智能仓储子母穿梭车...

随着物联网技术、智能化、信息化的发展,结合RFID技术的智能仓储及智能物流已经慢慢替代传统的仓储物流....
发表于 2021-11-02 10:32? 45次阅读
工业RFID的应用:RFID与智能仓储子母穿梭车...

冠军品质与用户认可,是玻妞持续领跑行业的源动力

“消费者买一个产品,到底买的是什么呢?每个品牌方都需要想想这几个问题,我们服务的是什么用户,给用户提....
发表于 2021-11-02 09:55? 39次阅读
冠军品质与用户认可,是玻妞持续领跑行业的源动力

AI和机器人技术的专业化需求正以前所未有的速度增...

AI 和机器人技术的专业化需求正以前所未有的速度增长。 根据 LinkedIn 的最新新兴就业报告,....
发表于 2021-11-02 09:28? 291次阅读
AI和机器人技术的专业化需求正以前所未有的速度增...

AccelerComm发布带有O-RAN加速抽象...

AccelerComm公司今天宣布,它已成功展示了完全符合O-RAN AAL(加速抽象层)的前向纠错....
发表于 2021-11-02 09:11? 891次阅读
AccelerComm发布带有O-RAN加速抽象...

普渡机器人隆重出席第13届重庆火锅节

第13届中国(重庆)火锅美食文化节暨火锅产业博览会(简称重庆火锅节)今天在重庆悦来国际博览中心盛大开....
发表于 2021-11-01 12:11? 568次阅读
普渡机器人隆重出席第13届重庆火锅节

华睿亮相CeMAT ASIA 2021,用实力说...

在当今数字化工业和供应链高速发展的时代,日益增长的用户规模和配送需求也使得技术升级迫在眉睫。随着人工....
发表于 2021-11-01 12:02? 1945次阅读
华睿亮相CeMAT ASIA 2021,用实力说...

可量产化的多媒体流式处理端节点解决方案

赛灵思宣布携手其 IP 及系统集成商生态系统,面向广播及专业音视频(A/V)应用提供业界首款、也是唯....
发表于 2021-10-29 16:53? 312次阅读
可量产化的多媒体流式处理端节点解决方案

普渡机器人亮相广州国际餐饮连锁加盟展

2021第十届CCH广州国际餐饮连锁加盟展览会于10月27日至29日在广州广交会琶洲展馆举办。该展会....
发表于 2021-10-29 15:24? 750次阅读
普渡机器人亮相广州国际餐饮连锁加盟展

物流领域四大奖项,斯坦德机器人AMR引领工业物流...

CeMAT ASIA 2021已经进行到第三天,现场气氛依旧火热,咨询者络绎不绝。各大奖项也选择在1....
发表于 2021-10-29 12:05? 562次阅读
物流领域四大奖项,斯坦德机器人AMR引领工业物流...

采用Zynq器件的完整流式处理解决方案

赛灵思宣布携手其 IP 及系统集成商生态系统,面向广播及专业音视频(A/V)应用提供业界首款、也是唯....
发表于 2021-10-29 09:14? 264次阅读
采用Zynq器件的完整流式处理解决方案

全向轮机器人是如何进行直线运动的?

全向轮机器人是如何进行直线运动的?
发表于 2021-10-29 07:09? 0次阅读
全向轮机器人是如何进行直线运动的?

揭秘包装巨头KHS科埃斯是怎样使用工业机器人的

KHS科埃斯在机器人系统应用方面有着25年的成功经验,特别是在其生产线的包装和码垛区段。此类高科技系....
发表于 2021-10-28 17:05? 213次阅读
揭秘包装巨头KHS科埃斯是怎样使用工业机器人的

如何根据Versal ACAP架构的描述来使用X...

对于任何一项设计,要想尽可能实现最低的功率包络,都需要在设计周期早期准确估算功耗。早期估算有助于选择....
发表于 2021-10-28 16:49? 271次阅读
如何根据Versal ACAP架构的描述来使用X...

NVIDIA发布高性能感知技术的最新项目

自主机器人所面临的关键挑战之一是感知和理解周围的世界。 在 ROS World 2021 上,NVI....
发表于 2021-10-28 15:05? 274次阅读
NVIDIA发布高性能感知技术的最新项目

业内首款融合式仿生事件视觉相机,锐思智芯ALPI...

锐思智芯(Alpsentek)今日发布业内首款融合仿生事件视觉传感器芯片——ALPIX-Pilatu....
发表于 2021-10-28 15:00? 474次阅读
业内首款融合式仿生事件视觉相机,锐思智芯ALPI...

萌新求助,求机器人编程的案列

萌新求助,求机器人编程的案列
发表于 2021-10-21 07:27? 0次阅读
萌新求助,求机器人编程的案列

基于 ATMega328p-PU 的迷你平衡机器人设计

互联网上已经有很多平衡机器人项目,但我也想制作一个。更具体的说,我想要做一个迷你平衡机器人。 机器人应该从带...
发表于 2021-10-14 13:47? 6667次阅读
基于 ATMega328p-PU 的迷你平衡机器人设计

怎样去设计一种基于STM32的负压式玻璃清洗机器人呢

怎样去设计一种基于STM32的负压式玻璃清洗机器人呢?有哪些操作流程?...
发表于 2021-10-14 08:47? 0次阅读
怎样去设计一种基于STM32的负压式玻璃清洗机器人呢

机器人上到底用什么电机好?

直流电机如何实现驱动控制? 机器人上到底用什么电机好? ...
发表于 2021-10-13 07:43? 0次阅读
机器人上到底用什么电机好?
她的小梨涡完整版免费阅读