NVIDIA提供人工智能感知能力给ROS开发人员

适逢 ROS World 2021 大会，NVIDIA 宣布其为 ROS 开发者社群提供高效能感知技术的最新进展。这些计划将加速产品开发以及提高产品效能，最终让开发人员能够更轻松地将最先进的计算机视觉及人工智能 (AI)/ 机器学习 (ML) 功能，应用于 ROS 架构的机器人应用程序。

Isaac ROS GEM 提供包含图像处理和计算机视觉的软件包，其内含针对 NVIDIA GPU 和 Jetson 进行高度优化调整、并基于 DNN 架构的算法。

当自主机器在环境中移动时，必须追踪自己的位置。视觉测距法透过估算摄影机与其起始位置的相对距离，以解决这个问题。用于立体视觉测距的 Isaac ROS GEM 为 ROS 开发者提供这项强大的功能。

这个 GEM 为实时立体摄影机视觉测距解决方案提供了最高的精准度。在此可以参见按照广泛使用之 KITTI 数据库所提供的公开结果。除了极高的精准度，该 GPU 加速套件的运行速度也十分快。事实上，现在可以在 NVIDIA Jetson AGX Xavier 上，实时 (>60fps) 以 HD 分辨率 (1280x720) 来运行 SLAM。

你可以使用 NVIDIA 在 NGC 上提供的任何推论模型，甚至可以透过 DNN 推论 GEM (一套 ROS2 软件包) 提供自己的 DNN。亦可以使用 NVIDIA TAO 工具套件，对已预先训练完成的模型进行调整，或优化自己的模型。

完成优化调整后，NVIDIA 的推论服务器 TensorRT 或 Triton 会部署这些软件包。透过 NVIDIA 高效能推论软件开发工具包 (SDK) TensorRT 的节点，将达到最佳的推论表现。若 TensorRT 不支持所需的 DNN 模型，则应使用 NVIDIA Triton 来部署该模型。

GEM 以原生方式支持 U-Net 及 DOPE。基于 TensorRT 的 U-Net 软件包可用于从影像产生出语义分割屏蔽。而 DOPE 软件包则可用于对所有侦测到的物体估算其 3D 姿势。

这项工具是将高效能 AI 推论纳入 ROS 应用程序的最快方法。