机器人多模态感知与运控算法开发岗

岗位职责

1、视觉感知驱动的运动控制架构设计：主导设计视觉-运动闭环系统架构，明确视觉感知模块与强化学习策略接口、数据流与时序要求。研究并确定视觉信息的最佳表征形式（如原始图像、深度图、点云、语义分割图、神经辐射场NeRF特征或视觉里程计）作为强化学习策略输入。 2、视觉感知算法研发与集成：开发或集成适用于机器人运动控制的轻量化、实时视觉感知算法。关键技术方向包括但不限于：地形与可通行性分析： 基于单目/立体视觉或RGBD，实时进行地形分类、坡度估计、障碍物检测与可通行区域分割。视觉状态估计： 开发或优化基于视觉的机器人本体状态估计，为运动控制提供高精度的位姿与速度反馈。视觉特征提取： 利用CNN、Vision Transformer等模型，从视觉输入中提取对运动决策至关重要的鲁棒特征。 3、多模态强化学习策略训练：设计并训练融合视觉、本体感知等多模态信息的强化学习策略。解决视觉输入下的Sim2Real挑战。探索模型在机器人运动控制中的应用，提升策略泛化能力。 4、真机部署与系统优化：将视觉感知算法与强化学习策略部署到机器人。进行系统级优化，包括模型量化、剪枝、TensorRT加速，以及感知-控制流水线的并行化与延迟优化，确保整体系统满足实时性要求。真机实验分析视觉误差对运动性能影响，迭代优化算法。

任职要求

1、学历与经验： 计算机科学、机器人学、自动化、人工智能等相关专业本科及以上学历；3年以上机器人视觉感知或视觉强化学习相关研发经验。 2、视觉感知核心能力（重点）：精通计算机视觉基础理论，熟悉相机模型、标定、多视图几何。熟练掌握至少一种视觉感知技术栈：传统视觉： OpenCV, PCL（点云库），熟悉特征提取、立体匹配、SLAM/VIO基础。深度学习视觉： 精通PyTorch，熟悉CNN、Transformer在视觉任务中的应用。有实际训练视觉模型（分类、分割、检测、深度估计）的经验。有将视觉信息作为强化学习状态输入的实际项目经验，理解视觉表征对策略学习的影响。 3、强化学习与机器人控制：精通深度强化学习算法（PPO, SAC等），有真机部署机器人运动策略经验。扎实的机器人学基础，熟悉运动学、动力学及状态估计。 4、编程与工程：精通Python和C++，熟悉Linux、ROS/ROS2。具备嵌入式视觉部署经验者优先，了解模型优化与加速技术。 加分项 5、视觉感知专项经验：有地形语义分割、视觉里程计/SLAM、单目/立体深度估计或事件相机处理经验。熟悉场景表征技术，并思考其在机器人导航与控制中的应用。在CVPR, ICCV, ECCV, ICRA, IROS等会议发表过视觉感知或机器人学习相关论文。 6、系统融合经验：有在NVIDIA Isaac Sim中配置视觉传感器、进行域随机化训练的经验。有多模态学习或模仿学习（从人类演示视频中学习）经验。熟悉CUDA编程或TensorRT，有实际的模型部署与性能调优经验。

符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信。

部门

京东科技