蚂蚁集团-阿福多模态实时交互工程-健康事业群

岗位职责

负责阿福多模态实时交互能力的工程研发与交付，围绕 ASR（语音识别）、TTS（语音合成）及全双工 Agent 等核心能力，建设低延迟、高稳定性、可扩展的实时交互系统，让用户通过自然流畅的语音和音视频交互，获得专业、有温度的 AI 健康服务。

1. 负责 ASR、TTS 等语音能力的工程接入与服务建设，完善流式处理、会话管理及异常恢复机制，持续优化语音服务的响应速度、稳定性与交互体验；
2. 负责基于 LLM/VLM 的全双工 Agent 核心框架与服务建设，打通 ASR、模型推理、工具调用与 TTS 的流式链路，支持边听边说、交互打断与恢复、多模态上下文管理及实时任务编排，持续优化交互自然度与端到端响应时延；
3. 建设通用的实时多模态 Agent 服务平台，提升核心能力复用与业务接入效率，支撑电话交互、视频问诊等场景的研发与交付；完善全链路观测、评测与调试能力，保障系统在高并发场景下的性能、稳定性与可用性；
4. 理解业务与产品目标，制定技术方案、识别技术风险，推动架构与核心能力持续演进；与算法、产品及上下游团队协作，保障项目进度和交付质量。

任职要求

1. 熟练掌握 Java、Go、Python 等至少一门编程语言，具备扎实的计算机基础，熟悉并发编程、异步处理、网络通信及常用设计模式，具有良好的编码习惯；

2. 熟悉分布式系统设计及常用数据库、缓存、消息队列，具备高并发服务研发、性能优化和稳定性保障能力，能够独立分析与解决复杂链路中的技术问题；

3. 熟悉流式处理、长连接通信及会话状态管理，了解大模型应用与 Agent 的基本原理，能够围绕模型服务接入、上下文管理、工具调用等能力设计并实现工程方案；

4. 具备良好的业务理解、问题分析和跨团队协作能力，能够独立推进技术方案落地与项目交付；热爱技术，对 AI、多模态及实时交互技术有持续的好奇心。 具备以下经验者优先（加分项）：

5. 有 ASR、TTS、语音助手或全双工语音对话系统的研发与交付经验，熟悉语音活动检测、流式推理、交互打断与恢复及端到端时延优化，了解 WebRTC、SIP、音视频编解码等相关技术；

6. 有 LLM/VLM Agent、多模态应用或模型服务平台的研发经验，参与过实时任务编排、全链路观测、评测与调试能力建设。

岗位标签

NEW

特色标签

Java、Python、PyTorch、人工智能、人类偏好强化学习、医护办事、医疗、医疗健康、医疗大模型、发表算法相关优秀论文、垂直行业大模型、大模型算法、学术论文、强化学习、强化学习人类反馈、强化学习微调、数字医疗、智能应用、机器学习、机器学习基础、模型加速/性能优化、深度学习、深度学习框架、监督微调、算法工程化经验、编程语言、自然语言处理、自然语言处理算法、行业大模型、语言模型、顶级会议论文