大模型推理服务工程师

岗位职责

岗位职责: 1 基座模型商业化业务的平台开发：参与商业化统一入口的设计与研发，实现用户身份识别与优先级管理、流量染色、请求路由，以及限流降级等稳定性保障机制； 2 多协议适配与统一流量收口：参与流量收口层的研发，屏蔽内外部协议差异，统一收口全量业务流量，实现超参校验、协议转换等公共能力，支撑多业务线接入； 3 推理请求的智能路由与调度：基于流量标识实现会话亲和路由与多维度负载均衡，提升商业化请求的服务稳定性与缓存命中率； 4 分布式推理系统和推理引擎：参与大规模分布式推理集群的任务调度系统研发，比如 dynamo、HiCache，优化多机多卡推理引擎的吞吐和时延性能； 5 流量与资源管理：设计并实现大规模推理服务的流量管控、弹性扩缩容与资源调度机制，保障系统在高并发场景下的吞吐与稳定性； 6 平台工程化建设：参与 C 端 / B 端平台基础设施建设，涵盖服务治理、可观测性体系、容灾降级等工程能力的设计与落地； 7 与算法团队紧密配合，推动LLM、RAG等技术与工程系统的深度集成，持续迭代项目能力，提高服务质量。

任职要求

岗位要求:

1. 具备5年以上Java/Python开发经验，精通分布式系统开发与性能优化；
2. 有AI应用框架或平台研发经验，熟悉大语言模型应用开发流程，了解LangChain、Auto GPT等主流框架，掌握Prompt工程、RAG及大模型工具集成与调用；
3. 拥有大模型应用开发或相关人工智能项目经验，优先有对话系统、搜索推荐系统、大规模机器学习系统等领域经验者；
4. 对新技术充满好奇心和敏锐度，具备出色的复杂问题分析与解决能力，拥有良好的沟通能力和团队协作精神，能够高效推动跨团队合作。