推理平台研发工程师(网关与流量向)

Company Mihoyo

Focus Tech · Backend

Location 上海, 北京

Published January 7, 2026

岗位职责

  1. 负责大模型推理平台(含多模态)与传统网关场景的统一流量接入与调度体系建设:入口网关到推理后端的路由、转发、灰度、熔断、降级与回滚策略落地

  2. 设计与实现面向推理业务的流量调度算法:按模型/租户/优先级/成本/延迟目标进行动态路由与容量分配,持续优化 TTFT / TPOT / P99 等指标

  3. 建设流量治理能力:限流(全局/分层/配额)、并发控制、排队与背压、超时与重试、连接管理、长连接与流式请求治理、突发保护与弹性策略

  4. 完善可观测性与问题定位:全链路 tracing、结构化日志、指标与告警体系;建设压测/回放/故障演练能力,提升定位与恢复效率

  5. 推进平台化与工程化:沉淀配置/策略编排/发布体系,保障多集群、多环境的一致性、稳定性与安全合规

  6. 持续跟进业界先进网关与推理流量技术/算法,推动在生产环境落地与迭代

任职要求

  1. 本科及以上,计算机相关专业;3 年及以上后端/平台研发经验,有网关、流量治理或分布式系统经验

  2. 精通 Go / Rust / C++ 其一(熟悉另一门更佳),具备高并发网络服务研发、性能优化与线上问题处理经验

  3. 熟悉服务治理与网关核心能力与原理:L7/L4 转发、LB、限流、熔断、降级、超时重试、连接池/断路器、流式请求治理、流量回放等

  4. 熟悉可观测性体系:Prometheus/Grafana、OpenTelemetry/Jaeger 等;能设计指标与 tracing 规范并落地

  5. 熟悉 Kubernetes 与云原生生态:Ingress/Gateway API、Service/Endpoint、发布回滚、多集群治理与HPA等

  6. 具备良好的系统设计与跨团队协作能力,能将能力产品化/平台化