岗位职责
你是优秀的研发工程师,
负责云计算和大数据基础技术研发,包括不限于以下方向:
- 云基础设施技术,包括研发面向百万级服务器的网络(如RDMA、可编程芯片)、服务器(如异构计算)、数据中心,以及构建超大规模的基础设施智能化运维体系(如AIOps);
- 虚拟化技术,包括XEN、KVM等开源技术的改进,以及也包括我们自研的SDN、VPC等网络虚拟化、存储虚拟化技术,还包括Docker等轻量级的容器方案;
- MySQL、PostgrelSQL、MongoDB、Redis、HBase等开源数据库内核的改进;
- 包含单集群上万个节点,多地多集群的超大规模分布式存储系统(文件系统,KVstore,BigTable等等)、分布式计算系(MapReduce,DAG,类Hive/spark的计算系统包括离线,分布式开发语言,分布式开发IDE,查询优化,流式实时计算,图计算,MPP等等)、弹性分布式资源管理和调度(海量多维度的多目标的调度系统,多个资源维度资源隔离技术等等)、机器学习平台(包括Paratemter Server,深度学习,逻辑回归等等)、异构等新型硬件上计算(包括CPU,GPU,FPGA,RDMA等等);
- 大数据在线引擎体系的目标是是集广告、搜索、推荐的投放三位于一体,在近百毫秒周期内,从服务端跨越至移动端上智能,支撑总体近TB级的模型,完成知识推理向量匹配等各种召回,以及其它深度学习的排序和预测算法,参与计算的数十亿商品保持实时更新,支持数百位算法工程师面向众多场景展开测试,在算子流图化的抽象之下,引擎内的模型和数据可随时调整布局满足迭代所需。
任职要求
必须具备的:
- 具备优秀程序员的基本素养,对代码有洁癖,遇到问题可以一查到底,善用工具,对工程效率有自己的见解;
- 全栈式人才,在计算机系统结构、操作系统内核、网络、分布式系统、算法等领域有所专长相互融合;
- 需要在Scala/Rust编程语言上达到精通的水平,对编程语言不封闭,有学习新语言的兴趣。
可以加分的:
快速学习,不断突破技术瓶颈,乐于探索未知领域,随时准备好去面对新挑战。
特色标签
Docker、FPGA加速、GPU计算、HBase、Hive、Kubernetes、Linux开发/部署经验、MongoDB、MySQL、NoSQL数据库、Parameter Server、PostgreSQL、RDMA网络、Redis、Rust、Rust语言、Scala、Scala语言、SDN、Spark、VPC、云原生、云服务、云计算、云计算经验、公有云、关系数据库、分布式存储、分布式架构、分布式经验、分布式计算、基础设施、多目标调度、大数据、存储虚拟化、容器化、巨量数据、广告、开源数据库、弹性调度、推荐、搜索、数据中心、数据分析、数据库、数据湖、机器学习经验、海量数据、深度学习框架、混合云、百万级服务器、私有云、系统架构设计经验、系统编程语言、缓存数据库、网络虚拟化、虚拟化、虚拟机、资源管理、资源隔离、超大规模服务器集群、逻辑回归、高性能硬件