高级数据研发工程师（直播）-【数据平台】

岗位职责

1、负责直播数据仓库的建设，构建直播领域垂直应用的数据集市；探索并应用智能化的数据管理方法（如元数据自动化管理、数据质量智能监控）提升效率； 2、定义并开发业务核心指标数据，负责垂直业务数据建模；结合业务目标，探索利用AI/ML技术（如预测性指标设计、用户/内容理解特征工程）提升数据洞察深度； 3、根据业务需求，提供大数据计算应用服务，并持续优化改进；支持基于AI模型训练、推理、评估的数据计算需求，并探索利用AI技术（如自动化调优、智能资源调度）优化计算性能和成本； 4、参与直播数据平台的开发工作，支持业务需求；关注并评估AI技术（如AutoML、向量数据库、LLM应用）在数据平台中的应用潜力，协助平台智能化演进。

任职要求

1、有Hudi、Hive、Kafka、Spark、Flink、HBase等两种以上两年以上使用经验；（熟悉Spark MLlib, Flink ML或其他大数据生态中的机器学习库者优先；了解如何利用这些框架支持AI工作流）； 2、熟悉数据仓库理论方法及ETL相关技术，对于数据的架构和设计有一定的思考，具备良好的数学思维和建模思维；具备将业务问题转化为数据问题和潜在AI应用场景的思维；理解特征工程的基本概念及其在数据管道中的重要性； 3、熟悉分布式计算框架，掌握分布式计算的设计与优化能力，了解流式计算；了解分布式机器学习/深度学习框架（如TensorFlow/PyTorch分布式、Spark MLlib）基本原理者优先；理解流式计算在实时AI应用（如实时推荐、风控）中的作用； 4、对人工智能（AI）和机器学习（ML）在数据领域的应用（如智能分析、自动化、预测建模、AIGC相关数据处理）有浓厚兴趣和基本认知；具备快速学习并应用新兴AI相关数据技术（如特征存储、模型监控、向量数据库、LLM数据处理等）的意愿和能力；善于思考如何利用数据工程能力赋能和优化AI模型的整个生命周期（数据准备、特征工程、模型服务、监控）； 5、有很强的学习、分析和解决问题的能力，良好的团队合作意识，较强的沟通能力。