混元大模型漫爬数据策略算法工程师

岗位职责

1. 负责大模型预训练/AI搜索业务的全网漫爬策略设计，解决资源发现和调度问题，覆盖全语种/多模态，提升有价值数据覆盖率、时效性；
2. 页面质量，基于机器学习/NLP/LLM，构建高质量内容筛选策略，识别低质量/垃圾/重复页面，提高数据质量；
3. 重复问题解决，优化URL/资源内容去重策略，提升爬虫抓取效率、内容转化和留存能力；
4. 内容理解，基于BERT/GPT/LLM 等技术，构建网页内容理解、网页分类，助力大模型训练数据/AI搜索效果。

任职要求

1. 计算机相关专业优先，熟悉 python/c++编程语言；
2. 有数据工程或相关领域的工作经验，具备一定的机器学习算法基础，了解BERT/GPT/LLM 等技术；
3. 熟练掌握大数据技术栈，包括Hadoop、Spark 等，有使用数据库（如SQL）和数据仓库的经验。

产品/项目

混元-数据工程

工作年限

两年以上工作经验