大数据爬虫工程师

岗位职责

1. 遵循robots协议，爬取互联网上允许爬虫采集的公开信息；
2. 参与爬虫平台架构设计与基础建设，维护爬取及数据处理任务，保障各类渠道数据的稳定性与正确性；
3. 攻克各种爬虫技术难关，提升爬虫平台效果与性能；
4. 支持其他的业务数据采集、渠道接入及系统维护等需求。

任职要求

1. 本科及以上学历，计算机科学与技术专业优先；
2. 熟悉 Python，熟悉主流爬虫技术方案；具备良好的前端分析能力；熟悉常用中间件如Kafka、Redis等；
3. 善于分析和解决问题，勇于面对各类挑战；
4. 有良好的沟通协调能力，能承受一定压力，工作主动性强，责任心强。