资深爬虫开发工程师（杭州）

岗位职责

1. 设计、开发、维护、重构分布式网络爬虫，采集并清洗结构化数据。
2. 负责持续运营和更新爬虫程序，识别和解决数据源变化和其他问题。
3. 爬虫性能优化，包括处理性能、爬取策略、占用带宽、反爬虫机制等方面。
4. 能够统计和分析数据，与其他团队合作，如数据工程师、数据分析师协作，以确保数据采集系统的有效性和可靠性。

任职要求

1. 本科及以上学历，计算机相关专业，至少2年及以上项目开发经验，扎实的技术理论基础，数据结构以及算法等；
2. 熟练掌握 Python编程语言，掌握 Selenium、Scrapy、PlayWright等框架的用法，熟悉任意开源爬虫框架。
3. 熟悉 HTML、JavaScript，懂得分析常见 Web界面结构，掌握基本 jQuery、CSS、XPath等语法。
4. 熟悉 App逆向分析、调试、加固、混淆等技术；有 ollvm、unicorn开发经验优先。
5. 熟悉 HTTP、TCP等网络协议，精通 httpClient/jSoup/xpath/正则表达式/验证码处理/代理池等爬虫相关技术。
6. 掌握 Charles等抓包工具。
7. 了解 Android或iOS系统底层原理及机制，熟悉汇编语言和加解密算法。
8. 有深入的大规模分布式爬虫集群实践经验。
9. 对新技术保持热情，持续学习并乐于分享，勇于技术创新与技术改进。
10. 具备良好的沟通能力，积极主动、自驱力强，有强烈的团队意识和执行力。