资深爬虫工程师（国内外数据方向）

岗位详情

工作职责: 一、岗位亮点 负责日本、欧美主流站点海量数据采集，聚焦多媒体（图片 / 视频 / 音频）与多模态数据爬取；深度对抗国内外顶级风控体系，主导分布式高可用爬虫系统设计与技术攻坚，为基座模型训练、业务分析提供高质量国内外数据源，技术挑战与成长空间充足。 二、岗位职责 1.分布式爬虫系统研发设计、开发与维护高可用、高并发分布式爬虫系统，支撑国内外海量多媒体数据的稳定采集、解析与存储。 2.国内外风控对抗攻坚研究并突破 YouTube、Instagram、TikTok、Reddit、Bangumi 等国内外主流站点的反爬机制，解决 IP 封禁、账号限制、行为风控、地域限制等问题。 3.多媒体数据处理完成视频、音频、图片等非结构化数据的抓取、元数据提取、去重与质量校验，保障数据完整性与可用性。 4.全端逆向工程负责 Web 端 JS 逆向、安卓 /iOS 端 APP 逆向，破解加密算法、签名机制与接口校验逻辑，保障数据稳定获取。 5.复杂防护绕过攻克高难度验证码、Cloudflare/Akamai/Shape Security 等国内外主流防护体系，保障爬取链路稳定。 6.跨团队协同与数据清洗、算法团队配合，输出标准化数据源，优化采集流程与数据质量。 工作要求:

1. 硬性基础要求 ●5 年及以上爬虫开发实战经验，有大规模国内外数据采集项目经验； ●精通 Python 开发，熟悉异步、并发编程，了解 Go/Java/Rust 优先。
2. 核心技术能力 ●熟练使用 Scrapy、Playwright、Selenium 等主流爬虫框架，有分布式爬虫 / 调度系统开发经验优先； ●精通 Web 端 JS 逆向（AST、混淆还原、加密参数破解），掌握 Frida、Xposed、IDA Pro 等 APP 逆向工具； ●深入理解 HTTP/HTTPS/TCP 协议，熟悉 WebSocket、QUIC、HLS/DASH 等网络与流媒体协议； ●熟练使用 FFmpeg、OpenCV 完成音视频处理与大文件下载。
3. 国内外专项能力 ●精通国内外代理池（住宅 IP / 数据中心 IP）的搭建、管理与优化； ●具备对抗 Cloudflare、Akamai、Shape Security 等国内外顶级风控系统的实战经验； ●熟悉欧美、日本主流平台的数据规则与业务逻辑，能快速适配多地域、多语言站点。
4. 软技能要求 ●自驱力强，擅长技术攻坚，能独立解决复杂技术难题； ●英语 CET-6 及以上，可无障碍阅读英文技术文档、排查国内外技术问题； ●良好的团队协作与沟通能力，能输出清晰的技术方案。 ●熟练使用AI agent能力者优先