爬虫岗位职责（精选5篇）
职责描述：
1.参与爬虫系统的架构设计与开发；
2.负责执行和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；
3.负责网页信息和app数据抽取、清洗、消重等工作，提升平台的'抓取效率；
4.参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；
5.实时监控爬虫的进度和警报反馈。
任职要求：
1.本科以上学历，3年以上爬虫开发相关经验，熟练使用python或java进行开发；
2.熟练使用正则表达式、css path、xpath等，能够从结构化的和非结构化的数据中获取信息；
3.熟练使用mysql数据库，掌握redis、mongodb、hive等常用nosql技术并具有实战经验；
4.熟悉各种抓取技术，包括代理、phantomjs/selenium、验证码处理；
5.熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；
6.具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；
7.快速学习能力，工作积极主动，有创业热情和良好的团队协助能力；
8.需要有大量数据爬取以及高难度反爬经验，没有相关经验的勿扰。
职位描述：
工作职责：
1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作；
2、负责网页信息和app数据抽取、清洗、消重等工作，提升平台的'抓取效率；
3、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；
4、实时监控爬虫的进度和警报反馈。
任职要求：
1、有扎实的算法和数据结构能力；
2、熟悉爬虫原理，熟悉常见的反爬虫技术，有爬虫相关项目开发经验者优先；
3、掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术；
4、有大规模数据处理、数据挖掘、信息提取等经验者优先。
岗位职责：
1.负责网络爬虫的架构设计、开发与优化；
2.负责抓取数据的清洗、落地、分析；
3.抓取策略算法的'更新维护，以及确保数据抽取准确、高效。
任职要求：
1.两年及以上互联网或软件行业工作经验；
2.理解http协议，熟悉html、dom、xpath；
3.熟悉linux开发环境，至少熟悉python/go/java/中的一种编程语言；
4.有爬虫、信息抽取、文本分类、大数据处理相关经验优先；
5.有自然语言处理、机器学习经验优先；
6.熟悉浏览器内核、渲染机制优先；
7.工作认真，细心，有条理，积极性高；良好的沟通能力及团队合作精神。
职位描述：
工作职责：
1.开发网页自动化脚本。
2.负责商品信息结构化，编写自动化脚本解析网页信息。
3.商品索引系统：亿级sku的库存价格实时跟踪同步，并对商品进行智能分类、本地化、图片处理和去重。
4.设计、开发、测试、部署以及维护并改进各子系统；
5.管理项目优先级并按时交付。
职位要求：
1.全日制统招本科、硕士毕业，1年以上软件开发工作经验；
2.熟悉至少一门通用静态编译编程语言，c/c++/java/c#/go；
3.熟悉web端基础标准，包括html、css、javascript、json等；
4.熟悉python或其他脚本语言，有兴趣和能力根据需求学习其他编程语言；
5.熟悉unix/linux环境，memcache/redis/mongodb等存储系统，能独立设计开发包括前后端交互的业务子系统；
6.熟悉常见的设计模式、单元测试、持续开发集成、code review，并能在日常工作践行；
7.了解搜索引擎、电子商务、社交类应用的系统基本架构，能对已有的.子系统进行优化调整的优先；
8.活跃的开源项目贡献者优先。
职责描述:
1、负责公司产品的爬虫架构设计与开发,以及爬虫策略优化等工作;
2、根据数据产品需求,负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作;
任职要求:
1、计算机、数学或统计等相关专业本科及以上学历,1年以上爬虫相关工作经验;
2、熟悉linux平台,熟练掌握python或java爬虫开发工作;
3、熟悉静态、动态网页等大规模文本数据的高效信息抽取、清洗、存储等技术;
4、有反爬相关问题处理经验,精通常用的'爬虫技术及架构设计,并能快速开发实现;
5、具备良好的编程习惯和算法基础;
6、善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。