岗位职责:

1、 负责互联网站、网页、链接的特征挖掘

2、 负责设计和开发分布式的网络爬虫应用，包括调度、抓取、入库等内容，进行互联网相关信息的抓取和分析。

3、 实现大规模文本、图像、数据的抓取、抽取，去重、分类，垃圾过滤，质量识别、解析入库等工作 。

4、 提供分布式爬虫和数据采集系统的技术实现方案；

5、 分析静态网页结构，解析网页数据，对数据进行过滤，去重，结构化处理；

任职要求：

1、全日制本科以上，计算机相关专业具备1年及以上开发项目经验；

2、扎实的Java/Python基础，熟悉多线程编程环境，熟悉常见开源框架；

3、熟悉前端技术，HTML，JavaScript，Ajax等；

4、熟悉抓取原理及技术，熟悉Scrapy、Pyspider、nutch等主流爬虫框架使用,有获取电商数据经验者优先；

5、熟练使用Mysql 、mongodb、 Redis等数据库；

6、具有构建分布式爬虫系统的经验，具有海量高并发网页爬取项目经验优先;

7、具备较好的数据分析能力和解决问题的能力、具有机器学习、数据挖掘等经验者优先

上班地址：滨江中路9号万达瑞华中心