岗位职责：

1、负责分析需求需要的数据，找到对应网站并进行数据抓取，清洗、维护工作；

2、负责通用爬虫平台设计与研发，负责特殊网页采集任务的分析及采集方案设计；

3、负责大数据平台的架构设计和研发；

4、研究海量数据的存储、计算、传输，优化系统架构，不断提升系统的时效性、稳定性、易用性。 5、5、负责产品数据爬虫方案的分析与编写；

任职要求：

1、计算机相关专业，本科及以上学历，有2年以上爬虫相关经验；

2、精通至少一种开发语言Java/Python，并能够快速学习掌握新开发语言；

3、熟悉TCP/IP，HTTP及相关网络协议；

4、熟悉JS/HTML/DOM/XPATH/CSS等网页相关技术，熟悉Nutch等分布式爬虫框架

5、有爬虫，信息抽取，文本分类等相关经验，能够总结分析不同网站，网页的结构特点及规律；

6、精通网页抓取原理及整合技术，精通正则表达式，从结构化的和非结构化的数据中获取信息；

7、熟练Mysql，redis，mongdb等数据库，有过数据库调优和海量数据存储经验优先；

8、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；

9、良好的沟通交流能力，较好的逻辑分析能力，具备敏锐的商业嗅觉，对数字敏感；

上班地址：坤讯大厦303室