岗位职责： 

1、根据不同业务需求沟通协作，利用爬虫工具实现网站的数据采集、数据源归类； 

2、熟悉爬虫、抓取技术，了解常规网站结构，使用八爪鱼、前嗅、火车头等进行数据抓取； 

3、了解网站反爬虫策略，不断优化数据采集计划。 

职位要求： 

1、本科及以上学历，计算机、软件相关专业； 

2、熟练掌握 HTIP、TCP/IP 等网络传输协议工作原理； 

3、熟悉网页 HTML 结构代码，了解正则表达式； 

4、熟悉关系型数据库的使用，例如 Mysql 等； 

5、具有使用八爪鱼、前嗅、火车头等经验者优先。