工作职责

1、参与数据分析与挖掘系统的需求分析，方案设计、系统研发和业务挖掘工作

2、参与图像大数据挖掘项目的开发

任职资格

1、熟悉Java平台IO、多线程、网络等基础知识和相关框架

2、熟悉Linux基础知识和常用命令，能较强的分析和解决问题能力

3、熟悉HDFS、Hbase、Hive等大数据存储技术工具，原理和应用

4、熟悉Yarn/Mesos、MapReduce/Spark，Kylin等大数据分析技术的一种或多种

5、熟悉数据集成和大规模数据转换技术和工具，如Kettle，Sqoop，Flume等

6、熟悉数据采集工程（爬虫）工作原理，能编写和部署大规模爬虫系统