【岗位职责】:
1、参与编写和优化数据抽取、转换和加载(ETL/ELT)脚本,处理结构化和非结构化数据,协助开发和维护可靠、可扩展的实时/离线数据管道,在导师指导下,完成数据清洗、数据打宽、数据集成等基础数据处理任务。
2、协助监控大数据集群(如 Hadoop、Spark、Flink)的运行状态和任务执行情况,参与处理日常数据任务中的故障和告警,学习并理解平台的稳定性保障,协助进行数据仓库(如 Hive)的表结构管理和数据生命周期管理。
3、与数据科学家、数据分析师等团队成员紧密协作,理解业务需求,并提供数据支持,积极学习并掌握团队使用的大数据技术和工具,快速融入开发流程,编写清晰的技术文档,记录数据处理流程和开发规范。
【任职要求】:
1.、统招本科及以上学历,计算机科学、软件工程或相关专业。
2、编程语言: 至少熟练掌握 Java或Python中的一种,具备良好的编程习惯和基础算法能力,数据库知识:熟悉 SQL 语言,了解数据库基本原理(如 MySQL、PostgreSQL),计算机基础:了解操作系统、计算机网络、数据结构和算法等基础知识。
3、对 Hadoop、Spark、Hive、Flink、Kafka 等主流大数据组件有基本概念和理解(通过课程、自学或项目接触过),了解数据仓库的基本分层理论(如 ODS, DWD, DWS, ADS)。
4、 强烈的学习欲望:对大数据技术有浓厚兴趣,乐于学习新知识,能通过快速学习弥补经验上的不足,逻辑思维与问题解决能力:具备清晰的逻辑,能够分析并解决技术问题,团队合作与沟通能力:良好的沟通能力,能够清晰地表达自己的想法,并积极与团队成员协作,责任心与细心:对数据和代码有责任心,工作细致,有耐心。