资深大数据工程师/架构师

发布时间: | 北京

职位描述

客户公司:主做工业互联网的公司
 

    职位:资深大数据工程师/架构师

    岗位职责

1、构建大规模分布式大数据服务平台,包括海量多媒体数据存储、离线/实时计算、数据分析和数据挖掘;

2、负责大数据领域的产品、项目架构指导及评审;

3、负责大数据领域相关公共及底座能力架构设计、技术难题攻关、核心代码编写及开发指导;

4、参与大数据领域相关的技术标准规范制定及技术引进;

5、针对各种业务增长和业务需求,设计、部署、调优大数据组件;

6、负责以Flink为基础的实时计算平台产品的架构方案设计和评审、性能调优、资源规划;

7、负责探索新的技术发展方向,解决产品中的难点问题和性能瓶颈;   

8、负责对技术团队进行指导,实现团队能力的综合提升。

 

职位要求

1.计算机科学/自动化控制相关专业,本科及以上学历,5年及以上平台架构经验;

2.具有大规模分布式系统架构、设计、开发、维护经验,有故障处理能力;

3.精通一个及以上的常用开源分布式系统,包括Hadoop/Hive/Spark/Flink/HBase/Kafka/ElasticSearch;

4.精通Flink实时计算,熟悉Flink源代码,对实时数据处理有深刻理解;

5.精通两个以上的OLAP开源引擎,包括Clickhouse/Doris/Starrocks/greenPlum,熟悉常用的优化策略,对调优有以一定的理解;

4.精通Shell/Python/java中至少2种语言;

5.对海量存储、性能调优、平台可靠性有深入研究;

6.良好的沟通能力和团队合作精神;

7.快速学习掌握新技术。

加分项:

1.精通实时大数据处理系统;

2.有业务架构经验;

3.有数据安全架构经验;

4.开源工具社区开发经验;

5.英文文档阅读能力。