资深大数据工程师/架构师
发布时间: | 北京
职位描述
客户公司:主做工业互联网的公司
职位:资深大数据工程师/架构师
岗位职责
1、构建大规模分布式大数据服务平台,包括海量多媒体数据存储、离线/实时计算、数据分析和数据挖掘;
2、负责大数据领域的产品、项目架构指导及评审;
3、负责大数据领域相关公共及底座能力架构设计、技术难题攻关、核心代码编写及开发指导;
4、参与大数据领域相关的技术标准规范制定及技术引进;
5、针对各种业务增长和业务需求,设计、部署、调优大数据组件;
6、负责以Flink为基础的实时计算平台产品的架构方案设计和评审、性能调优、资源规划;
7、负责探索新的技术发展方向,解决产品中的难点问题和性能瓶颈;
8、负责对技术团队进行指导,实现团队能力的综合提升。
职位要求
1.计算机科学/自动化控制相关专业,本科及以上学历,5年及以上平台架构经验;
2.具有大规模分布式系统架构、设计、开发、维护经验,有故障处理能力;
3.精通一个及以上的常用开源分布式系统,包括Hadoop/Hive/Spark/Flink/HBase/Kafka/ElasticSearch;
4.精通Flink实时计算,熟悉Flink源代码,对实时数据处理有深刻理解;
5.精通两个以上的OLAP开源引擎,包括Clickhouse/Doris/Starrocks/greenPlum,熟悉常用的优化策略,对调优有以一定的理解;
4.精通Shell/Python/java中至少2种语言;
5.对海量存储、性能调优、平台可靠性有深入研究;
6.良好的沟通能力和团队合作精神;
7.快速学习掌握新技术。
加分项:
1.精通实时大数据处理系统;
2.有业务架构经验;
3.有数据安全架构经验;
4.开源工具社区开发经验;
5.英文文档阅读能力。