系统架构师(java)和大数据架构师

标签：理解   商业   技术趋势   创造价值   编码   set   可行性   队列   zookeeper   

• 系统的技术选型以及可行性评估
• 分布式技术框架的把控
• 深入挖掘和分析业务需求,重点模块的设计,方案的评审与技术支持,技术难点攻关,分布式系统技术如何落地,撰写技术方案和系统设计文稿,指导开发人员完成编码工作
• 针对产品性能和架构优化,确保系统的架构质量
• 优秀的抽象设计能力,思路清晰,善于思考,能独立分析和解决问题.

具体可能需要掌握以下内容

• 熟悉*nix,熟练应用shell/python etc.
• 扎实的java基础知识,熟悉IO,多线程以及并发编程
• 熟悉掌握缓存,NoSQL,Netty,kafka等中间件技术
• 对JVM原理有扎实理解,对服务端设计与编程有深入理解,能够进行JVM调优
• 熟悉常见的数据结构,熟悉常用的设计模式,深入理解分布式算法和主流分布式系统,熟悉主流消息队列及其工作原理(sort/index/store/smooth/duplicate removal)
• 有丰富的分布式,高并发,高负载,高可用性系统设计经验,熟悉分布式缓存,消息机制等

大数据架构师

• 针对大数据平台的设计和开发制定数据架构规范,进行核心代码编写
• 针对数据基础架构和数据处理系统进行升级和优化,技术难题攻关,持续提升核心系统性能,保证系统安全高效平稳运行
• 大规模数据实时化,技术容器化,私有云实施技能方案,数据模型规范化等
• 跟踪大数据相关领域技术趋势,竞品的发展以及技术动态
• 精通或熟练掌握大数据生态的技术和产品:Hive,Storm,Flink,Spark,ELK,Kafka,Zookeeper,Yarn,presto,对spark分布式计算的底层原理有深入理解,对复杂系统的性能优化和稳定性有实践经验
• 精通或熟练数据仓库设计,深刻理解MR运行原理和机制,能进行任务执行效率优化,熟悉开源数据交换工具:sqoop,Streamset,kettle,datax etc.
• 善于捕捉业务需要,根据需要规划架构设计,给出相应的解决措施和方法.
• 加分项:数据预测,预警,人工智能,图像识别,语音智能,物联网数据收集,标等.线性计算,神经网络,知识图谱.

二者异同:
异:java系统架构师偏重于分布式,高可用,可并发,容错等.熟练掌握支撑业务的系统架构或工具集
大数据架构师偏重于人工智能,商业智能,数据挖掘,离线,实时等高效率高可用的结构化数据,半结构化数据.熟悉hadoop生态圈子,使用各种模型组件集来解决问题.
同:降本增效,提高效率,创造价值.

系统架构师(java)和大数据架构师

标签：理解   商业   技术趋势   创造价值   编码   set   可行性   队列   zookeeper   

原文地址：https://blog.51cto.com/8745668/2378954