本课程是由猎豹移动大数据架构师,根据公司大数据平台的运维情况,精心设计和打磨的大数据必备Linux课程。通过本课程的学习大数据新手能够少走弯路,快速掌握Linux常用命令及Shell编程,为后续大数据课程的学习奠定了坚实的基础。 ...
分类:
系统相关 时间:
2019-10-13 11:05:21
阅读次数:
125
传统数据基础架构 传统单体数据架构最大的特点便是集中式数据存储,大多数分为计算层和存储层。 存储层,主要是负责存储企业各种系统产生的数据,如 Web 业务系统、订单系统、CRM 系统,ERP 系统、监控系统,数据比如系统的订单交易量,网站的活跃用户数,每个用户的交易额。 所有的操作均需要借助于同一套 ...
分类:
其他好文 时间:
2019-09-19 01:45:58
阅读次数:
108
9.1 关系型数据库尚能饭否 在大数据、NoSQL以及NewSQL等新技术的轮番轰炸后,依然是主流 9.1.1 优势 开发优势:SQL查询灵活度非常高,方便的进行联机事务处理。JDBC完善。ORM完善。 ORM是为了解决 面向对象和关系型数据库阻抗不匹配的问题的: (阻抗不匹配: 比如一个Oppro ...
分类:
其他好文 时间:
2019-09-14 16:14:24
阅读次数:
86
写在前面的话 液晶(LCD)显示具有功耗低、体积小、重量轻、超薄等许多其他显示器无法比拟的优点,近几年被广泛应用于FPGA控制的智能仪器、仪表和低功耗的电子产品中。LCD可分为段位式LCD、字符式LCD和点阵式LCD。其中段位式LCD和字符式LCD只能用于字符和数字的简单显示,不能满足图像曲线和汉字 ...
分类:
其他好文 时间:
2019-09-14 11:38:14
阅读次数:
147
1.随着互联网快速发展,数据量的快速膨胀,我们日增3000多亿数据量,因此需要针对PB级存储、几百TB的增量数据处理架构设计 2.系统逻辑划分总图: 暂不便透露 3.系统架构图: 4.大数据计算引擎我们是采用Apache Flink流式计算框架,并对其进行了一些优化,目前在生产环境,已经基本稳定运行 ...
分类:
其他好文 时间:
2019-08-15 12:51:51
阅读次数:
131
一、什么是架构? 1. 生活中总是时不时听到一些高大上的词,例如:微服务架构、系统架构、应用架构、部署架构、组织架构、大数据架构,可惜的是很多人都在谈架构,但是一问起来,没几个能说出架构是啥 2. 架构的本质是为了做增长 3. 架构做增长的方式就是以拆分生命周期达到 二、什么是生命周期? 生命周期就 ...
分类:
其他好文 时间:
2019-08-15 12:38:19
阅读次数:
99
1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS(分布式文件系统),YARN(分布式资源调度系统),MapReduce(分布式计算系统),等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件,提交给HDFS的 (用以存放文件目录树,权限设置,副本数设置等 ...
分类:
其他好文 时间:
2019-08-13 17:25:04
阅读次数:
89
苏宁人工智能研发中心智能创意平台架构成长之路(一)--长篇开篇 https://www.cnblogs.com/laoqing/p/11326132.html 我们接着第一篇继续。 (这是第二篇大数据架构篇,成长之路序列会包含多篇,笔者作为这个平台的架构兼技术经理,充分讲述其中的迭代心酸之路以及中间 ...
分类:
其他好文 时间:
2019-08-09 17:30:56
阅读次数:
85