部分摘自:https://www.cnblogs.com/qingyunzong/p/8886338.html 1.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开 ...
分类:
其他好文 时间:
2019-02-22 23:19:24
阅读次数:
187
软件设计模式的产生背景 设计模式这个术语最初并不是出现在软件设计中,而是被用于建筑领域的设计中。 1977 年,美国著名建筑大师、加利福尼亚大学伯克利分校环境结构中心主任克里斯托夫·亚历山大(Christopher Alexander)在他的著作《建筑模式语言:城镇、建筑、构造(A Pattern ...
分类:
编程语言 时间:
2019-02-03 12:40:43
阅读次数:
154
一、Spark概述 spark官网:spark.apache.org Spark是用的大规模数据处理的统一计算引擎,它是为大数据处理而设计的快速通用的计算引擎。spark诞生于加油大学伯克利分校AMP实验室。 mapreduce(MR)与spark的对比: 1.MR在计算中产生的结果存储在磁盘上,s ...
分类:
其他好文 时间:
2019-01-13 00:18:41
阅读次数:
204
一台服务器的日志对系统工程师来说是至关重要的,一旦服务器出现故障或被入侵,我们需要查看日志来定位问题的关键所在,所以说对于线上跑的服务器而言日志应该合理的处理及管理。 Syslog协议 系统日志(Syslog)协议是在一个IP网络中转发系统日志信息的标准,它是在美国加州大学伯克利软件分布研究中心(B ...
分类:
其他好文 时间:
2018-12-26 10:30:14
阅读次数:
229
PostgreSQL被誉为“世界上功能最强大的开源数据库”,是以加州大学伯克利分校计算机系开发的POSTGRES 4.2为基础的对象关系型数据库管理系统。 PostgreSQL支持大部分 SQL标准并且提供了许多其他现代特性:复杂查询、外键、触发器、视图、事务完整性、MVCC。同样,PostgreS ...
分类:
数据库 时间:
2018-12-14 23:29:27
阅读次数:
422
传智播客 @Android就是Linux内核(kernel)加Java,诺基亚的米狗也是Linux内核 @服务器系统两种unix和Linux,unix理论是收费的,但是伯克利分校的BSD版本的unix免费。 @命令行 命令窗口字体调整:Ctrl,shift,+;Ctrl,- 当前路径下的文件:ls ...
分类:
系统相关 时间:
2018-12-14 13:00:41
阅读次数:
203
套接字socket 套接字起源于 20 世纪 70 年代加利福尼亚大学伯克利分校版本的 Unix,即人们所说的 BSD Unix。 因此,有时人们也把套接字称为“伯克利套接字”或“BSD 套接字”。一开始,套接字被设计用在同 一台主机上多个应用程序之间的通讯。这也被称进程间通讯,或 IPC。套接字有 ...
分类:
编程语言 时间:
2018-12-08 11:34:54
阅读次数:
188
spark spark背景 什么是spark Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。目前,Spark生态系统已经发展成为一个包含多个子项目的集 ...
分类:
其他好文 时间:
2018-12-07 21:21:49
阅读次数:
298
1.概述 Spark起源于加州大学伯克利分校RAD实验室,起初旨在解决MapReduce在迭代计算和交互计算中的效率低下问题.目前Spark已经发展成集离线计算,交互式计算,流计算,图计算,机器学习等模块于一体的通用大数据解决方案. 2.Spark组件 Spark Core Spark Core 实 ...
分类:
其他好文 时间:
2018-11-21 10:22:35
阅读次数:
271
一、DNS系统的作用及类型DNS系统的作用正向解析:根据主机名称(域名)查找对应的IP地址反向解析:根据IP地址查找对应的主机域名DNS系统的分布式数据结构?缓存域名服务器–也称为高速缓存服务器–通过向其他域名服务器查询获得域名->IP地址记录–将域名查询结果缓存到本地,提高重复查询时的速度?主域名服务器–特定DNS区域的官方服务器,具有唯一性–负责维护该区域内所有域名->IP地址的映
分类:
其他好文 时间:
2018-11-14 18:54:03
阅读次数:
190