1.什么是Hadoop? Hadoop是一款进行数据处理和分析的软件,包含HDFS(分布式文件存储系统),MapReduce(分布式计算框架),Yarn(分布式资源调度任务分配框架)。 Hadoop来源于谷歌2003-2004年发布的三篇论文,基于这三篇论文doug cutting( 来自 luce ...
分类:
其他好文 时间:
2019-08-18 14:02:04
阅读次数:
112
1:基本权限 (1)-rw-r--r--. 1 root root 24772 1 月 14 18:17 install.log 第一位标识文件的类型: “-”:普通文件。 - “b”:块设备文件。这是一种特殊设备文件,存储设备都是这种文件,如分区文件/dev/sda1就是这种文件。 - “c”:字 ...
分类:
其他好文 时间:
2019-08-18 13:43:30
阅读次数:
83
Python网络编程04/recv原理/高大上版解决粘包方式 [TOC] 1.昨日内容回顾 2.recv工作原理 3.高大上版解决粘包方式(自定制报头) 3.1 解决思路: 3.2 服务端 3.3客户端 4.2客户端 ...
分类:
编程语言 时间:
2019-08-16 23:06:49
阅读次数:
89
是什么? FastDFS是一个轻量级分布式文件系统。 能干嘛? 对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等。 相关概念 一、网络拓扑图 对上图的基本了解,client是客户端,tracker和storage是FastDFS系统的俩个角色。 二、详细了解tracke ...
分类:
其他好文 时间:
2019-08-16 17:04:49
阅读次数:
90
初始MongoDB MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。 文件型数据库和关系型数据库的区别 Mo ...
分类:
数据库 时间:
2019-08-15 21:27:59
阅读次数:
135
1. 为什么需要缓存拉高程序的性能 关系型数据库:数据与数据之间存在关系(联系)的数据库 mysql/Oracle、sqlserver非关系型数据库:数据与数据之间是不存在关系的,key-value1、基于文件存储的数据库:ehcache2、基于内存存储的数据库:redis、memcache3、基于 ...
分类:
Web程序 时间:
2019-08-11 01:01:45
阅读次数:
115
Hibernate之二级缓存 1. 为什么需要缓存 拉高程序的性能 数据库: 关系型数据库:数据与数据之间存在关系(联系)的数据库 mysql/Oracle、sqlserver 非关系型数据库:数据与数据之间是不存在关系的,key-value 1、基于文件存储的数据库:ehcache 2、基于内存存 ...
分类:
Web程序 时间:
2019-08-09 23:39:55
阅读次数:
122
所有的文件存储 >字节 字节(byte) --(编码)-- > 字符 (char) 字节(byte) < --(解码)-- 字符 (char) 字节:跟机器打交道。 字符:跟人打交道。 乱码的本质原因:编码、解码不一致。 ASCII (American Standard Code For Infor ...
分类:
其他好文 时间:
2019-08-09 23:29:28
阅读次数:
100
本周主要是熟悉HDFS的操作。 在虚拟机安装好Hadoop后,我需要先熟悉下其自带的HDFS文件系统以及MapReduce的一系列操作,为接下来HBase的学习做好铺垫。因为HBase的文件存储系统是HDFS、数据处理方式是MapReduce,在很多操作上面有很多需要操作HDFS来进行的,所以我需要 ...
分类:
其他好文 时间:
2019-08-09 21:56:58
阅读次数:
101
文件传输协议文件传输协议(FileTransferProtocol,FTP)是用于在网络上进行文件传输的一套标准协议。FTP允许用户以文件操作的方式(如文件的增、删、改、查、传送等)与另一主机相互通信。然而,用户并不真正登录到自己想要存取的计算机上面而成为完全用户,可用FTP程序访问远程资源,实现用户往返传输文件、目录管理以及访问电子邮件等等,即使双方计算机可能配有不同的操作系统和文件存储方式。事
分类:
Web程序 时间:
2019-08-09 21:24:09
阅读次数:
165