1.Hadoop是一个开源的大数据框架 2.Hadoop是一个分布式计算的解决方案 3.Hadoop = HDFS(分布式文件系统) + MapReduce(分布式计算) Hadoop两大核心 HDFS分布式文件系统:存储是大数据技术的基础 MapReduce编程模型:分布式计算是大数据应用的解决方 ...
分类:
其他好文 时间:
2018-01-09 11:43:48
阅读次数:
133
框架简介--主要定位于互联网企业架构,已内置企业信息化系统的基础功能和高效的代码生成工具,包括:系统权限组件、数据权限组件、数据字典组件、核心工具
组件、视图操作组件、工作流组件组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。
分类:
编程语言 时间:
2018-01-09 11:12:11
阅读次数:
228
准备: http服务器:①tomcat②apache③nginx(c语言开发) 文件系统:①mgfs ②mgbd:存储小文件 ③fastDFS:存储大文件、小文件,分布式文件系统 nginx是一种http服务器,用于访问图片服务器、静态页面服务器等。俄罗斯人开发,开源免费。 页面访问图片资源: 页面 ...
分类:
其他好文 时间:
2018-01-06 20:05:31
阅读次数:
156
1、什么是 FastDFS FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 2、FastDFS架构 Fa ...
分类:
其他好文 时间:
2018-01-02 21:21:35
阅读次数:
147
一.什么是FastDFS FastDFS一个开源的轻量级分布式文件系统,它对文件进行管理,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册 ...
分类:
其他好文 时间:
2018-01-02 13:21:15
阅读次数:
206
1. Flume Sinks 1.1 HDFS Sink 该sink把events写进Hadoop分布式文件系统(HDFS)。它目前支持创建文本和序列文件。它支持在两种文件类型压缩。文件可以基于数据的经过时间或者大小或者事件的数量周期性地滚动。它还通过属性(如时间戳或发生事件的机器)把数据划分为桶或 ...
分类:
Web程序 时间:
2018-01-02 01:26:08
阅读次数:
380
Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。一个Map/Reduce 作业(job) 通常会把输入的数据集切分为若干独立的数据块,由 map任务(task)以完全并行的方 ...
分类:
其他好文 时间:
2018-01-01 00:29:37
阅读次数:
217
1、FastDFS简介1.1 介绍FastDFS是一个开源的,高性能的的分布式文件系统,他主要的功能包括:文件存储,同步和访问,设计基于高可用和负载均衡,FastDFS非常适用于基于文件服务的站点,例如图片分享和视频分享网站。FastDFS它是一个轻量级的开源分布式文件系统,主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡。 支持存储服务器在线扩容,支持相同的文件只
分类:
其他好文 时间:
2017-12-27 14:24:55
阅读次数:
211
本篇主要讲述了如何在CentOS7下部署Hadoop,包括了Hadoop运行的支持组件以及Hadoop的配置,并简单介绍了一下HDFS这个分布式文件系统的命令及用法,最后通过运行简单的MapReduce示例来演示如何运行MapReduce程序。
分类:
系统相关 时间:
2017-12-26 17:45:45
阅读次数:
538
1,Hadoop的组成 两个核心组成 HDFS: 分布式文件系统,存储海量的数据 MapReduce: 并行处理框架,实现任务分解和调度 2,HDFS HDFS中的文件被分成块进行存储,默认的块大小为64MB, 块是文件存储处理的逻辑单元 HDFS中有两类节点 NameNode和DataNode 2 ...
分类:
其他好文 时间:
2017-12-23 19:08:04
阅读次数:
159