历经两个月的秋招总算是结束了，从七月份开始复习秋招相关知识，到八月多开始笔试、面试，到九月下旬的秋招结束，在笔试面试的这两个月里，还是挺累的。这篇文章就说说秋招这段时间的收获以及给对于明年要参加秋招的同学的一些建议吧。 一、最后去的公司 对于我来说，这次秋招算是满意的吧，找到了想去的 城市（深圳）以 ...
分类：
其他好文 时间：
2019-10-06 11:42:27
阅读次数：
102
简单概括：Hadoop是由Apache组织使用Java语言开发的一款应对大数据存储和计算的分布式开源框架。 Hadoop的起源 2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制 ...
分类：
其他好文 时间：
2019-09-15 10:32:13
阅读次数：
141
一、HDFS 的设计思路 1）思路 切分数据，并进行多副本存储； 2）如果文件只以多副本进行存储，而不进行切分，会有什么问题 缺点 缺点 二、HDFS 的设计目标 Hadoop Distributed File System（HDFS）：源于Google 的 GFS 论文； 设计目标 设计目标 三、 ...
分类：
其他好文 时间：
2019-09-02 10:05:10
阅读次数：
294
ISCSI协议侦听在TCP/3260ISCSI会话iSCSITarget：scsi-target-utils客户端认证方式：1、基于IP2、基于用户，CHAPiSCSIInitiator：iscsi-initiator-utilsopen-iscsi计算机内部架构图解：SCSI协议详情：SAN：SCSI协议结构：FCSAN与IPSAN存储协议：FCoEvsFCvsiSCSIvsIBiscsi传输机
分类：
系统相关 时间：
2019-08-19 15:58:32
阅读次数：
127
Bigdata： 结构化数据：有严格约束 半结构化数据： 非结构化数据：没有元数据 搜索引擎：搜索组件+索引组件（存放数据 由蜘蛛程序爬取而来） 2003年 Google发表第一篇论文 The Google File System 解决大量数据存储 GFS文件系统 系统阐述了采取商业计算机集群就是普 ...
分类：
其他好文 时间：
2019-08-17 19:49:38
阅读次数：
99
1.hadoop前世今生： 1） 搜索引擎：网络爬虫+索引服务器（生成索引+检索） 2） Doung Cutting 3) Nutch a.分布式存储 b.分布式计算 4）GFS论文 doung cutting写了hdfs 2.hadoop概述 hadoop common:提供网络通信 hadoop ...
分类：
其他好文 时间：
2019-08-16 00:34:16
阅读次数：
122
一.挂载和卸载文件系统 将额外文件系统与根文件系统某现存的目录建立起关联关系。进而使得此目录做为其它文件访问入口的行为称之为挂载 根文件系统之外的其它文件系统要想能够被访问，都必须通过“关联”至根文件系统上的某个目录来实现，此关联操作即为“挂载”；此目录即为“挂载点”； 挂载点：mount_poin ...
分类：
其他好文 时间：
2019-08-13 17:03:40
阅读次数：
86
在Linux服务器上下载Jenkins下载地址：https://jenkins.io/zh/download/选择你的服务器对应的版本，我的是centos6，选择这个版本点击进去：命令行官方已给出，依次执行以下命令行sudowget-O/etc/yum.repos.d/jenkins.repohttps://pkg.jenkins.io/redhat-stable/jenkins.reposudo
分类：
Web程序 时间：
2019-08-03 23:24:40
阅读次数：
226
大数据的发展历程总体上可以划分为三个重要阶段，萌芽期、成熟期和大规模应用期，20世纪90年至21世纪初，为萌芽期，随着，一批商业智能工具和知识管理技术的开始和应用，度过了数据萌芽，21世纪前十年则为成熟期，主要标志为，大数据解决方案逐渐走向成熟，形成了并行计算与分布式系统两大核心技，谷歌的GFS和MapReduce等大数据技术受到追捧，Hadoop平台开始大行期道，2010年以后，为大规模应用期，
分类：
其他好文 时间：
2019-08-01 11:50:38
阅读次数：
132
网上有关于ERA-Interim 驱动WRF的帖子和用ERA5（模式层）驱动WRF的帖子。但没有ERA5气压层驱动的例子，以下是一些尝试 关于变量表Vtables （翻译自WRF手册 ，第3-39（61页）） 创建和编辑Vtables 虽然提供了众多数据集的Vtables，但是ungrib不可能以G ...
分类：
其他好文 时间：
2019-07-17 21:55:26
阅读次数：
208
