HDFS 概述 HDFS的产生背景和定义 HDFS产生背景 解决海量数据的存储问题 需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。 HDFS定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于 ...
分类：
其他好文 时间：
2021-06-30 17:40:30
阅读次数：
0
1.会编程，参考实验 1.1编程实现词频统计基本操作 主函数 public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); //程序运行时参数 String[] o ...
分类：
其他好文 时间：
2021-06-29 16:02:29
阅读次数：
0
1、列出子目录或子文件 hdfs dfs -ls +路径 2、创建目录(-p表示父目录都会创建) hdfs dfs -mkdir -p /001/mydemo/x/y/z hdfs dfs -mkdir /001/mydemo3 /001/mydemo4 /001/mydemo5 3、列出文件夹中的 ...
分类：
其他好文 时间：
2021-06-28 21:04:34
阅读次数：
0
意图识别 基础概念 识别文本中蕴含的主题和意图，是偏向于应用层的自然语言理解任务。篇章级别的意图识别，将其认为是一个模式识别（机器学习）的分类问题，意图分类。 文本类型 常用建模方法 应用举例 短语/句子 文法、关键词、深度神经网络 搜索引擎、多轮对话 段落 LDA、SVM、聚类、深度神经网络等 主 ...
分类：
其他好文 时间：
2021-06-28 21:01:14
阅读次数：
0
一、简介 1 算法原理 头脑风暴优化算法主要由聚类和变异组成。 1.1 聚类 聚类：BSO采用K-means聚类算法，将相似的个体聚成k类，并将人为设定的适应度函数值最优的个体作为聚类的中心。当然，为了避免陷入局部最优，将有概率随机产生一个新个体替换其中 一个聚类中心。 1.2 变异 BSO变异主要 ...
分类：
编程语言 时间：
2021-06-28 20:55:32
阅读次数：
0
第二章.HDFS 1.大数据的两个核心技术 2.HDFS设计目标 3.HDFS自身的局限性 4.HDFS采用块设计以及采用块设计的好处 5.HDFS组成架构 6.元数据信息被持久化到磁盘分为哪两个文件 7.第二名称节点的作用 8.名称节点，数据节点的功能 待补充 9.副本机制、数据容错机制、心跳机制 ...
分类：
其他好文 时间：
2021-06-28 20:29:20
阅读次数：
0
并发编程-ThreadLocal&ForkJoinPool（使用以及原理分析） 本章只要聊聊两个东西，这里会给出如何使用他们，并且分析各自的源码以及原理。 【ThreadLocal】：在指定线程中存储数据，数据存储后只有指定线程可以获得 【ForkJoinpool】：实际上他类似于【hadoop】他 ...
分类：
其他好文 时间：
2021-06-28 18:58:16
阅读次数：
0
一、大数据的基本特征（4V,存储单位） 二、大数据对思维方式的影响 三、Google 三辆马车是什么？ Google的文件系统GFS（Google File System）、分布式计算框架MapReduce、Bigtable 四、Hadoop 是什么，基本特征 基本特征： 五、Hadoop 生态系统 ...
分类：
其他好文 时间：
2021-06-28 18:27:13
阅读次数：
0
自动化运维平台架构图 微服务部署和监控运维框架图 云原生下的DevOps自动化运维 多环境#交易系统#DevOps架构 基于大数据智能化的自助终端远程运维服务架构 自动化运维全流程 ...
分类：
其他好文 时间：
2021-06-28 18:10:44
阅读次数：
0
一、简介 1 如何理解模糊聚类 事物间的界线，有些是明确的，有些则是模糊的。当聚类涉及到事物之间的模糊界线时，需要运用模糊聚类分析方法。 如何理解模糊聚类的“模糊”呢：假设有两个集合分别是A、B，有一成员a，传统的分类概念a要么属于A要么属于B，在模糊聚类的概念中a可以0.3属于A，0.7属于B，这 ...
分类：
其他好文 时间：
2021-06-28 17:59:16
阅读次数：
0
