本周花费较多时间在手头的一个深度学习项目上，对于java的实战仅限于课堂的练习代码。 本周所花上机时间27小时，代码量共计1760行，其中，java代码940行，python代码820行。 本周发表博客三篇（关于HDFS分布式文件系统2篇，课堂实战项目一篇） 本周学到的内容有： （1）redis集群 ...
分类：
其他好文 时间：
2020-03-14 19:55:54
阅读次数：
47
利用云计算、大数据技术，构建涵盖关系型数据库、分布式文件系统、NOSQL数据库、内存数据库等混合型数据资源中心，建立高安全、高可用、高扩展的智慧环保大数据中心数据架构，更好地解决未来5-10年大流量、高并发、高响应、高实时需求所带来的计算、存储、扩容、负载均衡等问题。 同时按照标准先行的思路，整合环 ...
分类：
其他好文 时间：
2020-03-13 15:58:44
阅读次数：
67
把RDD写入到文本文件中 分布式文件系统HDFS的数据读写 JSON文件数据读写 （注scala 2.11.8运行不了） ...
分类：
其他好文 时间：
2020-03-10 21:53:58
阅读次数：
76
数据操作 加载数据 LOAD DATA 加载数据 LOCAL 本地数据，不加LOCAL就是分布式文件系统数据 OVERWRITE表示覆盖表中已有数据，否则表示追加 通过查询语言插入数据 这里使用了OVERWRITE关键字，之前分区内容会被覆盖掉。这是一次插入。 以下为多次插入，对多个分区目录插入数据 ...
分类：
其他好文 时间：
2020-03-10 12:11:23
阅读次数：
88
HDFS的定义？ Hadoop分布式文件管理系统。旨在对不同系统上的文件进行统一的管理。它是一个文件系统，用于存储文件，通过目录树来定位文件，其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 使用场景？ 适合一次写入，多次读出的场景，且不支持文件的修改，适合用来做数据 ...
分类：
其他好文 时间：
2020-03-10 11:56:30
阅读次数：
66
InnoDB的page size默认是16KB，而操作系统的一个block size是4KB，磁盘io block则更小。那么InnoDB的page刷到磁盘上要写4个操作系统block，在极端情况下（比如断电）不一定能保证4个块的写入原子性，假如只有一部分写是成功的，那么innodb的数据page就 ...
分类：
数据库 时间：
2020-03-08 16:00:30
阅读次数：
112
[toc] 1. "Kafka简介" Kafka是一种计算框架，结合了之前的MapReduce批处理和流式计算为一体，可以处理历史数据和实时数据。 流平台具有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 处理记录流。 Kafka通常用于两大类应用 ...
分类：
其他好文 时间：
2020-03-07 21:04:52
阅读次数：
77
大数椐 在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢？ 数据都包含智慧 一开始这个大数据并不大。原来才有多少数据？现在大家都去看电子书，上网看新闻了，在我们80后小时候，信息量没有那么大，也就看看书、看看报，一个星期的报纸加起来才有多少字？如果你不在一个大城市， ...
分类：
其他好文 时间：
2020-03-07 20:38:11
阅读次数：
76
注：文中大部分素材为网络取材，文字叙述大部分为个人学习和搭建经验所理解，如有误，请谅解辛苦指出。 一. FastDfs简介 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 FastD ...
分类：
其他好文 时间：
2020-03-03 13:20:40
阅读次数：
101
说起分布式文件管理系统，大家可能很容易想到 HDFS、GFS 等系统，前者是 Hadoop 的一部分，后者则是 Google 提供的分布式文件管理系统。除了这些之外，国内淘宝和腾讯也有自己的分布式文件管理系统，都叫 TFS（ 和 ）。 相对于上面提到的这些分布式文件管理系统而言，FastDFS 可能 ...
分类：
其他好文 时间：
2020-03-01 12:14:30
阅读次数：
60
