本文摘自： https://segmentfault.com/p/1210000011625271/read 不采用lua之前，我们从redis获取数据的路径与采用lua之后获取数据的路径对比，明显可以看出效率的提升。 安装OpenResty 参考官方给出的yum安装步骤，各种系统均有支持，也可采用 ...
分类：
其他好文 时间：
2019-09-11 10:09:20
阅读次数：
85
1.1.1.读取文本数据 spark应用可以监听某一个目录，而web服务在这个目录上实时产生日志文件，这样对于spark应用来说，日志文件就是实时数据 Structured Streaming支持的文件类型有text，csv，json，parquet ●准备工作 在people.json文件输入如下 ...
分类：
其他好文 时间：
2019-09-11 09:27:19
阅读次数：
137
业务场景： 基于导出的功能上，要求一次性查询10w条数据。但是这个10w的开始值和结束值不固定（比如：startNum = 123; endNum = 100123;） 难点一： dubbox时间超时规定为1s，服务调用图如下： 难点二： 数据封装转换性能消耗较高，目前使用的BeanUtils 难点 ...
分类：
其他好文 时间：
2019-09-04 10:11:51
阅读次数：
105
使用NDArrary来处理数据 对于机器学习来说，处理数据往往是万事之开头。它包含两个部分：数据读取和当数据已经在内存里时如何处理。本章将关注后者。我们首先介绍 ，这是MXNet储存和变化数据的主要工具。如果你之前用过 ，你会发现 和`Numpy NDArray NDArray`能更好地支持机器学习 ...
分类：
其他好文 时间：
2019-08-30 22:37:59
阅读次数：
59
XML文档解析：操作xml文档，将文档中的数据读取到内存中 * 操作xml文档 1. 解析(读取)：将文档中的数据读取到内存中 2. 写入：将内存中的数据保存到xml文档中。持久化的存储 * 解析xml的方式： 1. DOM：将标记语言文档一次性加载进内存，在内存中形成一颗dom树 * 优点：操作方 ...
分类：
其他好文 时间：
2019-08-24 22:47:19
阅读次数：
91
概述RAID5是一种存储性能、数据安全和存储成本兼顾的存储解决方案。RAID5可以理解为是RAID0和RAID1的折中方案。RAID5可以为系统提供数据安全保障，但保障程度要比Mirror低而磁盘空间利用率要比Mirror高。RAID5具有和RAID0相近似的数据读取速度，只是多了一个奇偶校验信息，写入数据的速度比对单个磁盘进行写入操作稍慢。同时由于多个数据对应一个奇偶校验信息，RAID5的磁盘空
分类：
其他好文 时间：
2019-08-24 11:30:42
阅读次数：
85
RAID5磁盘阵列介绍1、RAID5磁盘阵列由N(N>=3)块盘组成阵列，一份数据产生N-1个条带，同时还有1份校验数据，共N份数据在N块盘上循环均衡存储。2、RAID5具有和RAID0相近似的数据读取速度，只是多了一个奇偶校验信息，写入数据的速度比对单个磁盘进行写入操作稍慢。同时由于多个数据对应一个奇偶校验信息，RAID5的磁盘空间利用率要比RAID1高，存储成本相对较低，是目前运用较多的
分类：
其他好文 时间：
2019-08-23 20:50:54
阅读次数：
127
RAID 5具有和RAID 0相近似的数据读取速度，只是多了一个奇偶校验信息，写入数据的速度比对单个磁盘进行写入操作稍慢。同时由于多个数据对应一个奇偶校验信息，RAID 5的磁盘空间利用率要比RAID 1高，存储成本相对较低，是目前运用较多的一种解决方案。
分类：
其他好文 时间：
2019-08-22 21:44:55
阅读次数：
254
hadoop dfs -ls file:/// (最后一个/表示本地文件系统的根目录) HDFS的弱点： 实施访问数据弱 大量小文件 多用户写入 配置hdfs块的大小 hsfs-site.xml 冗余性 <property> <name>dfs.replication</name> <value>3 ...
分类：
其他好文 时间：
2019-08-16 01:10:14
阅读次数：
116
Raid 0：需两个以上硬盘 优势：数据读取写入最快，，比如3快80G的硬盘硬盘使用率100%，做raid0 可用总容量为240G。速度是一样。缺点：无冗余能力，一块硬盘损坏，数据全无。建议：做raid0 可以提供更好的容量以及性能，读写速度在RAID中最快，推荐对数据安全性要求不高的使用。 公式： ...
分类：
其他好文 时间：
2019-08-14 14:30:56
阅读次数：
83
