最近进行学习过程中，遇到一些可以用得上的benchmark，在这里进行简要记录：之后估计会用到 TensorFlow benchmarks https://github.com/tensorflow/benchmarks 文件系统测试工具整理 https://www.cnblogs.com/xuya ...
分类：
其他好文 时间：
2019-11-18 13:15:37
阅读次数：
83
HDFS 1.hdfs整体工作机制： 1>hdfs:分布式文件系统。 hdfs：分布式文件系统 hdfs有着文件系统共同的特征： 2>有目录结构，顶层目录是： / 3>系统中存放的就是文件 4>系统可以提供对文件的：创建、删除、修改、查看、移动等功能 2.hdfs跟普通的单机文件系统有区别： 1>单 ...
分类：
其他好文 时间：
2019-11-17 23:55:37
阅读次数：
136
原文链接：https://blog.csdn.net/Lwj879525930/article/details/82559596 1.spark中的RDD是什么，有哪些特性？ 答：RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它 ...
分类：
其他好文 时间：
2019-11-15 22:41:39
阅读次数：
120
一、简介 1、分布式文件系统钢结构 分布式文件系统由计算机集群中的多个节点构成，这些节点分为两类： 主节点（MasterNode）或者名称节点（NameNode） 从节点（Slave Node）或者数据节点（DataNode） 2、HDFS能够带来什么好处 兼容廉价的硬件设备 流数据读写 大数据集 ...
分类：
其他好文 时间：
2019-11-15 12:07:41
阅读次数：
209
一，MONGODB 1.1,简介 MongoDB 是由 C++语言编写一个基于分布式文件存储的开源 NoSQL 数据库系统。在高负 载的情况下，可添加更多的节点，以保证服务性能。在许多场景下用于代替传统的关系型 数据库或键/值存储方式。旨在为 Web 应用提供可扩展的高性能数据存储解决方案。 Mon ...
分类：
数据库 时间：
2019-11-04 15:21:59
阅读次数：
114
从早期的互联网大数据爆发开始，主要的搜索引擎公司和电子商务公司就一直在和不断增长的数据进行较量。最近社交网站也遇到了同样的问题。如今，许多组织已经意识到他们所收集的数据是让他们了解用户，提高业务在市场上的表现以及提高基础架构效率的一个宝贵资源。 Hadoop生态系统就是为处理如此大数据集二产生的一个 ...
分类：
其他好文 时间：
2019-11-02 18:13:38
阅读次数：
81
monogoDB介绍使用： 分布式文件存储数据库，使用C++开发的，可以存储任意数据（文件），允许在服务器端执行脚本，使用json形式存储数据{key:value} 基本术语：数据库--》集合--》文档 --》域 可以有多个数据库 show dbs 查看所有的数据库 use admin 切换到adm ...
分类：
数据库 时间：
2019-10-30 22:23:56
阅读次数：
265
http://127.0.0.1/less-1.sap?id=1' ;exec master..xp_cmdshell ‘whoami’-- 如果想看到执行命令之后的结果：需要创建一个临时表，将执行结果写进，最后再读 MonogoDB介绍和使用 分布式文件存储数据库，使用C++开发，可存储任意数据（ ...
分类：
数据库 时间：
2019-10-30 18:51:52
阅读次数：
104
一、ceph概念 Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。 特点： （1）高性能： a. 摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。 b. ...
分类：
其他好文 时间：
2019-10-29 19:55:53
阅读次数：
117
一、简介 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性 ...
分类：
其他好文 时间：
2019-10-29 19:31:47
阅读次数：
97
