1、grainsgrains 是在 minion（客户端）启动时收集到的一些信息，比如操作系统类型、网卡ip等。强调是minion启动时收集到的数据，所以如果改了什么硬件啥的，要重启minion才能收集，要不然还是老数据。 1.1）列出grains的key 1.2）显示所有的key及对应key的值 ...
分类：
其他好文 时间：
2018-03-27 20:56:39
阅读次数：
226
C#比较两个字符串的相似度【转】 原文地址：http://www.2cto.com/kf/201202/121170.html 我们在做数据系统的时候，经常会用到模糊搜索，但是，数据库提供的模糊搜索并不具备按照相关度进行排序的功能。 现在提供一个比较两个字符串相似度的方法。通过计算出两个字符串的相似 ...
大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。现在需要一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，降低大数据的学习门槛，降低开发难度，提高大数据项目的开发效率。大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制等；与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、解决
分类：
其他好文 时间：
2018-03-16 15:12:36
阅读次数：
145
什么是大数据？进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于1024TB）级的数据系统已经很常见，随着移动个人数据、社交网站、科学计算、证券交易、网站日志、传感器网络数据量的不断加大，国内拥有的总数据量早已超出 ZB（1ZB=1024EB，1EB=1024PB）级别。
分类：
其他好文 时间：
2018-03-14 15:06:35
阅读次数：
157
什么是大数据？进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于 ...
分类：
其他好文 时间：
2018-03-14 12:51:23
阅读次数：
156
一、什么是大数据 进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（ ...
分类：
其他好文 时间：
2018-03-10 15:52:22
阅读次数：
164
1 . 大数据时代的到来，为提升机器思维由自然思维向智能思维转变带来了大好契机，特别是随着物联网、云计算、社会计算、可视化技术的突破发展，使得大数据系统也能类似人脑一样，自动搜索所有相关的数据信息，进而主动、立体、逻辑地分析数据、做出判断、提供洞见，从而具有类似人类的智能思维能力和预测未来的能力。 ...
分类：
其他好文 时间：
2018-03-05 11:18:03
阅读次数：
153
本章主要介绍了Unix系统的正常运行要使用的与系统有关的数据文件和信息。如：口令文件，阴影文件、组文件、附加组、系统标识、时间和日期历程。 口令文件，即Unix系统用户数据库，存储在/etc/passwd中，是一个ASCII文件，包含的字段信息在<pwd.h>定义的passwd数据结构中。 stru ...
分类：
其他好文 时间：
2018-02-24 15:36:29
阅读次数：
197
最近想来，大数据相关技术与传统型数据库技术很多都是相互融合、互相借鉴的。传统型数据库强势在于其久经考验的SQL优化器经验，弱势在于分布式领域的高可用性、容错性、扩展性等，假以时日，让其经过一定的改造，比如引入Paxos、raft等，强化自己在分布式领域的能力，相信一定会在大数据系统中占有一席之地。相 ...
分类：
数据库 时间：
2018-02-21 11:41:39
阅读次数：
236
作者：李呈祥 Flink项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统的开发者也能有所裨益。 注：本文假设读者对MapRed ...
分类：
其他好文 时间：
2018-02-05 10:42:05
阅读次数：
156
