回顾大数据技术领域大事件，最早可追溯到06年Hadoop的正式启动，而环顾四下，围绕着数据库及数据处理引擎，业内充斥着各种各样的大数据技术。这是个技术人的好时代，仅数据库领域热门DB就有300+，围绕着Hadoop生态圈的大数据处理技术更是繁花似锦。在云栖社区2017在线技术峰会大数据技术峰会上，阿 ...
分类：
其他好文 时间：
2017-03-14 13:13:17
阅读次数：
156
"人是活的，程序是死的"这句话我时常提起，可能很多人不是很理解我为什么会这样说，下面我就简单来谈谈我对这句话的理解。 1.不要因为技术而技术，技术选型的初衷是需求。 现在很多人在做项目的时候，开口就提项目用的NoSql、大数据处理、分布式系统等等技术。技术真的这么重要吗？ 技术在软件开发过程中的地位 ...
分类：
其他好文 时间：
2017-03-01 12:28:52
阅读次数：
171
对近几年自己对互联网领域的测试开发的一些见解以及一些学习资料进行整理和分享，希望能够给有志于此领域的人一些入门的指导。 ajax toolkit基于SOAP 的API，简单的说即通过js调用soap api实现少量的数据的页面展示或者对少量数据进行DML操作，如果对于大数据处理，别使用此种方式。 相 ...
分类：
其他好文 时间：
2017-02-09 15:55:15
阅读次数：
159
http://study.163.com/course/courseLearn.htm?courseId=1002887002#/learn/video?lessonId=1003387781&courseId=1002887002 可以用余弦相似度来计算两者的相似度。 如果两者关系为0，可以节省计 ...
分类：
其他好文 时间：
2017-02-03 14:32:25
阅读次数：
182
本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎 一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。P ...
分类：
其他好文 时间：
2016-12-26 16:18:57
阅读次数：
658
一说到开源大数据处理平台，就不得不说此领域的开山鼻祖Hadoop，它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台，但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性，以及同时包含存储系统和计 ...
分类：
其他好文 时间：
2016-12-26 16:06:30
阅读次数：
258
如题：国内开源类似QQ的即时通讯框架(endv.cn) 出于在企业管理方面遇到的一些瓶颈问题，特别是在数据收集、统计与分析，大数据处理，时时监控跟踪，风险分析、成本控制等方面遇到的很多数据信息问题等，很多管理软件跟不上且收费高，让管理工作比较艰难的进行。 我理想的管理方式并不是小企业的标准化，也不是 ...
分类：
其他好文 时间：
2016-12-14 07:37:02
阅读次数：
176
大数据资源 当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的... ...
分类：
其他好文 时间：
2016-12-12 14:11:46
阅读次数：
285
认知和学习Hadoop，我们必须得了解Hadoop的构成，我根据自己的经验通过Hadoop构件、大数据处理流程，Hadoop核心三个方面进行一下介绍：Hadoop组件由图我们可以看到Hadoop组件由底层的Hadoop核心构件以及上层的Hadoop生态系统共同集成，而上层的生态系统都是基于下层的存储和计..
分类：
其他好文 时间：
2016-12-02 04:03:00
阅读次数：
246
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。 本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例 ...
分类：
其他好文 时间：
2016-11-28 12:58:05
阅读次数：
192
