海量数据查询 https://www.cnblogs.com/nnhy/p/DbForBigData.html 相当一部分大数据分析处理的原始数据来自关系型数据库，处理结果也存放在关系型数据库中。原因在于超过99%的软件系统采用传统的关系型数据库，大家对它们很熟悉，用起来得心应手。 在我们正式的大数 ...
分类：
数据库 时间：
2018-09-14 12:00:33
阅读次数：
363
相当一部分大数据分析处理的原始数据来自关系型数据库，处理结果也存放在关系型数据库中。原因在于超过99%的软件系统采用传统的关系型数据库，大家对它们很熟悉，用起来得心应手。 在我们正式的大数据团队，数仓（数据仓库Hive+HBase）的数据收集同样来自Oracle或MySql，处理后的统计结果和明细，... ...
分类：
数据库 时间：
2018-09-14 01:18:38
阅读次数：
211
背景 随着数据的积累，MongoDB中的数据量越来越大，数据分析团队从数据库中抽取变化数据（假如依据栏位createdatetime,transdatetime），越来越困难。我们知道MongoDB的副本集有一个数据结构Oplog，里面存储了Primary节点的所有写操作（此处的写操作是指查询以外的 ...
分类：
数据库 时间：
2018-09-14 01:05:37
阅读次数：
259
https://www.sohu.com/a/212888005_468714 http://www.woshipm.com/data-analysis/758063.html 道家强调四个字，叫“道、法、术、器”。“器”是指物品或工具，在数据分析领域指的就是数据分析的产品或工具，“工欲善其事，必先 ...
分类：
其他好文 时间：
2018-09-09 22:04:46
阅读次数：
143
大数据是做什么的 ? 大数据– 随着计算机技术的发展,互联网的普及,信息的积累已经到了一个非常庞大的地步,信息的增长也在不断 的加快,随着互联网、物联网建设的加快,信息更是爆炸是增长,收集、检索、统计这些信息越发困难, 必须使用新的技术来解决这些问题 ? 大数据的定义：1、 大数据由巨型数据集组成, ...
分类：
其他好文 时间：
2018-09-05 17:39:22
阅读次数：
603
五个顶级的大数据架构 自从像AWS这样的公共云产品开辟了大数据分析功能以来，小企业通过挖掘大量的数据做到只有大企业才能做到的事情，至今大约有10年时间。这些事情其中包括网络日志、客户购买记录等，并通过按使需付费的方式提供低成本的商品集群。在这十年中，这些产品蓬勃发展，涵盖了从实时(亚秒级延迟)流媒体 ...
分类：
其他好文 时间：
2018-09-04 13:41:32
阅读次数：
195
美国辛辛那提大学特聘讲座教授, 美国白宫信息物理系统与美国挑战项目顾问李杰，在2017中国大数据应用大会上，分享了对工业大数据，以及人工智能怎么改进工业大数据分析的见解。 至顶网CIO与应用频道 07月20日 北京消息：在2017中国大数据应用大会上，美国辛辛那提大学特聘讲座教授、美国白宫信息物理系 ...
分类：
其他好文 时间：
2018-08-31 10:48:02
阅读次数：
211
在ZTO大数据实时计算广泛应用，200多个Redis实例稳定工作一年多，每天处理近1亿包裹数据，日均调用量80亿次； 低延迟，Get/Set操作平均耗时200~600us（含往返网络通信）； 大吞吐，自带连接池，最大支持1000并发； 高性能，支持二进制序列化； ...
分类：
Web程序 时间：
2018-08-30 11:05:41
阅读次数：
246
做大数据分析研究的常用软件工具与其应用场景 实际进行大数据研究过程中，需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探索。 如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。 工欲善其 ...
分类：
其他好文 时间：
2018-08-22 12:00:42
阅读次数：
194
Hive函数大全（部分） 现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它启动MapReduce的时间相当长，但是它太方便、 ...
分类：
其他好文 时间：
2018-08-19 23:26:33
阅读次数：
239
