你肯定听过Hadoop，对就是那头奔跑的小象。 Hadoop作为大数据时代代表性的解决方案被大家所熟知，它主要包含两部分内容： HDFS分布式文件存储 MapReduce分a布式计算框架 前面我们分析存储方案的发展的时候有提到分布式文件存储的出现是为了解决存储的三大问题：可扩展性，高吞吐量，高可靠性 ...
分类：
其他好文 时间：
2018-08-23 02:14:30
阅读次数：
159
大数据时代，企业对于DBA也提出更高的需求。同时，NoSQL作为近几年新崛起的一门技术，也受到越来越多的关注。本文将基于个推SRA孟显耀先生所负责的DBA工作，和大数据运维相关经验，分享两大方向内容：一、公司在KV存储上的架构演进以及运维需要解决的问题；二、对NoSQL如何选型以及未来发展的一些思考 ...
分类：
数据库 时间：
2018-08-05 21:34:24
阅读次数：
152
文章出处：【资源帖】深度学习视觉领域常用数据集汇总 ［导读］ “大数据时代”，数据为王！无论是数据挖掘还是目前大热的深度学习领域都离不开“大数据”。大公司们一般会有自己的数据，但对于创业公司或是高校老师、学生来说，“Where can I get large datasets open to the ...
分类：
其他好文 时间：
2018-08-01 15:59:36
阅读次数：
176
说起Kafka的第一个突出特定就是“快”，而且是那种变态的“快”。据最新的数据：每天利用Kafka处理的消息超过1万亿条，在峰值时每秒钟会发布超过百万条消息，就算是在内存和CPU都不高的情况下，Kafka的速度最高可以达到每秒十万条数据，并且还能持久化存储。那么，Kafka是如何做到的呢？ Kafk ...
分类：
其他好文 时间：
2018-07-30 12:09:52
阅读次数：
192
前言 为什么要做爬虫？ 首先请问：都说现在是"大数据时代"，那数据从何而来？ 企业产生的用户数据：百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数 数据平台购买数据：数据堂、国云数据市场、贵阳大数据交易所 政府/机构公开的数据：中华人民共和国国家统计局数据、世界银行公开数据、联合国数据、纳斯达克 ...
分类：
编程语言 时间：
2018-07-27 01:35:50
阅读次数：
321
随着信息化的不断深入发展，数据生成速度正在提高，需要处理的数据量急速膨胀，大数据时代即将到来。 所谓大数据指所涉及的数据量规模巨大，以至于无法通过主流软件在合理的时间内进行处理的数据。 在面对海量数据时，传统关系数据库虽然具有支持完整性约束、支持事务等优点，但是在大规模海量数据面前显得力不从心。 传 ...
分类：
其他好文 时间：
2018-07-23 14:53:36
阅读次数：
156
介绍时下大数据时代，海量数据与吞吐量的数据库应用对单机的性能造成了较大的压力，将会发生CPU耗尽，存储压力大，可用资源耗尽等问题。便出现了新的技术，分片技术。它是MongoDB用来将大型集合分割到不同服务器上所采用的的方法，它几乎是能够自动完成所有事情，只要告诉MongoDB要分配的数据，它就能够自动维护数据到不同服务器之间均衡存储。分片机制提供了三种优势：对集群进行抽象，让集群"不可见
分类：
数据库 时间：
2018-07-18 18:05:42
阅读次数：
228
随着互联网的快速发展，大数据时代的到来，数据资源的处理成了各行各业都面临的热点问题。除了通过特别专业、特别特别昂贵、特别特别特别复杂的分析平台来处理特别x4海量的数据外，我们还常常会遇到Excel（xls，xlsx）文件这样手边能够即时获得的数据文件。使用Excel记录、处理和交换数据，是因为这个软件的简单方便，而如果又需要通过一堆外部调用来进行后续的分析处理，那就会显得十分笨拙。现在我们就来分享一下如果通过轻量级地使用集算器来分析处理Excel形式的数据来源。
分类：
其他好文 时间：
2018-07-17 10:35:03
阅读次数：
147
MongoDB安装及多实例启动MongoDB简介MongoDB是一款跨平台、面向文档的数据库。可以实现高性能、高可用性，并且能够轻松扩展，是一个基于分布式文件存储的开源数据库系统，在高负载的情况下，添加更多的节点可以保证服务器的性能。在大数据时代中，大数据量的处理已经成了考量一个数据库最重要的原因之一。MongoDB的一个主要目标就是尽可能的让数据库保持卓越的性能，这很大程度地决定了MongoDB
分类：
数据库 时间：
2018-07-16 22:14:25
阅读次数：
323
大数据时代，你在干什么？大家都知道数据本身并没有什么价值，由于分析方法的存在，使得海量的数据变得如同一座永远开采不完的矿，是金矿还是银矿，得看你怎么分析和怎么利用了，和小编一起来了解一下怎么学习大数据吧。 大数据时代，你在干什么？大家都知道数据本身并没有什么价值，由于分析方法的存在，使得海量的数据变 ...
分类：
其他好文 时间：
2018-07-07 14:29:22
阅读次数：
202
