大数据领域每年都会涌现出大量新的技术，成为大数据获取、存储、处理分析或可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社会经济活动提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。正是由于大数据技术展现的优势，让越来越多的人选择进入到大数据行业，那么对于大数据技术的学习，应该怎么学呢?又有哪些内容要学呢?在这里还是要推荐下我自己建的大数据学习交流群:52
分类：
其他好文 时间：
2019-05-08 12:08:25
阅读次数：
155
性能指标 衡量块存储产品的性能指标主要包括：IOPS、吞吐量和访问时延。 IOPS IOPS是Input/Output Operations per Second，即每秒能处理的I/O个数，用于表示块存储处理读写（输出/输入）的能力。如果要部署事务密集型应用，典型场景比如数据库类业务应用，需要关注I ...
分类：
其他好文 时间：
2019-03-27 11:17:29
阅读次数：
239
2019/2/16星期六大数据领域技术总体介绍（各个组件的作用）1、大数据技术介绍大数据技术生态体系：Hadoop元老级分布式海量数据存储、处理技术系统，擅长离线数据分析Hbase基于hadoop的分布式海量数据库，离线分析和在线业务通吃Hivesql基于hadoop的数据仓库工具，使用方便，功能丰富，使用方法类似SQLZookeeper集群协调服务Sqoop数据导入导出工具Flume数据采集框架
分类：
其他好文 时间：
2019-02-17 09:17:32
阅读次数：
201
数据存储 处理JSON格式的数据 JSON字符串与字典相互转换 将字典转换为JSON字符串需要使用json模块的dumps函数。将JSON字符串转换为字典有下面两种方式 （1）使用json模块的loads函数，该函数通过参数传入JSON字符串，然后返回与该JSON字符串对应的字典（推荐） （2）使用... ...
分类：
其他好文 时间：
2019-02-16 18:17:59
阅读次数：
138
首先声明一下，本蒟蒻非常弱qwq，有些地方借鉴了网上的博客，欢迎大家指出错误，下面正式开始讲。 我们为什么要用树状数组 对于普通数组，单点查询非常方便，然鹅有时候对于数组来说，区间的查询就显得力不从心了，这时候就需要用到这种数据结构：树状数组 它可以将一个区间的段和或者最值收集，将原本数组需要的区间 ...
分类：
编程语言 时间：
2019-01-23 21:34:21
阅读次数：
198
其旨在打造一个集应用开发、大数据存储、处理、分布式计算、自动化部署的无节点微服务集中开发与运行平台，以响应业务的快速变更，满足系统对大数据，大并发与开发效率的需求； 平台设计以数据为核，以groovy脚本为基础，通过提供api、异步消息处理、调度等基础构件来支持应用的快速开发; 核心是通过整合现有开 ...
分类：
其他好文 时间：
2019-01-23 13:50:37
阅读次数：
190
离线和实时大数据开发实战 目 录 前言 第一篇 数据大图和数据平台大图 第1章 数据大图 2 1.1 数据流程 2 1.1.1 数据产生 3 1.1.2 数据采集和传输 5 1.1.3 数据存储处理 6 1.1.4 数据应用 7 1.2 数据技术 8 1.2.1 数据采集传输主要技术 9 1.2.2 ...
分类：
其他好文 时间：
2019-01-10 19:31:47
阅读次数：
132
简介全文行文是基于面试题的分析基础之上的，具体实践过程中，还是得具体情况具体分析，且各个场景下需要考虑的细节也远比本文所描述的任何一种解决方法复杂得多。##何谓海量数据处理？基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。那解决办法呢?针对时间，我们可以采用巧妙的算法搭配合适的数据结构，如Bloomfilter
分类：
其他好文 时间：
2019-01-01 22:44:42
阅读次数：
235
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和展现的有力武器。 一、大数据接入 1、大数据接入 已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入 2、大数据接入技术 ...
分类：
其他好文 时间：
2018-12-23 22:20:46
阅读次数：
199
Docker常用的监控方案 Prometheus Prometheus架构 Prometheus是一种很不错的监控方案，它提供了监控数据搜集、存储、处理、可视化和警告一套完整的解决方案，下面是Prometheus的架构 Prometheus Server Prometheus Server负责从Ex ...
分类：
其他好文 时间：
2018-11-13 02:52:49
阅读次数：
277
