DAG：Directed Acyclic Graph，有向无环图 RDD：Resilient Distributed Dataset 弹性分布式数据集，一种分布式的内存抽象，将工作集缓存到内存中，实现了复用。 用户使用交互接口（Driver）与Spark集群的Cluster Manager进行交互， ...
分类：
其他好文 时间：
2018-03-06 23:09:20
阅读次数：
154
1、bulk api奇特的json格式{"action":{"meta"}}\n{"data"}\n{"action":{"meta"}}\n{"data"}\n 2、如果采用比较良好的json数组格式[{ "action":{ "meta" }, "data":{ }}]允许任意的换行，整个可读性 ...
Memcached Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但 ...
分类：
数据库 时间：
2018-03-06 23:08:49
阅读次数：
194
Python之路【第九篇】：Python操作 RabbitMQ、Redis、Memcache、SQLAlchemy Memcached Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据 ...
分类：
其他好文 时间：
2018-03-06 21:55:00
阅读次数：
228
当单库已不能支撑当前业务的时候，我们往往都考虑进行分库（横向拆分或者纵向拆分）。但分库有个无法回避的问题，就是事务问题。网上有很多分布式事务解决方案，例如XA,TCC等，但是最常用，也是改造成本最低就是使用最终一致性来保证分布式事务。 比较常用的就是使用消息中间件（RabbitMq，RocketMq... ...
分类：
数据库 时间：
2018-03-06 21:49:58
阅读次数：
348
本文主要介绍MapReduce编程模型的原理和基于Hadoop的MD5暴力破解思路。 一、MapReduce的基本原理 Hadoop作为一个分布式架构的实现方案，它的核心思想包括以下几个方面：HDFS文件系统，MapReduce的编程模型以及RPC框架。无论是怎样的架构，一个系统的关键无非是存储结构 ...
分类：
其他好文 时间：
2018-03-06 20:25:53
阅读次数：
161
1.试述大数据对思维方式的重要影响。 答： 大数据时代最大的转变思维是有以下三中转变：全样而非抽样、效率高而非精确、相关而非因果。第一，全样而非抽样。大数据技术的核心就是海量数据的存储和处理，分布式文件系统和分布式数据库技术提供了理论上几乎无限的数据存储能力，分布式并行编程框架MapReduce提供 ...
分类：
其他好文 时间：
2018-03-06 20:25:38
阅读次数：
173
一、试述大数据对思维方式的重要影响。 大数据带来的影响有如下几点： 1、用数据核心思维方式思考问题，解决问题，数据已经成为人工智能的基础，也成为智能化的基础，数据比流程更重要。 2、由以前的功能为价值，到现在的数据是价值。数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪 ...
分类：
其他好文 时间：
2018-03-06 20:15:31
阅读次数：
132
通过zabbix-proxy配置zabbix分布式监控;zabbix-agent主动发数据到zabbix-proxy服务;zabbix-proxy再提交到zabbix server;实现分布式主动监控,减轻zabbix server的负载压力!
分类：
其他好文 时间：
2018-03-06 19:15:12
阅读次数：
366
HDFS 分布式文件系统
Namenode
Secondarynode
Datanode
MapReduce 分布式计算框架
JobTracker
TaskTracker
Map Task
Reducer Task
Yarn 集群资源管理系统
Resourcemanager
Nodemanager
ApplicationMaste...
分类：
其他好文 时间：
2018-03-06 17:06:54
阅读次数：
175
