一.大数据组件分类: 1.计算类: hadoop,spark,flink,hive 2.传输类:kafka,flume,redis 3.存储类:hbase,mongodb,Cassandra 4.调度类:zookeeper 5.配置类:mesos,yarn 二.流行的框架SMACK Spark Me ...
分类：
其他好文 时间：
2019-05-10 20:21:59
阅读次数：
160
在cassandra的协议中，没有具体规定查询结果的行数限制。但是对于大的数据集，依然有结果分页的必要。过大的结果集会爆掉服务端或者客户端的内存。 传统的分页方法采用了一点trick，采用了token函数 这种方式会造成一点编程上的麻烦，一般开发中会重新再封装一次分页的方法。在cassandra2. ...
分类：
其他好文 时间：
2019-04-30 10:42:22
阅读次数：
117
前面我们全面介绍了在akka-cluster环境下实现的CQRS写端write-side。简单来说就是把发生事件描述作为对象严格按发生时间顺序写入数据库。这些事件对象一般是按照二进制binary方式如blob存入数据库的。cassandra-plugin的表结构如下： 事件对象是存放在event里的 ...
分类：
其他好文 时间：
2019-04-27 19:47:37
阅读次数：
111
前提： 三台装有docker的虚拟机，这里用VM1，VM2，VM3表达（当然生产环境要用三个独立物理机，否则无高可用可言），装docker可参见Ubuntu离线安装docker。 开始部署： 部署图 如上图所示，三台VM的IP分别为： 192.168.0.101 192.168.0.102 192. ...
分类：
其他好文 时间：
2019-04-26 22:33:31
阅读次数：
250
Redis概述 Redis是Salvatore Sanfilippo在2009年为其初创公司LLOOGG开发的，眼下仍是独立项目。但VMWare赞劣了项目（作者是其雇员）。它採用C语言实现。因此性能非常好。採用BSD许可证。使用键值存储。和Amazon Dynamo。Cassandra，Riak，V ...
分类：
数据库 时间：
2019-04-26 22:32:06
阅读次数：
172
Presto 是 Facebook 推出的一个基于Java开发的大数据分布式 SQL 查询引擎，可对从数 G 到数 P 的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别，据称该引擎的性能是 Hive 的 10 倍以上。Presto 可以查询包括 Hive、Cassandra 甚至是一些商业 ...
分类：
其他好文 时间：
2019-03-29 13:07:34
阅读次数：
143
Cassandra如何保证数据最终一致性：1、逆熵机制(Anti-Entropy)使用默克尔树(Merkle Tree)来确认多个副本数据一致，对于不一致数据，根据时间戳来获取最新数据。 2、读修复机制(Read Repair)当Cassandra读数据时，需要根据读一致级别设定读取N个节点的副本数 ...
分类：
其他好文 时间：
2019-03-15 00:55:03
阅读次数：
376
服务器信息 搭建三节点的Cassandra群集： 下载依赖包 配设JAVA环境 下载java安装包,解压到/usr/java18目录，然后在/etc/profile文件中追加下面代码： 使用下面命令刷新环境变量: 检查JAVA是否安装正确: 安装Cassandra 配置Cassandra 修改/ex ...
分类：
其他好文 时间：
2019-02-25 00:51:43
阅读次数：
200
创建keyspace和table 需要安装python依赖包cassandra-driver： ...
分类：
编程语言 时间：
2019-02-24 23:08:36
阅读次数：
611
部分摘自：https://www.cnblogs.com/qingyunzong/p/8886338.html 1.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开 ...
分类：
其他好文 时间：
2019-02-22 23:19:24
阅读次数：
187
