通过eclipse方法来操作Hadoop集群上cassandra数据库(包括配置cassandra,创建Keyspace对象以及往数据库写入数据);
创建map/reduce工程,命名为CassandraPro,需要把cassandra的lib目录下的jar包拷贝到hadoop的lib目录下;然后创建class,命名为TestClient;...
分类:
数据库 时间:
2015-03-28 14:21:59
阅读次数:
151
我前面曾经写过:中小企业的大数据技术路线选择 和 低调、奢华、有内涵的敏捷式大数据方案:Flume+Cassandra+Presto+SpagoBI 。前面用两个月的时间验证了Presto JDBC驱动、Prestogres和SHIB三种方案。Prestogres,可以使用PostgreSQL 客户端和JDBC驱动,支持SpagoBI等BI工具。但这种方式架构复杂,可能有性能瓶颈,无法发挥该方案的优势。SHIB现在代码量较小,在Team中有报表开发经验的成员即可上手。如果时间和人力允许,开发一个轻量级的Bi...
分类:
其他好文 时间:
2015-03-16 14:33:24
阅读次数:
264
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra,...
分类:
其他好文 时间:
2015-03-13 12:28:34
阅读次数:
218
Apache软件基金会顶级项目? ActiveMQ ? Ant ? Apache HTTP Server ? APR ? Beehive ? Camel ? Cassandra ? Cayenne ? Cocoon ? Commons ? Derby ? Directory ? Excalibur ...
分类:
Web程序 时间:
2015-03-06 15:50:58
阅读次数:
227
1. 通过docker run命令的-v/–volume参数拷贝 apache-cassandra-2.0.7-bin.tar.gz到docker容器[root@master ~]# docker run -v /data:/mnt -i -t -P -h sandbox sequenceiq/spark:1.2.0 /etc/bootstrap.sh -bash
/
Starting sshd:...
分类:
其他好文 时间:
2015-03-02 13:10:29
阅读次数:
583
LSM(Log Structured Merge Trees)数据组织方式被应用于多种数据库,如LevelDB、HBase、Cassandra等,下面我们从为什么使用LSM、LSM的实现思路两方面介绍这种存储组织结构,完成对LSM的初步了解。存储背景回顾LSM相较B+树或其他索引存储实现方式,提供了...
分类:
其他好文 时间:
2015-03-01 22:21:52
阅读次数:
1807
在网上查In-Memory NoSQL性能测试的资料时,偶然间发现了这个性能测试工具YCSB,全称为“Yahoo! Cloud Serving Benchmark”。它内置了对常见NoSQL数据库和数据网格产品的支持,如Cassandra、MongoDB、HBase、Redis、Infinispan等等很多的主流产品,而且不仅安装使用简单,还能自由扩展测试数据类型和支持的数据库产品。1 编译安装首...
分类:
其他好文 时间:
2015-02-28 23:03:05
阅读次数:
2152
cassandra默认建keyspace的时候,是需要制定拓扑策略的,小数据就直接用单数据中心的simpleStrategy了,网上资料都没具体提如何配置多数据中心,这里简单贴一下cassandra.yaml里面修改endpoint_snitch具体的snitch方式有simpleSnitch默认的...
分类:
其他好文 时间:
2015-02-22 18:26:18
阅读次数:
119
参考http://zhaoyanblog.com/archives/307.html修改cassandra.yaml配置文件把默认的authenticator: AllowAllAuthenticator改成authenticator: PasswordAuthenticator启动cassandr...
分类:
其他好文 时间:
2015-02-22 15:47:53
阅读次数:
369
分区器Partitioners在集群内,根据设置的副本数,决定数据如何分发,允许跨机房具体看http://teddymaef.github.io/learncassandra/cn/replication/partitioners.htmlhttp://blog.csdn.net/limingjia...
分类:
其他好文 时间:
2015-02-20 18:34:46
阅读次数:
211