Hive配置(只需要主机上配置)MySQL数据库安装元数据迁移到mysql主机上先安装mysql，用于存放hadoop元数据Mysql驱动下载一个数据包mysql-connector-java-5.1.18-bin.jar，放到hive的lib目录下，创建mysql用户并赋权创建hive数据库mysql>createdatabasehive;mysql>showdatab..
分类：
其他好文 时间：
2014-10-16 21:35:33
阅读次数：
227
elasticsearch的配置文件位于%ES_HOME%/config/elasticsearch.yml文件中。。所有的配置都可以使用环境变量，例如：node.rack: ${RACK_ENV_VAR}，表示环境变量中有一个RACK_ENV_VAR变量。下面列举一下elasticsearch的可...
分类：
其他好文 时间：
2014-10-16 17:18:32
阅读次数：
281
ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。
我们建立一个网站或应用程序，并要添加搜索功能，令我们受打击的是：搜索工作是很难的。我们希望我们...
分类：
其他好文 时间：
2014-10-16 15:55:32
阅读次数：
181
1）字段长度和类型：数据来自外系统的一定要与外系统保持一致，避免插入失败或截断。禁止使用Blob,Clob,Text,Image等大字段。2）中间表：多对多关联需要添加中间表，多对一加关联字段即可。关联字段为了避免数据迁移麻烦，可以不用自增长ID关联，而是用实际业务关联的值。3）联接查询：若表字段过多，则根据业务拆出一个或多个字表。若有关联过多，则可在主表冗余一些需要的字段来减少查询时的表关联。4...
分类：
数据库 时间：
2014-10-15 20:29:21
阅读次数：
292
1. elasticsearch-head插件的安装，非常好的插件elasticsearch-head是一个elasticsearch的集群管理工具，它是完全由html5编写的独立网页程序，你可以通过插件把它集成到es。$ES_HOME/bin/plugin -install mobz/elasti...
分类：
其他好文 时间：
2014-10-15 19:42:11
阅读次数：
205
一、安装，运行1. 检查java的版本环境Elasticsearch依赖Java，在书写本文档的时候，推荐使用Oracle JDK 1.8.0_20 或 1.7.0_55以后的版本。在安装Elasticsearch之前，你可以通过以下命令来检查你的Java版本。java -versionecho $...
分类：
其他好文 时间：
2014-10-15 18:52:11
阅读次数：
210
1、首先将如下数据提交到ES中建立索引
{"number":32768,"singer":"杨坤","size":"5109132","song":"今夜二十岁","tag":"中国好声音","timelen":319}
{"number":32769,"singer":"汪峰","size":"6001697","song":"我爱你中国","tag":"中国好声音","timelen":3...
分类：
其他好文 时间：
2014-10-14 20:48:29
阅读次数：
127
1、RESTful接口使用方法
为了方便直观我们使用Head插件提供的接口进行演示，实际上内部调用的RESTful接口。
RESTful接口URL的格式：
http://localhost:9200///[]
其中index、type是必须提供的。
id是可选的，不提供es会自动生成。
index、type将信息进行分层，利于管理。
index可以...
分类：
其他好文 时间：
2014-10-14 19:33:59
阅读次数：
241
近期在做数据迁移的工作，老系统的数据迁移到新系统，当中麻烦的确不少，因为是重新设计的系统与老系统中有太多的不一至性，例如表结构，字段的处理，像附件的存储方式，还有历史遗留数据。。。后面会慢慢的把相关技术处理细节展现出来，当然，难度不大，只是琐碎事情太多。今天就简单来看看数据的关联更新。业务场景：同一...
分类：
数据库 时间：
2014-10-14 18:27:25
阅读次数：
186
1、elasticsearch安装
elasticsearch的安装超级easy，解压即用(要事先安装好java环境)。
到官网 http://www.elasticsearch.org下载最新版的 elasticsearch 运行包；
下载完解开有三个包:
bin 是运行的脚本，
config 是设置文件，
lib 是放依赖的包。
plugins 的文件夹，把插件放到这个文件夹...
分类：
其他好文 时间：
2014-10-14 15:32:28
阅读次数：
191
