1.1、项目构建 Maven(翻译为"专家","内行")是跨平台的项目管理工具。主要服务于基于Java平台的项目构建,依赖管理和项目信息管理。 项目构建过程包括【清理项目】→【编译项目】→【测试项目】→【生成测试报告】→【打包项目】→【部署项目】这几个步骤,这六个步骤就是一个项目的完整构建过程。 理 ...
分类:
其他好文 时间:
2016-11-13 14:12:54
阅读次数:
217
Gora是一个类似Hibernate的ORM框架,但是不只是支持关系数据库,更重要支持NoSQL之类大数据的存储。支持NoSQL之类大数据的存储 Gora是一个类似Hibernate的ORM框架,但是不只是支持关系数据库,更重要支持NoSQL之类大数据的存储。支持NoSQL之类大数据的存储 Apac ...
分类:
Web程序 时间:
2016-10-26 20:02:33
阅读次数:
300
介绍 ????????Gora是一个开源的ORM框架,主要为大数据提供内存数据模型与数据的持久化。目前Gora支持对于列数据、key-value数据,文档数据与RDBMS数据的存储,还支持使用Apache Hadoop来对对大数据进行分...
分类:
Web程序 时间:
2015-06-29 11:54:59
阅读次数:
201
一、Avro的基本功能
1、定义了数据模式文件的语法,一般使用json文件。以及一些数据基本类型与复杂类型。
2、定义了数据序列化到文件后的数据格式,此格式可供各种语言进行读取。
3、为部分语言定义了序列化文件的读取API,如JAVA等。
4、扩展了hadoop的基本mapreduce,提供了用于使用Avro作为输出框架的mapreduce API。
二、Gora中的avro
...
分类:
其他好文 时间:
2015-02-14 20:05:04
阅读次数:
151
使用Gora写入数据的关键步骤
1、根据要处理的数据,创建用于描述数据结构的json文件,并由此生成java类。
2、创建gora-hbase-mapping.xml,用于注明描述了数据库表的结构,以及java类中的属性与数据库中字段的对应关系。
3、创建主类,用于创建对象,并写入数据库。
即前2步建立了用于描述数据的java类及数据库表,以及它们之间的映射关系。第三步首先将内容读入java程序中,然后通过gora写入数据库。...
分类:
其他好文 时间:
2015-01-30 10:49:22
阅读次数:
241
参考官方文档:http://gora.apache.org/current/tutorial.html
一、环境准备
1、下载gora并解压
2、分别进入$GORA_HOME/gora-hbase/,$GORA_HOME/gora-core,$GORA_HOME/gora-compiler,$GORA_HOME/gora-compiler-CLI执行
$ mvn clean i...
分类:
其他好文 时间:
2015-01-29 17:46:11
阅读次数:
178
http://blog.csdn.net/eryk86/article/details/14111811使用https://github.com/apache/nutch.git导入nutch项目到intellij配置ivy.xml和conf下的gora.properties、nutch-site....
分类:
其他好文 时间:
2015-01-14 00:49:35
阅读次数:
795
http://www.tuicool.com/articles/VfEFjmNutch 2.x 与 Nutch 1.x 相比,剥离出了存储层,放到了gora中,可以使用多种数据库,例如HBase, Cassandra, MySql来存储数据了。Nutch 1.7 则是把数据直接存储在HDFS上。1....
分类:
其他好文 时间:
2015-01-08 11:16:36
阅读次数:
4606
1、在任务一开始运行,注入Url时即出现以下错误。
InjectorJob: Injecting urlDir: urls
InjectorJob: Using class org.apache.gora.hbase.store.HBaseStore as the Gora storage class.
InjectorJob: java.lang.RuntimeException: j...
分类:
其他好文 时间:
2014-08-09 00:18:16
阅读次数:
252
对nutch添加中文网站抓取功能。1、中文网页抓取A、调整mysql配置,避免存入mysql的中文出现乱码。修改${APACHE_NUTCH_HOME}/runtime/local/conf/gora.properties################################MySQLproperties################################gora.sqlstore.jdbc.driver=com..
分类:
Web程序 时间:
2014-05-20 19:17:55
阅读次数:
539