Java开源Apache项目

Apache Cassandra是一套开源分布式Key-Value存储系统。它最初由Facebook开发，用于储存特别大的数据。拥有：分布式；基于column的结构化；高伸展性等特点。它不是一个数据库，而是由一堆数据库节点共同构成的一个分布式网络服务，对Cassandra 的一个写操作，会被复制到其他节点上去，对Cassandra的读操作，也会被路由到某个节点上面去读取。对于一个Cassandra群集来说，扩展性能 是比较简单的事情，只管在群集里面添加节点就可以了。Cassandra是一个混合型的非关系的数据库，类似于Google的BigTable。其主要功能比Dynomite（分布式的Key-Value存 储系统）更丰富，但支持度却不如文档存储MongoDB（介于关系数据库和非关系数据库之间的开源产品，是非关系数据库当中功能最丰富，最像关系数据库 的。支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。）Cassandra最初由Facebook开发，后转变成了开源项目。它是一个网络社交云计算方面理想的数据库。以Amazon专有的完全分布式的Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型。P2P去中心化的存储。很多方面都可以称之为Dynamo 2.0。

更多Apache Cassandra信息

Apache Hadoop是一个用java语言实现的软件框架，在由大量计算机中运行海量数据的分布式计算，它可以让应用程序支持上千个节点和PB级 Hadoop是从google的MapReduce和Google文件系统的论文获得的灵 Hadoop是Apache的一线项目，开发和实用来自世界各地的社区，Yah 止最大的贡献者，并且Yahoo广泛使用它在搜索业务和广告业务上。IBM和联合就是使用的Hadoop，为大学的课程提供分布式计算。 Hadoop的创始人是Doug Cutting(目前在yahoo工作)，关于hadoop Doug Cutting在它儿子画图时画了一只大象而获得的灵感。其实Doug C 的目的是想为Nutch搜索引擎提供分布式。 hadoop有三个子项目：Hadoop core,HBase, Zookeeper。

更多Apache Hadoop信息

Apache SIS 是一个空间的框架，可以更好地搜索，数据聚类，归档，或任何其他相关的空间坐标表示的需要。

更多Apache SIS信息

ApachClerezza是一个基于OSGi的模块化应用程序和一组组件（bundles）用来构建RESTFul Semantic Web应用和服务。它提供了一个API来访问RDF Graphs，一个Jax RS实现，TypeHandlers: Jax-RS资源绑定到RDF类型。

更多Apache Clerezza信息

Apache Ivy 是Apache Ant 的一个子项目，提供了一致、可重复、易于维护的方法，来管理项目的所有构建依赖项。它提供了一些强大的功能包括依赖传递，ant集成, maven存储库兼容，持续集成，html报告等。

更多Apache Ivy信息

Apache SSHD是一个100%纯Java类库用于在基于Java开发的客户端与服务器提供SSH协议支持。这个类库采用Apache MINA开发，它是一个可扩展和高性能的异步IO类库。

更多Apache SSHD信息

Apache Tika是一个Java工具包用于利用现有的解析类库，从不同格式的文档中（例如HTML，PDF，Doc)，检测和提取出元数据和结构化内容。 功能包括： 1.检测文档的类型，字符编码，语言，等其他现有文档的属性。2.提取结构化的文字内容。3.该项目的目标使用群体主要为搜索引擎以及其他内容索引和分析工具。目前支持的文档格式和对应的解析类库如下：　

文档格式	相应的解析类库
HTML	TagSoup
XML	自定义
微软的Office文档	Apache POI
OpenDocument format (ODF)	自定义
PDF	Apache PDFBox
EPUB	自定义
Rich Text Format (RTF)	自定义
压缩文件格式(如 ar, cpio, tar, zip, gzip, bzip2等）	Apache组织的Commons Compress
Txt	ICU
音频格式	主要采用Java的标准图像处理包javax.sound
图像格式	Java的标准图像处理包javax.imageio， 以及 metadata-extractor软件包。
视频格式	目前只支持Flash格式。
Java类文件	自定义
邮件mbox文件格式	自定义

更多Apache Tika信息

Apache Chemistry是Content Management Interoperability Services (CMIS) 规范的一个开源实现。该项目当前由以下子项目组成：

• OpenCMIS - CMIS Java客户端和服务器端类库
• cmislib - CMIS Python客户端类库
• phpclient - CMIS PHP客户端类库
• DotCMIS - CMIS .NET客户端类库

更多Apache Chemistry信息

Apache UIMA 是UIMA定义的Apache开源实现。UIMA是一个用于分析非结构化内容（比如文本、视频和音频）的组件架构和软件框架实现。这个框架的目的是为非结构化分析提供一个通用的平台，从而提供能够减少重复开发的可重用分析组件。
UIMA 架构允许您轻松插入定制的分析组件，并将它们与其他组件合并。您的 UIMA 应用程序不需要知道分析组件共同合作生成结果的细节。集成和组织多个分析组件是 UIMA 框架的工作。
UIMA 应用程序可能分析纯文本并识别人员、位置和组织；它也可能识别关系，比如为谁工作或在什么地方工作。应用程序通常可以拆分成组件。例如 “语言识别” => “特定于语言的部分” => “句子范围检测” => “实体检测（人员/位置的名称等等）”。

更多Apache UIMA信息

Hama是一个分布计算框架，基于BSP (Bulk Synchronous Parallel大容量同步并行)计算技术，主要针对大规模科学的计算。

更多Hama 信息

Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase和Hive的Client端与服务端的数据传输也采用了这个工具，Avro可以做到将数据进行序列化，适用于远程或本地大批量数据交互。 在传输的过程中Avro对数据二进制序列化后 节约数据存储空间 和 网络传输带宽。Avro还可以做到在同一系统中支持多种不同语言，也有点类似Apache的另一个产品：Thrift，对于Thrift不同的是Avro更加具有灵活性，Avro可以支持对定义的数据结构(Schema)动态加载，利于系统扩展。摘自： Avro入门1–序列化与远程通信  

更多数据序列化框架Apache Avro信息

Apache 网站的顶级项目，Libcloud是一个通用的云计算客户端开发包，Libcloud是许多流行的云服务提供商的标准客户端库，有Python和Java两种版本。以下是当前Java版对各云服务提供商的情况：

更多云计算客户端开发包：Libcloud信息

Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。

Pig的实现有5个主要的部分构成： 如图所示：

1.Pig自己实现的一套框架对输入、输出的人机交互部分的实现，就是Pig Latin 。
2.Zebra是Pig与HDFS/Hadoop的中间层、Zebra是MapReduce作业编写的客户端，Zerbra用结构化的语言实现了对hadoop物理存储元数据的管理也是对Hadoop的数据抽象层，在Zebra中有2个核心的类 TableStore(写)/TableLoad(读)对Hadoop上的数据进行操作。
3.Pig中的Streaming主要分为4个组件: 1. Pig Latin 2. 逻辑层(Logical Layer) 3. 物理层(Physical Layer) 4. Streaming具体实现(Implementation)，Streaming会创建一个Map/Reduce作业，并把它发送给合适的集群，同时监视这个作业的在集群环境中的整个执行过程。 
4.MapReduce在每台机器上进行分布式计算的框架(算法)。
5.HDFS最终存储数据的部分。

更多Apache Pig信息

Apache River是一个推动Jini技术发展和进步的开源项目。

Jini 是以 Java 技术为核心的分布式系统，它通过使用一个简易的"即插即用"模型，能够随时改变硬件或者软件的配置，从而提供了一个支持快速配置的分布式计算环境。Jini 的迷人之处在于它能够使各种数字设备无需配置、安装或者人工干预，就能够在一个临时的称为服务联盟（federations of services）的设备集合中共同工作。联盟中的任何设备无论大小都可以自行管理，共同组成一个服务网络，联盟中的每一个成员都可以为其它成员提供资源或服务，同时又可以从其它成员那里获取自己所需的资源和服务，Jini 提供一套完善的机制使得硬件设备或者软件组件能够随时加入或者退出联盟。

Jini 是一个主动的、响应式的分布式基础结构，它提供了在分布式环境中进行服务的建立、查找、通讯和调用的一整套机制。Jini 技术被设计成可以运用在任何有能力连入网络的器件上，而不论该器件运行什么软件或运行在哪种硬件设备之上。Jini 技术是以网络器件中的一个构件的面貌出现的，它为器件如何连入网络、共享信息和与网络进行互操作建立了一套规则，而同时又保持了对用户的完全透明。Jini 本身与平台无关，采用它的器件不再受到所用软件、处理器、设备驱动器，或传统网络协议的制约，其唯一要求只是一个能够运行 Java 字节码的虚拟机。

可以这么理解：JINI是由Java技术构建的，在分布式环境中动态共享资源的一种编程模型。

更多Java分布式系统 Apache River信息

Commons Compress提供了一组API用于操作(解压/压缩)ar、cpio、tar、zip、gzip和bzip2等格式的文件。

ZipArchiveEntry entry = new ZipArchiveEntry(name); entry.setSize(size); zipOutput.putArchiveEntry(entry); zipOutput.write(contentOfEntry); zipOutput.closeArchiveEntry();

更多Commons Compress信息