1. HADOOP背景介绍 1.1 什么是HADOOP 1. HADOOP是apache旗下的一套开源软件平台 2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 3. HADOOP的核心组件有 A. HDFS（分布式文件系统） B. YARN（运算资源 ...
分类：
其他好文 时间：
2017-06-17 14:22:15
阅读次数：
197
一、简介Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark都支持与Kafka集成。Kafka适合做什么?官方文档介绍，它通常被..
分类：
其他好文 时间：
2017-06-12 22:33:45
阅读次数：
236
Kafka起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。 1 概述 Kafka与传统消息系 ...
分类：
其他好文 时间：
2017-06-09 23:35:14
阅读次数：
316
JAVA基础1.JAVA语言的特点简单性解释性面向对象高性能分布式处理多线程健壮性动态结构中立安全性开源(开发源代码)跨平台(跨操作系统)注意:JAVA语言是跨平台的,JVM不是跨平台的.不同操作系统需要不同的JVM.2.定义变量的注意事项:1)定义变量必须在某一个作用域内去定义{里面去定..
分类：
编程语言 时间：
2017-06-08 01:33:28
阅读次数：
265
接触Quartznet之前，老东家用的是总监自己写的分布式任务框架，好用但是配置麻烦，unity，一个微软容器，配置节点错一个，整个使用到unity文件的项目全部跑不起来，这后果真的受不了。。。 目前公司呢，没什么框架，全都是自己研究，自己找，合适的就用，独立自主，可是这样的方式真的好么，一个员工离 ...
分类：
数据库 时间：
2017-06-06 15:47:21
阅读次数：
1275
对于希望在应用中整合深度学习功能的开发者来说，GitHub上其实还有很多不错的开源项目值得关注，以下我们推荐2016年人气最高的六款开源深度学习工具： 一、TensorFlow TensorFlow新版本的重大意义在于首次支持分布式处理，可使用机群培训机器学习模型，此前只支持单一机器。 二、Kera ...
分类：
其他好文 时间：
2017-05-27 15:20:01
阅读次数：
218
秒杀系统的架构设计 秒杀系统，是典型的短时大量突发访问类问题。对这类问题，有三种优化性能的思路： 写入内存而不是写入硬盘 异步处理而不是同步处理 分布式处理 用上这三招，不论秒杀时负载多大，都能轻松应对。更好的是，Redis能够满足上述三点。因此，用Redis就能轻松实现秒杀系统。 用我这个方案，无 ...
分类：
其他好文 时间：
2017-05-08 10:12:55
阅读次数：
239
【转】http://www.cnblogs.com/kemaswill/archive/2013/01/26/2877434.html 本文主要基于Anand Rajaraman和Jeffrey David Ullman合著，王斌翻译的《大数据-互联网大规模数据挖掘与分布式处理》一书。 KMeans ...
分类：
其他好文 时间：
2017-05-08 01:20:05
阅读次数：
226
1 概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Clo...
分类：
其他好文 时间：
2017-05-02 22:17:34
阅读次数：
333
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 Kafka创建背景 Kafka是一个消息系统，原本开发自LinkedI ...
分类：
其他好文 时间：
2017-04-16 14:57:39
阅读次数：
202
