研究大数据和数据挖掘的都知道，并行化算法研究是大数据领域一个较为重要的研究热点。近年来国内外开始关注在 Spark 平台上如何实现各种机器学习和数据挖掘并行化算法设计。Spark 提供了大量的库，包括SQL、DataFrames、MLlib、GraphX、Spark Streaming。 开发者可以 ...
分类：
其他好文 时间：
2019-04-20 09:58:04
阅读次数：
139
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 一、SparkStreaming简介SparkStreaming是流式处理框架，是Spar ...
分类：
其他好文 时间：
2019-04-18 10:51:49
阅读次数：
184
Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存 ...
分类：
其他好文 时间：
2019-04-14 17:44:05
阅读次数：
162
Spark 一种基于内存的快速、通用、可扩展的大数据分析引擎； 内置模块： Spark Core(封装了rdd、任务调度、内存管理、错误恢复、与存储系统交互)； Spark SQL(处理结构化数据)、Spark Streaming(对实时数据进行流式计算) 、 Spark Mlib（机器学习程序库包 ...
分类：
其他好文 时间：
2019-04-06 00:35:59
阅读次数：
155
什么是 stream Stream 借鉴自 Unix 编程哲学中的 pipe。 Unix shell 命令中觉的管道流式操作 | 将上一个命令的输出作为下一个命令的输入。node stream 中则是通过 .pip() 方法来进行的。 一个 stream 的运用场景。从服务器读取文件并返回给页面。 ...
分类：
其他好文 时间：
2019-03-30 01:01:54
阅读次数：
146
复合控件： 多选框：checkbox - CheckBoxList 属性：RepeatLayout:Table 按表格排布 Flow流排布 RepeatDirection:Vertical 垂直排布 Horizontal 水平排布 RepeatColumns：每一行有几列 流式布局的时候使用 单选 ...
分类：
其他好文 时间：
2019-03-28 15:35:01
阅读次数：
197
flex语法布局，可以参考菜鸟教程。http://www.runoob.com/w3cnote/flex-grammar.html 我主要是把flex布局运用到实例中，看看flex布局的效果。 1、垂直居中，学习flex布局以后，实现起来很方便； 效果如下： 2、用flex制作列表，流式布局，每行数 ...
分类：
其他好文 时间：
2019-03-28 15:29:51
阅读次数：
151
一 Kafka 概述1.1 Kafka 是什么在流式计算中，Kafka 一般用来缓存数据，Storm 通过消费 Kafka 的数据进行计算。1）Apache Kafka 是一个开源消息系统（微信公众号、QQ、微信等群），由 Scala 写成。是由 Apache 软件基金会开发的一个开源消息系统项目。 ...
分类：
其他好文 时间：
2019-03-19 17:09:41
阅读次数：
558
java8新增一种流式数据，让操作集合数据更简单方便。 定义基本对象： 1.toMap的使用 使用toMap方法将list集合转出对应的map 使用 多加的一个方法（s1,s2）->s1，是指当遇到key值相同时，value使用已经添加的，忽略后面的对象，如果这么写（s1,s2）->s2，将会把后面 ...
分类：
编程语言 时间：
2019-03-14 13:41:12
阅读次数：
196
摘抄自：https://www.cnblogs.com/qingyunzong/p/8946637.html 前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型 ...
分类：
其他好文 时间：
2019-03-03 16:23:20
阅读次数：
168
