简介 spark MLlib官网：http://spark.apache.org/docs/latest/ml-guide.html mllib是spark core之上的算法库，包含了丰富的机器学习的一系列算法。你可以通过简单的API来构建算法模型，然后利用模型来进行预测分析推荐之类的。 它包含了 ...
分类：
其他好文 时间：
2018-12-11 00:36:01
阅读次数：
190
"C:\Program Files\Java\jdk1.8.0_181\bin\java" "-javaagent:D:\Software\IntelliJ IDEA 2017.2.2\lib\idea_rt.jar=64070:D:\Software\IntelliJ IDEA 2017.2.2\... ...
分类：
其他好文 时间：
2018-12-07 21:12:34
阅读次数：
174
本文是LDA主题模型的第三篇，读这一篇之前建议先读文本主题模型之LDA(一) LDA基础，同时由于使用了EM算法，如果你对EM算法不熟悉，建议先熟悉EM算法的主要思想。LDA的变分推断EM算法求解，应用于Spark MLlib和Scikit-learn的LDA算法实现，因此值得好好理解。 1. 变分 ...
分类：
编程语言 时间：
2018-12-04 13:15:02
阅读次数：
186
本项目是基于Spark MLLib的大数据电商推荐系统项目，使用了scala语言和java语言。基于python语言的推荐系统项目会另外写一篇博客。在阅读本博客以前，需要有以下基础：1.linux的基本命令2.至少有高中及以上的数学基础。3.至少有java se基础，会scala语言和Java
EE更佳(Jave EE非必需，但是可以帮助你更快理解项目的架构)。4.有github账户，并且至少知道git clone，fork，branch的概念。5。有网络基础，至少知道服务器端和客户端的区别。6.有大数据基础，最好会Hadoop,HDFS,MapReduce,Sqoop,HBase,Hive,Spark，Storm。7.有mysql数据库基础，至少会最基本的增删改查。
分类：
其他好文 时间：
2018-12-03 20:00:55
阅读次数：
697
Spark MLlib 的官方例子里面提供的 "数据" 大部分是 libsvm 格式的。这其实是一种非常蛋疼的文件格式，和常见的二维表格形式相去甚远，下图是里面的一个例子： libsvm 文件的基本格式如下： label 为类别标识，index 为特征序号，value 为特征取值。如上图中第一行中 ...
分类：
其他好文 时间：
2018-12-02 22:48:59
阅读次数：
223
Spark Streaming编程指南 概观 一个快速的例子 基本概念 链接 初始化StreamingContext 离散流（DStreams） 输入DStreams和Receivers DStreams的转换 DStreams的输出操作 DataFrame和SQL操作 MLlib运营 缓存/持久性 ...
[TOC] Part VI. Advanced Analytics and Machine?Learning Advanced Analytics and Machine Learning?Overview 1.A Short Primer on Advanced Analytics 目的 ：der ...
分类：
其他好文 时间：
2018-10-29 19:55:18
阅读次数：
812
贝叶斯法则 机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。 最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设 贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身 先验概率和后验概 ...
分类：
其他好文 时间：
2018-10-24 15:44:07
阅读次数：
112
协同过滤算法概述 基于模型的协同过滤应用 电影推荐 实时推荐架构分析 协同过滤算法概述 基于模型的协同过滤应用 电影推荐 实时推荐架构分析 一、协同过滤算法概述 本人对算法的研究，目前还不是很深入，这里简单的介绍下其工作原理。 通常，协同过滤算法按照数据使用，可以分为： 1）基于用户（UserCF） ...
分类：
编程语言 时间：
2018-10-23 18:05:38
阅读次数：
193
1.理解 问题定义可以简化如下：在不知道文件总行数的情况下，如何从文件中随机的抽取一行？ 首先想到的是我们做过类似的题目吗?当然，在知道文件行数的情况下，我们可以很容易的用C运行库的rand函数随机的获得一个行数，从而随机的取出一行，但是，当前的情况是不知道行数，这样如何求呢？我们需要一个概念来帮助 ...
分类：
编程语言 时间：
2018-10-21 16:04:24
阅读次数：
311
