Spark 机器学习系列(一)：入门介绍

MLlib 是spark的可以扩展的机器学习库，由以下部分组成：通用的学习算法和工具类，包括分类，回归，聚类，协同过滤，降维，当然也包括调优的部分

• Data types  
• Basic statistics  (基本统计)
  • summary statistics 概括统计
  • correlations 相关性
  • stratified sampling 分层取样
  • hypothesis testing 假设检验
  • random data generation 随机数生成
• Classification and regression   (分类一般针对离散型数据而言的，回归是针对连续型数据的。本质上是一样的)
  • linear models (SVMs, logistic regression, linear regression) 线性模型（支持向量机，逻辑回归，线性回归）
  • naive Bayes 贝叶斯算法
  • decision trees  决策树
  • ensembles of trees (Random Forests and Gradient-Boosted Trees) 多种树（随机森林和梯度增强树）
• Collaborative filtering   协同过滤
  • alternating least squares (ALS)  (交替最小二乘法(ALS) )
• Clustering  聚类
  • k-means k均值算法
• Dimensionality reduction   (降维)
  • singular value decomposition (SVD)  奇异值分解
  • principal component analysis (PCA) 主成分分析
• Feature extraction and transformation 特征提取和转化
• Optimization (developer)  优化部分
  • stochastic gradient descent 随机梯度下降
  • limited-memory BFGS (L-BFGS) 短时记忆的BFGS (拟牛顿法中的一种,解决非线性问题)