1、Spark MLlib Statistics统计
Spark Mllib
统计模块代码结构如下：
1.1
列统计汇总
计算每列最大值、最小值、平均值、方差值、L1范数、L2范数。
//读取数据，转换成RDD[Vector]类型
val
data_path =
"/home/jb-huangmeiling/sample_stat.txt"
...
分类：
其他好文 时间：
2015-05-11 16:10:07
阅读次数：
132
矩阵A的条件数等于A的范数与A的逆的范数的乘积，即cond(A)=‖A‖·‖A^(-1)‖，对应矩阵的3种范数，相应地可以定义3种条件数。 函数 cond(A,1)、cond(A)或cond(A inf) 是判断矩阵病态与否的一种度量，条件数越大矩阵越病态。条件数事实上表示了矩阵计算对于误差的敏感...
计算机组成原理→DOS命令→汇编语言→C语言（不包括C++）、代码书写规范→数据结构、编译原理、操作系统→计算机网络、数据库原理、正则表达式→其它语言（包括C++）、架构……对学习编程者的忠告：眼过千遍不如手过一遍！书看千行不如手敲一行！手敲千行不如单步一行！单步源代码千行不如单步对应汇编一行！单步...
分类：
其他好文 时间：
2015-05-03 15:52:31
阅读次数：
129
C#命名规范，控件命名规范、数据类型命名规范、ADO.NET命名规范
IRLS用于解决这种目标函数的优化问题（实际上是用2范数来近似替代p范数，特殊的如1范数）。可将其等价变形为加权的线性最小二乘问题：其中W（t）可看成对角矩阵，每步的w可用下面的序列代替如果 p=1,则将w(t)换为这种形式有时为了保证分母不为零，加上了一个比较项（ ）
分类：
其他好文 时间：
2015-03-27 22:04:21
阅读次数：
116
KNN即K-Nearest Neighbor，是数据挖掘中一种最简单的分类方法，即要判断某一个样本属于已知样本种类中的哪一类时，通过计算找出所有样本中与测试样本最近或者最相似的K个样本，统计这K个样本中哪一种类最多则把测试样本归位该类。如何衡量两个样本的相似度？可以用向量的p-范数来定义。
假设有两个样本X=(x1, x2, ..., xn)，Y=(y1, y2, ..., yn)，则他们之间的相似度可以用以下向量p-范数定义：...
分类：
其他好文 时间：
2015-03-08 17:22:38
阅读次数：
208
ADO.NET 命名规范数据类型数据类型简写标准命名举例ConnectionconconNorthwindCommandcmdcmdReturnProductsParameterparmparmProductIDDataAdapterdaddadProductsDataReaderdtrdtr...
分类：
Web程序 时间：
2015-03-07 18:32:46
阅读次数：
143
范数和欧拉距离 ? ? ? 欧拉距离，在数学上也可以称为范数。 直线上两个点的距离是|x1-x2| 二范数即二维空间上两点间的距离公式 ??????????????????????????????????????...
分类：
其他好文 时间：
2015-01-29 17:53:55
阅读次数：
141
