数据降维--低秩恢复在实际的信号或图像采集与处理中，数据的维度越高， 给数据的采集和处理带来越大的限制。例如，在采集三维或四维(三个空间维度再加上一个频谱维度或一个时间维度) 信号时，往往比较困难。然而，随着数据维数的升高，这些高维数据之间往往存在较多的相关性和冗余度。信号的维度越高，由于数据本身信...
分类：
其他好文 时间：
2015-06-19 20:14:55
阅读次数：
157
降噪自动编码器（Denoising Autoencoder)起源：PCA、特征提取....随着一些奇怪的高维数据出现，比如图像、语音，传统的统计学-机器学习方法遇到了前所未有的挑战。数据维度过高，数据单调,噪声分布广，传统方法的“数值游戏”很难奏效。数据挖掘？已然挖不出有用的东西。为了解决高维度的问...
分类：
Web程序 时间：
2015-06-19 20:08:51
阅读次数：
11767
一、BFGS算法
在“优化算法——拟牛顿法之BFGS算法”中，我们得到了BFGS算法的校正公式：
利用Sherman-Morrison公式可对上式进行变换，得到
令，则得到：
二、BGFS算法存在的问题
在BFGS算法中，每次都要存储近似Hesse矩阵，在高维数据时，存储浪费很多的存储空间，而在实际的...
分类：
编程语言 时间：
2015-06-06 18:14:07
阅读次数：
280
数据可视化分为：科学可视化、信息可视化，可视化分析学这三个主要分支。
科学可视化，处理科学数据，面向科学和工程领域的科学可视化，研究带有空间坐标和几何信息的三维空间测量数据、计算模拟数据和医疗影像数据等，重点探索如何有效地呈现数据中几何、拓扑和形状特征。信息可视化，处理对象是非结构化、非几何的抽象数据，如金融交易、社交网络和文本数据，其核心挑战是如何针对大尺度高维数据减少视觉混淆对有用信...
分类：
其他好文 时间：
2015-06-02 09:28:30
阅读次数：
951
1.流形学习的概念流形学习方法(Manifold Learning)，简称流形学习，自2000年在著名的科学杂志《Science》被首次提出以来，已成为信息科学领域的研究热点。在理论和应用上，流形学习方法都具有重要的研究意义。假设数据是均匀采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。...
分类：
其他好文 时间：
2015-05-22 22:39:15
阅读次数：
5815
张量是一种高维数据的组织方法。类似于一维的标量，二维的向量，三维及以上的数据统称为张量。传统的方法（例如PCA、SVD和LDA）对于维数比较高的数据，一般通过“硬”方法，直接降维成二维的数据形式（矩阵）进行处理。近些年，出现的2DPCA，2DSVD等新方法，是通过双向的对二维数据进行处理，在处理的过...
分类：
其他好文 时间：
2015-05-14 16:07:35
阅读次数：
259
一.题外话 虽然是科普，不过笔者个人认为大道至简，也就是说越简单的东西很可能越值得探讨，或者另外一种说法越简单的东西越不好讲解；其实笔者认为这就是《编程之美》所要传递的——大道至简。 软件构建老师给我推荐的《走出软件作坊》还没看呢。二.概述 高维数据检索（high-dimentional re...
分类：
其他好文 时间：
2015-05-10 00:48:38
阅读次数：
248
本实验的目的是学习和掌握PCA主分量分析方法和Fisher线性判别方法。首先了解PCA主分量分析方法的基本概念，理解利用PCA 分析可以对数据集合在特征空间进行平移和旋转。实验的第二部分是学习和掌握Fisher线性判别方法。了解Fisher线性判别方法找的最优方向与非最优方向的差异，将高维分布的数据进行降维，并通过Fisher线性判别方法实现高维数据在一维中分类。...
分类：
其他好文 时间：
2015-04-19 08:53:40
阅读次数：
348
主成份分析(Principle Component Analysis)主要用来对数据进行降维。对于高维数据，处理起来比较麻烦，而且高维数据可能含有相关的维度，数据存在冗余，PCA通过把高维数据向低维映射的同时尽可能保留数据蕴含的信息，到达简化数据的目的。假设原始数据表示为$\{{{x}_{1}},{...
分类：
其他好文 时间：
2015-03-30 22:37:24
阅读次数：
146
本文介绍一种用于高维空间中的快速最近邻和近似最近邻查找技术——Kd-Tree（Kd树）。Kd-Tree，即K-dimensional tree，是一种高维索引树形数据结构，常用于在大规模的高维数据空间进行最近邻查找(Nearest Neighbor)和近似最近邻查找(Approximate Near...
分类：
编程语言 时间：
2015-03-11 23:16:01
阅读次数：
342
