调优概述# 几乎在很多场景,MapRdeuce或者说分布式架构,都会在IO受限,硬盘或者网络读取数据遇到瓶颈.处理数据瓶颈CPU受限.大量的硬盘读写数据是海量数据分析常见情况. IO受限例子： 索引 分组 数据倒入导出 数据移动和转换 CPU受限例子： 聚类/分类 复杂的文本挖掘 特征提取 用户画像 ...
分类：
其他好文 时间：
2019-09-16 00:53:54
阅读次数：
209
4：要分阶段考虑： 1）数据预处理：对数据部分优化，更多，数据增强，输入图片resize调节，对图像预处理。 2）模型选择：模型选择，调参数，激活函数，网络结构等。 5：小卷积和大卷积有时会一起用 GoogleNet 1*1 3*3 5*5 7*7 卷积作用就是来特征提取的，对不同范围。 ...
分类：
其他好文 时间：
2019-09-11 22:16:48
阅读次数：
546
翻译 特征提取与描述算法的最新进展：综述 摘要 - 计算机视觉是当今信息技术中最活跃的研究领域之一。让机器和机器人能够以视线的速度看到和理解周围的世界，创造出无穷无尽的潜在应用和机会。特征检测和描述算法确实可以被认为是这种机器和机器人眼睛的视网膜。然而，这些算法通常是计算密集型的，这使得它们无法实现 ...
分类：
其他好文 时间：
2019-09-11 11:46:06
阅读次数：
95
特征提取（机器学习数据预处理） 特征提取与特征选择都是数据降维的技术，不过二者有着本质上的区别；特征选择能够保持数据的原始特征，最终得到的降维数据其实是原数据集的一个子集；而特征提取会通过数据转换或数据映射得到一个新的特征空间，尽管新的特征空间是在原特征基础上得来的，但是凭借人眼观察可能看不出新数据 ...
分类：
其他好文 时间：
2019-09-11 11:31:08
阅读次数：
293
特征提取 直方图 用于计算图片的特征（Feature) 和表达（representation） 对图片数据/特征分别的一种统计 灰度、颜色 梯度/边缘、形状、纹理 局部特征点、视觉词汇 区间（bin） 均有一定的统计或者物理意义 一种数据或者特征的代表 需要预定义或者基于数据进行学习 数值是一种统计 ...
分类：
其他好文 时间：
2019-09-04 00:14:38
阅读次数：
88
在文本挖掘与文本分类的有关问题中，文本最初始的数据是将文档表示成向量空间模型的一个矩阵，而这个矩阵所拥有的就是不同的词，常采用特征选择方法。原因是文本的特征一般都是单词(term)，具有语义信息，使用特征选择找出的k维子集，仍然是单词作为特征，保留了语义信息，而特征提取则找k维新空间，将会丧失了语义 ...
分类：
编程语言 时间：
2019-09-01 01:16:49
阅读次数：
99
参考 "尺度空间理论" 金字塔 当用一个机器视觉系统分析未知场景时，计算机没有办法预先知道图像中物体尺度，因此，我们需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。所以在很多时候，我们会在将图像构建为一系列不同尺度的图像集，在不同的尺度中去检测我们感兴趣的特征。比如：在Harr特征检测人 ...
分类：
其他好文 时间：
2019-08-31 14:56:01
阅读次数：
172
神经网络本身包含了一系列特征提取器，理想的feature map应该是稀疏的以及包含典型的局部信息。通过模型可视化能有一些直观的认识并帮助我们调试模型，比如：feature map与原图很接近，说明它没有学到什么特征；或者它几乎是一个纯色的图，说明它太过稀疏，可能是我们feature map数太多了 ...
分类：
其他好文 时间：
2019-08-27 12:46:14
阅读次数：
97
可以不进行特定样本下的微调吗？可以直接采用AlexNet CNN网络的特征进行SVM训练吗？ 不针对特定任务进行微调，而将CNN当成特征提取器，pool5层得到的特征是基础特征，类似于HOG、SIFT，类似于只学习到了人脸共性特征；从fc6和fc7等全连接层中所学习到的特征是针对特征任务特定样本的特 ...
分类：
其他好文 时间：
2019-08-24 21:20:02
阅读次数：
126
今日完成 还是找论文，看论文，中文的英文的，资料很少，基本上没有这类型的论文，看到了有关cnn分类案件的，cnn本身就可以做特征提取，在想可以不可以用cnn代替bpnn，这样就省去了特征提取的环节了。还是没有做特征提取，正则表达式或TF-IDF啥的，明天一定写。 明日计划 写TF-IDF，先尝试用B ...
分类：
其他好文 时间：
2019-08-22 22:06:44
阅读次数：
81
