这些天跑VGG和GOOGLENET真心快被虐哭了，VGG跑了2个星期才收敛到错误率40%，然后换了土豪的K40，跑一些测试结果给大家看，第一part分享一下性能报告，程序跑在Nvidia K40，显存12G，内存64G服务器，训练和测试数据集建立在自有数据集及imagenet数据集
训练配置:batchsize=128
caffe自有的imagenet with cuDNN模...
分类：
Web程序 时间：
2014-10-20 11:45:20
阅读次数：
3005
数据预处理在众多深度学习算法中都起着重要作用，实际情况中，将数据做归一化和白化处理后，很多算法能够发挥最佳效果。当我们开始处理数据时，首先要做的事是观察数据并获知其特性。本部分将介绍一些通用的技术，在实际中应该针对具体数据选择合适的预处理技术。例如一种标准的预处理方法是对每一个数据点都减去它的均值（...
分类：
其他好文 时间：
2014-10-14 00:34:07
阅读次数：
450
摘抄自caffe github的issue697Siamesenets are supervised models for metric learning [1].[1] S. Chopra, R. Hadsell, and Y. LeCun. Learning a similarity metri...
分类：
Web程序 时间：
2014-10-13 16:38:19
阅读次数：
773
线性代数是数学的一个重要分支，经常被应用到工程问题中，要理解深度学习以及操作深度学习，那么对于线性代数深刻的理解是非常重要的，以下摘要是我从DL book的第二章线性代数中抽取出来的比较有意思的一些理解基础线代问题的另一种有趣的方法。
2.3 Identity and inverse matrices
在线性方程组的求解当中，Identity和inverse matrice有很重要的作...
分类：
其他好文 时间：
2014-10-10 23:23:14
阅读次数：
280
乔丹教授（Michael I. Jordan）教授是机器学习领域神经网络的大牛，他对深度学习、神经网络有着很浓厚的兴趣。因此，很多提问的问题中包含了机器学习领域的各类模型，乔丹教授对此一一做了解释和展望。首先被提到的就是经典的贝叶斯非参数模型。今年暑假，乔丹教授在Como开设了贝叶斯非参数模型的课程...
分类：
其他好文 时间：
2014-10-10 13:52:04
阅读次数：
169
在imagenet上的图像分类challenge上Alex提出的alexnet网络结构模型赢得了2012届的冠军。要研究CNN类型DL网络模型在图像分类上的应用，就逃不开研究alexnet，这是CNN在图像分类上的经典模型（DL火起来之后）。
在DL开源实现caffe的model样例中，它也给出了alexnet的复现，具体网络配置文件如下（https://github.com/BVLC/caff...
分类：
Web程序 时间：
2014-10-10 00:47:41
阅读次数：
3305
1简介为了理解复杂的数据，人们提出了分层特征提取概念。著名的算法之一是2006年Hinton提出的DeepBeliefNetwork（DBN）。随着训练深层结构的成功，人们又提出了许多深度学习的变体。尽管这些多层算法产生了多层方法在特征提取和提供对复杂问题的有效方法，但并没有告诉我们通过..
分类：
其他好文 时间：
2014-10-05 23:58:49
阅读次数：
344
caffe中负责整个网络输入的datalayer是从leveldb里读取数据的，是一个google实现的很高效的kv数据库。因此我们训练网络必须先把数据转成leveldb的格式。这里我实现的是把一个目录的全部图片转成leveldb的格式。工具使用命令格格式：convert_imagedata src...
分类：
数据库 时间：
2014-10-02 10:18:32
阅读次数：
322
（本文档使用同一块NVIDIA显卡进行显示与计算， 如分别使用不同的显卡进行显示和计算，则可能不适用）1. 安装build-essentials安装开发所需要的一些基本包sudo apt-get install build-essential2. 安装NVIDIA驱动 (3.4.0)输入下列命令添加...
分类：
其他好文 时间：
2014-09-26 01:59:38
阅读次数：
397
通常来说，大家认为深度学习的观点是Geoffrey Hinton在2006年提出的。这一算法提出之后，得到了迅速的发展。关于深度学习，zouxy09的专栏中有详细的介绍，Free Mind 的博文也很值得一读。本博文是我对深度学习的一点看法，主要内容在第4、5部分，不当之处还请指教。1.深度学习 深...
分类：
其他好文 时间：
2014-09-22 16:23:42
阅读次数：
201
