标签:makefile 双显卡 https sign gstreamer 路径 download esc ffmpeg
https://blog.csdn.net/jywowaa/article/details/52263711
学习中用到深度学习的框架,需要搭建caffe、theano和torch框架。经过一个月的不懈奋战,终于搭建好了框架。现在分享简单的搭建过程,为后面要用到深度学习框架的同学节省时间,写了这个博客。因为框架的搭建过程会出现各种问题,不同的硬件(如笔记本、台式机)、不同的软件(如依赖库、编译器)和软件的版本(如编译器版本不同,编译框架时会找不到依赖库路径)之间有上百种组合,网络中遇到问题的情况可能与你的问题情况相同,但是解决办法就是解决不了你的问题。所以,要有耐心多百度、谷歌尝试解决方法,一定能够解决的(耗时长,很坑,但是收获颇多 233),教程仅供参考。博主正在游向岸边的路上,若有错误还请海涵,共同学习!
网上很多博客已经写了如何搭建的教程,因为搭建的过程中参考了很多博客和官方教程,所以在这里写下自己在笔记本上搭建的教程吧,适合随时在自己本上调程序的小伙伴们。先说一下我的本本型号:华硕的U303L,显卡NVIDIA GT840M(貌似不支持cudnn加速),其他详细配置请自行网上搜索。
第一部分 系统安装
版本Ubuntu16.04。这里省略安装过程,请自行网上搜索安装过程。
第二部分 显卡驱动和cuda8.0rc的安装
1、显卡驱动安装
我这里是运用ppa更新的最新驱动,使用起来能够得到挺好的体验,并能够实现双显卡的自由切换。
首先,通过快捷键Ctrl+Alt+T打开终端,然后加入官方ppa源:
$ sudo add-apt-repository ppa:graphics-drivers/ppa
需要输入用户密码,并确认链接源。之后刷新软件库并安装最新的驱动,在命令行输入:
然后打开Ubuntu系统设置-》软件和更新-》附加驱动,选择最新版的显卡装有驱动,系统会自动安装好显卡驱动,然后重启系统便会切换到独显。网上好多是下载官方的显卡驱动很容易出现安装完无法登陆系统、登陆界面死循环、或者重启后黑屏。所以建议本方法。
安装成功后可以通过下面命令查看:(由于篇幅,截图省略)
2、cuda8.0rc安装与配置
cuda8.0rc下载请自行到官网下载,建议下载runfile(local)类型,下载完要进行md5校验,保证安装包不出问题。
后面用到的工具:(vim安装:终端输入$ sudo apt-get install vim 即可)
然后,退出GUI,也就是X-Win界面,操作方法是:同时按:CTRL+ALT+F1(F2-F6),切换到TTY1-6命令行模式。登陆root用户,关闭桌面服务:
再输入以下指令:
# vim /etc/modprobe.d/blacklist.conf
在文件最后面,添加这句:
重启,然后进入TTY1,登陆root用户:
-
# chmod +x cuda*.run #获取文件权限
-
在选择条件的过程中,一定不要再次安装nvidia驱动,否则之前安装的显卡驱动就坏了。
特别注意:这里所有的编译都用Ubuntu自带编译器GCC和G++版本编译,不要进行降级,就不会导致后面编译caffe出现找不到依赖库的错误。等待cuda安装完成。
配置环境变量:
在文件末尾添加这句:
-
PATH=/usr/local/cuda/bin:$PATH
-
保存退出,按esc,再输入“:wq”即可。
输入命令:
使其生效
输入命令:
# vim /etc/ld.so.conf.d/cuda.conf
添加内容:
输入命令:
使其生效
cuda验证测试
测试cuda是否安装成功:
# cd /usr/local/cuda/samples
编译例子:
# make all -j2 (我的本本是双核CPU,所以-j2都用上加快编译速度)
运行编译可执行结果文件,cd到/usr/local/cuda/samples/x86_64/linux/release,输入:
最后测试通过
第三部分 OpenCV3.1.0安装与配置
首先安装必要的库,有的依赖库我是已经安装过的,具体安装的先后关系已经忘了。如果出现有些依赖关系不满足的错误,可以再安装库:
-
$ sudo apt-get -y remove ffmpeg x264 libx264-dev
-
$ sudo apt-get -y install libopencv-dev build-essential checkinstall cmake pkg-config yasm libtiff4-dev libjpeg-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libdc1394-22-dev libxine-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev x264 v4l-utils ffmpeg libgtk2.0-dev
根据官网上的链接下载OpenCV3.1.0版本,并进行解压,解压之后进入安装文件目录:
-
-
建立要编译的build目录,然后进入build目录进行编译:
-
-
-
$ cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D BUILD_NEW_PYTHON_SUPPORT=ON -D WITH_V4L=ON -D INSTALL_C_EXAMPLES=ON -D INSTALL_PYTHON_EXAMPLES=ON -D BUILD_EXAMPLES=ON -D WITH_QT=ON -D WITH_OPENGL=ON ..
在configure过程中过程中,可能会出现下面的错误:ICV: Downloading ippicv_linux_20151201.tgz…
在直接下载该文件的过程中,会因为超时而失败,可以下载ippicv_linux_20151201.tgz, 并替换掉 opencv-3.1.0/3rdparty/ippicv/downloads/linux-8b449a536a2157bcad08a2b9f266828b下的同名文件,然后再次cmake即可。生成编译文件之后,在opencv-3.1.0/build目录下,终端输入:
安装好以后配置环境变量,使其生效:
-
$ sudo sh -c ‘echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf‘
-
特别注意:这里所有的编译都用Ubuntu自带编译器GCC和G++版本编译,不要进行降级,就不会导致后面编译caffe出现找不到依赖库的错误。等待安装完成
编译opencv3.1.0时可能会出现trying to build v3.1 opencv with cuda support. standard cmake. project of: opencv_cudalegacy not compile -- nppiGraphcut missing的报错,解决方法如下:
try this: in graphcuts.cpp (where your error is thrown) change this:
-
-
#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)
to this:
-
-
#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER) || (CUDART_VERSION >= 8000)
because graphcuts is not supported directly with CUDA8 anymore.
第四部分 Python安装和调试
python的安装有两种方式:一种是系统自带的python,只需再安装相应的库即可;第二种是直接安装anaconda,很多相应的库已经包含了。第一种直接安装库文件比较简单,不需要修改相应的包含路径和库文件。
第一种如下,第二种(略):
首先通过下面的命令安装pip,pip是Python的一个安装和管理扩展库的工具。
$ sudo apt-get install python-pip
安装完毕之后,请输入ipython命令测试是否能正常启动。为了让IPython notebook工作,还还需要安装tornado和pyzmq:
-
$ sudo pip install tornado pyzmq pygments
-
$ sudo apt-get install libzmq-dev
使用iPyhthon NoteBook(基于浏览器的Python IDE),特别是适合需要用Python做教程的老师们,可以直接导出.py, .ipynb, html格式,安装步骤如下:
启动(自动打开浏览器):$ ipython nootbook
通过apt-get命令可以快速安装这几个库:
$ sudo apt-get install python-numpy python-scipy python-matplotlib python-qt4 qt4-designer pyqt4-dev-tools python-qt4-doc spyder cython swig python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags ipython protobuf-c-compiler protobuf-compiler
第五部分 caffe的安装与配置
首先,安装caffe必要的库文件:
-
-
$ sudo apt-get install build-essential cmake git pkg-config libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler libgflags-dev libgoogle-glog-dev liblmdb-dev python-dev
-
$ sudo apt-get install --no-install-recommends libboost-all-dev
执行完以上的语句之后,基本的依赖库就安装完成了
安装BLAS,使用如下的语句自动安装BLAS(当然,你可以选择其他的库) ,执行:
$ sudo apt-get install libatlas-base-dev
修改配置文件,进入到caffe的根目录,执行:
$ cp Makefile.config.example Makefile.config
打开makefile.config对其进行修改,makefile.config修改内容内容如下(未配置cudnn加速):
-
<pre name="code" class="html">注释第5行的 USE_CUDNN := 1
-
去掉注释第21行的 OPENCV_VERSION := 3
添加路径
-
在 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include 后面添加 /usr/include /usr/include/hdf5/serial
-
在 LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 后面添加 /usr/lib/x86_64-linux-gnu/hdf5/serial
-
实现caffe对Python和Matlab接口的支持 PYTHON_LIB := /usr/local/lib
到这里,整个配置文件修改完毕,可以开始编译了,
编译Python用到的caffe文件
cuda8.0编译器问题,打开/usr/local/cuda/include/host_config.h 注释掉:
error -- unsupported GNU version! gcc versions later than 5.3 are not supported!
结果如下:
-
#if __GNUC__ > 5 || (__GNUC__ == 5 && __GNUC_MINOR__ > 3)
-
//#error -- unsupported GNU version! gcc versions later than 5.3 are not supported!
-
#endif /* __GNUC__ > 5 || (__GNUC__ == 5 && __GNUC_MINOR__ > 1) */
caffe框架到此已安装完毕,尽情看源码吧!
第六部分 theano安装与配置
直接输入命令:
$ sudo pip install theano
配置参数文件:.theanorc
在终端输入命令:
输入“i”进入insert模式。输入一下内容:
-
-
-
-
-
allow_input-downcast=True
-
-
-
-
输入完毕,按‘Esc’退出,输入‘:wq’,回车。配置完成!
运行测试例子,新建一空白文档将以下代码复制进去,改后缀test.py:
-
from theano import function, config, shared, sandbox
-
import theano.tensor as T
-
-
-
vlen = 10 * 30 * 768 # 10 x #cores x # threads per core
-
-
rng = numpy.random.RandomState(22)
-
x = shared(numpy.asarray(rng.rand(vlen), config.floatX))
-
f = function([], T.exp(x))
-
print(f.maker.fgraph.toposort())
-
-
-
-
-
print("Looping %d times took %f seconds" % (iters, t1 - t0))
-
print("Result is %s" % (r,))
-
if numpy.any([isinstance(x.op, T.Elemwise) for x in f.maker.fgraph.toposort()]):
-
-
-
在终端运行
可以看到结果如下,完成安装。
-
/usr/bin/python2.7 /home/hjimce/PycharmProjects/untitled/.idea/temp.py
-
Using gpu device 0: GeForce 840M (CNMeM is disabled, cuDNN not available)
-
[GpuElemwise{exp,no_inplace}(<CudaNdarrayType(float32, vector)>), HostFromGpu(GpuElemwise{exp,no_inplace}.0)]
-
Looping 1000 times took 0.302778 seconds
-
Result is [ 1.23178029 1.61879349 1.52278066 ..., 2.20771813 2.29967761
-
-
至此Theano环境 搭建完成
第七部分 char-cnn+torch 安装过程
安装Torch7 的依赖项
-
$ sudo apt-get install curl
-
$ curl -sk https://raw.githubusercontent.com/torch/ezinstall/master/install-deps | bash
安装 torch distribution
-
$ git clone https://github.com/torch/distro.git ~/torch --recursive
-
$ cd ~/torch; ./install.sh
执行下列命令,使得安装过程中被更改的PATH生效:
执行下列命令查看torch 是否安装成功:
如果不使用torch,可以使用下列命令卸载:$ rm -rf ~/torch
可以使用luarocks命令安装其他的torch包:
至此Torch 环境 搭建完成
运行char-cnn,安装必要的包:
-
$ luarocks install nngraph
-
参考资料(感谢网络博主的分享学习,共同进步):
Ubuntu16.04+cuda8.0rc+opencv3.1.0+caffe+Theano+torch7搭建教程
标签:makefile 双显卡 https sign gstreamer 路径 download esc ffmpeg
原文地址:https://www.cnblogs.com/jukan/p/9346237.html