码迷,mamicode.com
首页 > 其他好文 > 详细

detectron安装+caffe2安装

时间:2018-04-09 11:19:48      阅读:997      评论:0      收藏:0      [点我收藏+]

标签:with   ...   define   软件包   自动   mil   gtest   info   form   

detectron安装+caffe2安装

因为想跑一下facebook最近开源的detectron物体检测平台,所以安装caffe2+detectron

总结:

一定要好好看官方安装教程:https://github.com/facebookresearch/Detectron/blob/master/INSTALL.md

caffe2教程,caffe2与caffe区别:https://www.jianshu.com/p/5c0fd1c9fef9?from=timeline

detectron是基于caffe2框架,使用mask-rcnn模型实现的物体检测平台

github链接:https://github.com/facebookresearch/Detectron

 

detectron demo:

1、使用detectron进行识别:使用tools/infer_simple.py,调用一个已经训练好的模型model_final.pkl,对图片进行物体检测

2、使用detectron进行训练:使用tools/train_net.py

https://github.com/facebookresearch/Detectron/blob/master/GETTING_STARTED.md

 

detectron的依赖:

因为detectron基于caffe2,而且暂时支持GPU计算,所以我们需要安装caffe2,cudacudnn)

 

caffe2安装:

caffe2官网看安装教程:https://caffe2.ai/docs/getting-started.html?platform=windows&configuration=compile

发现可以有conda安装、github源码编译安装等多种方式。

 

1、使用conda安装:

安装caffe2需要先安装好cuda(cudnn),且已有的cuda版本不同,安装的caffe2版本也不同:

For Caffe2 with CUDA 9 and cuDNN 7 support:

1

conda install -c caffe2 caffe2-cuda9.0-cudnn7

For Caffe2 with CUDA 8 and cuDNN 7 support:

1

conda install -c caffe2 caffe2-cuda8.0-cudnn7

cuda 版本 
cat /usr/local/cuda/version.txt

cudnn 版本 
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

 

则需查看本机cuda版本:http://blog.csdn.net/zhangjunhit/article/details/76532196

查看cudnn版本:https://zhidao.baidu.com/question/330920288150862405.html

 

这里注意在sample中虽然在/usr/local/cuda/include/下找不到cudnn.h文件,但实际上cudnn已经安装好了,只不过cudnn.h文件在/usr/include/下

关于cuda和cudnn各自的作用及相互的关系:http://blog.csdn.net/fangjin_kl/article/details/53906874   http://blog.csdn.net/yangdashi888/article/details/73694446

查看后,本机为cuda 8.0

 

conda安装caffe2完成。

 

但是,启动detectron的时候,显示缺少core包

这个core包是什么??pip和conda直接安装core都显示不存在这样的包,百度和google了之后并没有发现有可用的包。

最后发现,conda安装的caffe2中没有detectron模块,缺少了core包。因为detectron太新了,需要用最新的caffe2来支持,因此不能使用conda安装caffe2,应该在官网下载caffe2源码安装caffe2,以保证安装的caffe2中有detectron模块

 

2、使用源码安装:安装依赖(cuda8.0+cudnn6+...)+cmake+sudo make install

首先需要安装一些依赖:

创建一个.sh脚本:

sudo apt-get updatesudo apt-get install -y --no-install-recommends \

      build-essential \

      cmake \

      git \

      libgoogle-glog-dev \

      libgtest-dev \

      libiomp-dev \

      libleveldb-dev \

      liblmdb-dev \

      libopencv-dev \

      libopenmpi-dev \

      libsnappy-dev \

      libprotobuf-dev \

      openmpi-bin \

      openmpi-doc \

      protobuf-compiler \

      python-dev \

      python-pip                          sudo pip install \

      future \

      numpy \

      protobuf

修改权限 bash运行。成功。

然后:

sudo apt-get install -y --no-install-recommends libgflags2

错误1:缺少多个相互依赖的包

提示缺包,再写个sh脚本,格式同上,将缺的包都写进去,执行脚本,又缺包,再把缺的包加到脚本里。。。直到安装成功

注意,安装依赖需要一次安装完成,切勿单个安装,主要是由于包之间彼此会有一定的依赖关系,这个是你无法准确定位的,故在 一次安装动作中做完,看这篇http://blog.csdn.net/blueheart20/article/details/51901867

 

make过程

接下来就可以把caffe2源码下下来make编译了

一开始,没有仔细读caffe2官网上源码安装的教程,官网上给出的下载时的git命令是这样的:

 技术分享图片

 

我觉得不就是下载吗,也就没有看官网上的这句,下载命令直接用的 git clone https://github.com/caffe2/caffe2.git

漏掉了–recursive选项,这个选项有什么用呢?git项目代码使用xx.git的方法引用了其他子模块的代码,--recursive选项指定递归下载所有子模块的代码

下面我就因为这个导致了难以发现的错误

 

错误1:cmake2.7需要升级到cmake3.2

下载下来之后,进入文件夹,按照官网上的步骤,cmake编译,这是,程序提示说我的cmake版本过低,需要cmake3.2及以上的,而我是2.7,所以又去安装cmake3,见这篇编译安装cmake3

安装完cmake后,cmake编译,提示缺少头文件numa.h:

numa.h:No such file or directory

上网试了多种办法,最后发现安装一个库就可以了$ apt-get install libnuma-dev,见这篇http://www.cnblogs.com/qq952693358/p/8032956.html

 

错误2:undefined reference to `pthread_create‘ cmake caffe2

解决了这个错误后,cmake编译,又出现了新的错误,提示有函数未定义undefined reference to `pthread_create‘ cmake caffe2

上网搜,网上都说什么linux默认库中没有lpthread这个库,所以出现这个错误 ,只需要给cmake命令加上-lpthread选项就行。。。只需要在cmakelists.txt文件里面加上两行什么代码就行。。试了都不对

最后发现,因为一开始从github上下载代码的时候没有加–recursive选项,导致一开始下载的项目不全,加上这个选项重新下载,就可以了,见这篇https://github.com/caffe2/caffe2/issues/1234#issuecomment-334117888

然后cmake ..终于编译成功了

 

make install过程

然后根据教程,还是在build文件夹里,sudo make install(注意这次不是cmake了)

 

错误1:nccl.cu(36): error: argument of type "const int *" is incompatible with parameter of type "int *"

又出现了新的错误:nccl.cu(36): error: argument of type "const int *" is incompatible with parameter of type "int *"

上网看了没有别的现成的解决方案,因为它提示参数不匹配,考虑有可能本机上安装的nccl库版本比较旧了,而我下载的caffe2的代码比较新,导致接口参数不一致

dpkg -l | grep nccl 命令查看一下本机上的nccl库的版本,发现是1.2.3

 

解决方案:更新本机的nccl库

首先把旧的这两个包卸载掉,卸载的过程中发现apt-get install remove命令有时不起作用,因此上网搜了apt-get完整卸载软件的方法:http://blog.csdn.net/get_set/article/details/51276609

apt-get -purge remove libnccl-dev

apt-get -purge remove libnccl1

然后,就要安装新的nccl包了

先查询一下nccl有哪些版本

查询一个包有哪些版本:https://www.cnblogs.com/EasonJim/p/7144017.html

这里,我根据apt-get install libnccl-dev命令的错误提示找到nccl在apt-get上的库的地址:http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1404/x86_64/,查看nccl有哪些版本

看了一下,决定安装最新的2.1.4-1,又因为本机上的cuda是8.0,为了nccl库和cuda一致,所需安装这个:

 技术分享图片

 

但是直接使用apt-get install libnccl-dev命令,默认安装的是

 技术分享图片

 

所以使用apt-get的时候需要手动指定安装包的版本:https://www.cnblogs.com/EasonJim/p/7144017.html

apt-get install libnccl-dev=2.1.4-1+cuda8.0

apt-get install 软件包名=版本名

运行,发现还依赖libnccl2,所以加上libnccl2:

apt-get install libnccl-dev=2.1.4-1+cuda8.0  libnccl2=2.1.4-1+cuda8.0

安装成功

 

鉴于这个问题在网上还没搜到解决方案,因此在github上答了一下:https://github.com/caffe2/caffe2/issues/394

 

错误2:cudnn5.0需要升级到cudnn6.0

错误解决,再次sudo make install,运行了一会又有新的错误:

 技术分享图片

 

看错误提示,意思是我目前的cudnn版本是5.0,而官方推荐6.0及以上(强行推荐,也是醉了 - -)。

那么就要将cudnn5.0更新到cudnn6.0,更新的办法其实和新安装6.0的方法一样,wget下载下来tar.gz安装包,解压到合适位置,然后ldconfig链接一下就可以了,新安装的6.0会自动把5.0覆盖,只不过cudnn6.0的安装包下载前需要现在nvidia官网上注册个账号。注册后就可以在这里下载了https://developer.nvidia.com/rdp/cudnn-download,选择cuDNN v6.0 Library for Linux

下载下来之后:

sudo tar -xzf cudnn-8.0-linux-x64-v6.1.tgz -C /usr/local

rm cudnn-8.0-linux-x64-v5.1.tgz && sudo ldconfig

就安装完成了,查看一下:

 技术分享图片

 

 

错误3:no rule to make target

然后再sudo make instal,却提示error:no rule to make target,同时还有大量的waring:clock skew detected(时钟漂移)

后来发现是因为重新安装了依赖包(cudnn)之后,需要重新make编译(make编译所有的结果都在build文件夹里,所以要重新编译只需要删除build文件夹,然后再新建一个空的build文件夹,执行make命令即可)

 

 错误4:/usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.21‘ not found

参考这篇文章,发现是因为ubuntu14自带的g++为4.8.4,不支持c++11,所以不支持GLIBCXX_3.4.21,需要升级到g++5.2.0

升级之后,make install 错误消失

 

错误5:undefined reference to `google::protobuf: caffe2

首先参考这篇文章:http://blog.csdn.net/qq_17278169/article/details/64128525,发现是机器上有多个protobuf,冲突了,因此考虑卸载一些。

为什么有多个protobuf就会冲突呢?看这篇http://blog.csdn.net/missdaddio/article/details/67631777

原来,conda中默认的protobuf是最新的3.几的,apt-get中默认的protbuf是2.几的,而caffe仅支持2.几的,因此要

 

参考这篇文章https://github.com/caffe2/caffe2/issues/1597,用

find / -name libprotobuf* 2>/dev/null

/dev/null是什么?2>/dev/null是什么意思?https://zhidao.baidu.com/question/223779994.html

看一下本机上都有哪些protobuf

发现caffe2安装包中自带了,conda中有,/usr/lib中也有

 

最开始不懂,想着卸载掉/usr/lib中的和conda中的,只留着caffe2中自带的

于是,卸载/usr/lib中的:dpkg l | grep protobuf 看一下把看到的包都用 apt-get --purge remove卸载掉了

 

卸载conda中的:conda list 看了一下,看到了一个名为protobuf的,于是conda remove卸载掉。

 

然后删除build目录后重新cmake,make install,在make install过程中又出现错误:

错误6:error: ‘XXXX’ is not a member of ‘google::protobuf::

 

仔细检查,发现是因为我在之前解决错误5的过程中犯了2个错误:

1、conda中的protobuf没有卸载掉。

直接命令行执行protoc(protobuf的主要命令),可以发现能执行

于是用which protoc看一下,发现这个命令对应的可执行文件在/opt/conda/bin/下,说明conda中的protobuf没有被卸载掉!

又用conda list仔细看了一下,发现刚才我用conda remove卸载掉了一个名为protobuf的包,但是实际上conda list中还有一个名为libprotobuf的包。

2、apt-get中的protbuf不应该卸载掉。我一开始就忽略了一个问题,caffe2安装的官方文档中已经说了需要用apt-get安装protbuf库了啊!

 技术分享图片

 

 

于是我conda remove libprotobuf卸载掉了conda中所有的protobuf,又apt-get把apt-get的那几个依赖包装了回来。

再次清空build文件夹,cmake&make install,make install

 

 

detectron安装+caffe2安装

标签:with   ...   define   软件包   自动   mil   gtest   info   form   

原文地址:https://www.cnblogs.com/zealousness/p/8757353.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!