???? MPP包含了很多的内容,开始学习的时候速度还挺快,到后面越来越艰涩。这也是很久没有精力去更新内容的原因之一。在学习的过程中,逐步接触到了AI或者ML所需要的Python环境。还记得我们之前的介绍吗?通过Python去调用AI的很多API,来快速实现AI的一些功能。
??? 在学习Azure AI的API的eDoc的时候,就发现有一些示例代码使用了Jupyter Notebook来体现。当时觉得,我有Python不就好了吗?原汁原味地学习代码。到了MPP课程中“强制”使用了notebook之后,发现这种方式确实很方便学习。这么解释吧,我复制完示例代码,然后来运行之前,会尝试阅读代码,然后加上自己的注释。而notebook能将注释或者笔记部分,单独写成md格式的块。代码则分列到另外的代码块。这样就非常便于阅读背景信息和笔记,而同时方便的运行调试代码。
??? 另外,很多AI或者ML的课程,也会以notebook的文件格式提供笔记本帮助学习,所以,拥有一个notebook的环境还是很有必要的。下面我们就来尝试使用最复杂的搭建方式,搭建一个notebook环境。
??? 还记得第一次使用VS Code写Python的时候,会给代码格式评分,规范化也是学习代码的一部分,所以pylint还是需要的:
astroid-1.6.3 / isort-4.3.4 / lazy-object-proxy-1.3.1 / mccabe-0.6.1 / pylint-1.8.4 / wrapt-1.10.11
??? 这么多AI的API都是以Web服务方式提供,快速调用API就离不开requests了:
certifi-2018.4.16 / chardet-3.0.4 / idna-2.6 / requests-2.18.4 / urllib3-1.22
??? 进行数据处理怎么可以少了numpy?啥代码貌似都要array啊~
numpy-1.14.2
??? 同样,进行ML处理数据,pandas也是不可或缺滴~
pandas-0.22.0 / pytz-2018.4
??? 各种画图各种展现,没有matplotlib咋整?
cycler-0.10.0 / kiwisolver-1.0.1 / matplotlib-2.2.2 / pyparsing-2.2.0
??? 安装notebook就复杂点了,依赖的库有点多~
MarkupSafe-1.0 / Send2Trash-1.5.0 / backcall-0.1.0 / bleach-2.1.3 / decorator-4.3.0 / entrypoints-0.2.3 / html5lib-1.0.1 / ipykernel-4.8.2 / ipython-6.3.1 / ipython-genutils-0.2.0 / ipywidgets-7.2.1 / jedi-0.12.0 / jinja2-2.10 / jsonschema-2.6.0 / jupyter-1.0.0 / jupyter-client-5.2.3 / jupyter-console-5.2.0 / jupyter-core-4.4.0 / mistune-0.8.3 / nbconvert-5.3.1 / nbformat-4.4.0 / notebook-5.4.1 / pandocfilters-1.4.2 / parso-0.2.0 / pickleshare-0.7.4 / prompt-toolkit-1.0.15 / pygments-2.2.0 / python-dateutil-2.7.2 / pywinpty-0.5.1 / pyzmq-17.0.0 / qtconsole-4.3.1 / simplegeneric-0.8.1 / terminado-0.8.1 / testpath-0.3.1 / tornado-5.0.2 / traitlets-4.3.2 / wcwidth-0.1.7 / webencodings-0.5.1 / widgetsnbextension-3.2.1
??? 然后要做MPP的实验,自然少不了需要微软的人工智能工具库 CNTK~ 课程也挺奇怪,要求2.0版本,后面的课程则要求更新的版本,先安装2.0的
scipy-1.0.1 / cntk-2.0
??? 其实以上列举这么多库,没有太大的意义,在使用pip安装的时候,就会自动按照依存关系去安装需要的库。那我为什么把这些库都列出来呢?两个原因,第一,如果我们需要离线安装;第二,由于都知道的原因,访问默认库分发的时候,经常干扰HTTPS流量导致下载失败。这时就可以按照以上的清单,去pypi网站上照方抓药了。
??? 安装完毕,就能在本地使用notebook跑起来了。
??? 说了这么多,没有更方便的办法吗?有!
??? 其实MPP课程中使用了Anaconda来搭建用于学习AI/ML的环境。使用Anaconda可以方便的图形化管理你的环境。不过我看看安装文件就已经好几百M,想想变形本可怜的200G空间,就没安装了。
???? 那么,还有没有更方便的办法呢?有!
???? 访问 https://notebooks.azure.com? 啥东西都不用装,打开就能用。
???? 学完ML的课程,感觉还是一脸懵~还需要时间再消化消化,不过环境需要更新了。更新CNTK倒是简单:
PS C:\WINDOWS\system32> pip install cntk --upgrade
Collecting cntk
?? Downloading https://files.pythonhosted.org/packages/e0/66/bd529934288094c4a4a7110fa6797669d95ffa7fc3687275a5541b80a281/cntk-2.5.1-cp36-cp36m-win_amd64.whl (63.7MB)
???? 100% |████████████████████████████████| 63.7MB 181kB/s
Requirement not upgraded as not directly required: scipy>=0.17 in c:\program files\python36\lib\site-packages (from cntk) (1.0.1)
Requirement not upgraded as not directly required: numpy>=1.11 in c:\program files\python36\lib\site-packages (from cntk) (1.14.2)
Installing collected packages: cntk
?? Found existing installation: cntk 2.0
???? Uninstalling cntk-2.0:
?????? Successfully uninstalled cntk-2.0
Successfully installed cntk-2.5.1
??? 因为安装CNTK 2.0的时候,依赖的scipy和numpy库已经是当时最新,所以没有自动更新。不过我还是自己手动刷到最新版了。
??? 然后,需要加上OpenCV了。去官网看了看,默认的支持是Python 2.7……这咋整啊?翻了翻网页,貌似有非官方的库提供了,既然大家都用,那就别犹豫了,装上:
PS C:\WINDOWS\system32> pip install opencv_python
Collecting opencv_python
?? Downloading https://files.pythonhosted.org/packages/4c/25/151aeb11e80f99b97d3eb93a2c98bcacd857f28c4fb8865eb0201d800e97/opencv_python-3.4.0.12-cp36-cp36m-win_amd64.whl (33.3MB)
???? 100% |████████████████████████████████| 33.4MB 581kB/s
Requirement already satisfied: numpy>=1.11.3 in c:\program files\python36\lib\site-packages (from opencv_python) (1.14.3)
Installing collected packages: opencv-python
Successfully installed opencv-python-3.4.0.12
???? 验证一下安装:
PS C:\WINDOWS\system32> python
Python 3.6.5 (v3.6.5:f59c0932b4, Mar 28 2018, 17:00:18) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import cv2
>>> print(cv2.__version__)
3.4.0
???? 貌似这里有更新的版本,不过没再手动下载安装了。
https://www.lfd.uci.edu/~gohlke/pythonlibs/#opencv
??? 对了,在升级Python本身的时候,遇到一个有意思的错误:
C:\Personal\Hao.Hu\My Codes>jupyter
Fatal error in launcher: Unable to create process using ‘""c:\program files\python36\python.exe"? "C:\Program Files\Python36\Scripts\jupyter.exe" ‘
??? 查了一下,跟路径设置导致编译时生成的exe的路径出错有关。折腾了一番,改了路径然后重新安装库,再次编译的exe就没问题了。
原文地址:http://blog.51cto.com/haohu/2113447