码迷,mamicode.com
首页 > 其他好文 > 详细

PyTorch PM 回忆 1.0 版本诞生记:从科研到落地

时间:2020-09-21 11:43:09      阅读:42      评论:0      收藏:0      [点我收藏+]

标签:阅读   执行   发布   png   信息流   左右   仿真   tor   英特尔   

https://mp.weixin.qq.com/s/y1fmBfSVXaf9yUoAWzChOQ

By 超神经

场景描述:基于 Torch,Facebook 人工智能研究团队发布了 PyTorch 1.0

关键词:AI, PyTorch, Facebook 

AI 作为一项智慧而伟大的技术,正在日新月异,重塑着我们的生活,无论是语音合成、图像识别,还是智慧城市、人机大战,它已经逐渐***到日常生活的方方面面。训练模型离不开深度学习框架,除了 Google 的 TensorFlow,Facebook 的 PyTorch 又是如何运作的呢?

本文基于 Facebook AI 产品经理 Joseph Spisak 在 O‘Reilly 和 Intel 共同举办的 AI Conference 2018 旧金山站所做的演讲,讲师从 Facebook 深度学习框架 PyTorch 1.0 为切入点,详细介绍了 Facebook 在 AI 领域的布局、当前开源的工具、遇到难题及取得的研究成果。

Joseph Spisak,2018 年 1 月加入 Facebook,担任 PyTorch 和 ONNX 的产品经理,曾就职于 Amazon AWS,负责 AI 和 AWS 的国际伙伴关系。

点击下文观看完整视频

时长 38 分钟

由 O‘reilly 授权发布,HyperAI 超神经编译 中英文双语字幕

也着重介绍了 ONNX 的一些使用细节,与 FaceBook 与其他友商之间的合作。在本次演讲发生的时间,刚好是 ONNX 开源一年左右的时间。Joseph 也很诚实地分享了产品设计进程中,是如何权衡用户的意见,和团队原本的设计理念。

ML @ Facebook :赶上了对的车

FAIR 即 Facebook AI Research,是 Facebook 内部专业研究人工智能的实验室。机器学习在众多 Facebook 产品中都有应用到。

Facebook 产品中的 ML

在 Facebook 内部,通过决策树来预测信息流以及重要事件,也用到了 MLP 和众多 ConvNets,因为它们都非常适用于计算机视觉。

但是很多 ConvNets 并不适用于翻译和语音识别等,所以开发多模态容器的需求就出现了。

技术图片
某网友综合各种数据总结出几种深度学习框架
在 2019 第一季度的增长趋势

Facebook 在 2018 年发布了 PyTorch 1.0,在短短的时间里,市场份额也在迅速增长,并且广受科研学术界的广泛使用和认可。

技术图片

还有一项调查,是针对线上的深度学习职位的总体数量,其反应的也是这些深度学习框架的受欢迎程度。

很明显,职位中明确要求「掌握 TensorFlow 」的职位数量,明显高于 PyTorch ,Keras 的职位需求大约是 TensorFlow 的一半,目前没有什么招聘需求中对 fastai 有明确的要求。

不过值得注意的是,除了 LinkedIn,其他求职网站上,需要掌握 PyTorch 的职位要比 TensorFlow 多。

Facebook 的开源历程

Joseph 在视频中,介绍了 Facebook 是一个很开放的团队,其在 AI 领域开源了众多工具,包括但不限于数据、模型、库、框架、编译器和优化器、硬件。同时 Facebook 还协助建立了 AI 社区,与微软、英特尔等公司在 AI 研究方向建立了深度合作,促进了资源流通、社区繁荣。

他也深深认可,社区的作用对于产品产生了非常积极的影响。
技术图片
Facebook 开源工具

ONNX:Facebook 的希望寄托

ONNX 即开放式神经网络交换,由 Facebook 发布,被众多主流框架支持的中间表达格式框架,便于在各个主流深度学习框架之间迁移模型。

ONNX 是 Facebook 迈向开放式生态系统的第一步,它为 AI 模型提供开源格式,使 AI 开发人员能够随着项目的发展选择合适的工具。
技术图片
ONNX 是一个多人维护的社区项目

为了方便 ONNX 灵活连接到不同的硬件后台,Facebook 开源了 ONNXIFI 接口。ONNXIFI 为 ONNX 提供了用于框架集成的接口,即一组用于加载和执行 ONNX 计算图的跨平台 API。

未来:如何抓住 AI 大潮,Facebook 也很着急

Facebook 将会坚持「开放共赢」的初衷,开放更多的工具,尤其是在 RL 方向。同时,励志建造 PyTorch 生态,降低人工智能领域的壁垒,加强平台与平台之间、工具与工具之间的资源流通,简化手段,让资源更高效地流通利用起来。

未来社会将是人工智能技术大放异彩的平台,随着 AI 技术地迅猛发展,生产效率大幅度提高,传统工业实现产业升级,AI 会改善人们的生活习惯,而行业合作、社区建设将大大加快这一进程。

AI Conference 2019 北京站正在火热报名中,想要了解 AI 行业最新技术进展,跟进产研结合的最新落地实例,你可以点击「阅读原文」报名参加。
技术图片

AI Conference 部分讲师名单
技术图片

超神经百科

HyperAI 超神经搜集并整理全球数百个公开数据集,并提供国内镜像下载,对科研机构和开发者们提供免费服务。

The Children’s Book Test( CBT ) 数据集

The Children’s Book Test( CBT ) 数据集,是由古腾堡项目免费提供的书籍中提取的文字段落和相应的问题构建而成的问答数据集。旨在直接测量语言模型和如何利用更广泛的语言环境用于问答(阅读理解)和仿真查找。

The Children’s Book Test(CBT) 数据集于 2016 年由 Facebook 发布,其主要发布人是 Felix Hill, Antoine Bordes, Sumit Chopra and Jason Weston,相关文献为:The Goldilocks Principle: Reading Children’s Books with Explicit Memory Representations。大小为 114.97 MB。

更多 Facebook 数据集,请访问 https://hyper.ai 下载。

技术图片

PyTorch PM 回忆 1.0 版本诞生记:从科研到落地

标签:阅读   执行   发布   png   信息流   左右   仿真   tor   英特尔   

原文地址:https://blog.51cto.com/14929242/2535293

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!