我们在协助某AI客户排查一个UFS文件存储的性能case时发现，其使用的Pytorch训练IO性能和硬件的IO能力有很大的差距（后面内容有具体性能对比数据）。让我们感到困惑的是：UFS文件存储，我们使用fio自测可以达到单实例最低10Gbps带宽、IOPS也可达到2w以上。该AI客户在高IOPS要求的AI单机小模型训练场景下，或者之前使用MXNet、TensorFlow框架时，IO都能跑到UFS理
分类：
其他好文 时间：
2020-03-28 09:14:38
阅读次数：
119
本周主要是修养声息。 昨天一直在搞tensorflow的安装，折腾到半夜，也没有整好，一直在报 DLL一直加载失败 之类的错误，在网上查找有的说是没有vs15的环境，有的说python版本太高没有匹配的（本人用的3.8版本），有的说要装anaconda后会比较好搞定，有的说是我CUDA和CUDNN啥 ...
分类：
其他好文 时间：
2020-03-27 21:25:10
阅读次数：
119
本文主要探索如何使用深度学习框架 MXNet 或 TensorFlow 实现线性回归模型？并且以 Kaggle 上数据集 USA_Housing 做线性回归任务来预测房价。 回归任务，scikit-learn 亦可以实现，具体操作可以查看 线性回归模型的原理与 scikit-learn 实现。 载入 ...
分类：
Web程序 时间：
2020-03-27 01:11:27
阅读次数：
249
如果你的Tensorflow程序很简单，比如这样： 那么出现AttributeError: module 'tensorflow' has no attribute 'constant'的原因是： 该文件命名错误，不要用tensorflow这个名字，换个别的就好了 module ‘tensorflo ...
分类：
其他好文 时间：
2020-03-26 12:26:35
阅读次数：
101
tf.strided_slice，tf.fill，tf.concat使用实例 其中，我们需要对tensor data进行切片，tf.strided_slice使用方法请参考 import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LE ...
分类：
其他好文 时间：
2020-03-25 23:22:29
阅读次数：
76
最近开始做深度学习实验，在老师的推荐下准备采用tensorflow框架构建神经网络结构，在此记录下今天安装tensorflow2.0的过程和踩过的坑，方便以后复习，以及给后来者一个参考。 1.安装过程 1）需要安装的东西： i.anaconda（或者miniconda，可以理解为精简版的anacon ...
我们学习Python的过程中总是遇到很多难题，最常见的比如IP限制，我们学会通过使用代理IP来解决，其他情况下也会存在很多异常或者麻烦，需要大家耐心学习，今天给大家分享的就是入门python需要重点学习的内容。1、因为主要用python来做数据分析，所以直接下的anaconda。这个工具的主要优势是首先安装方便，一般情况下不要去管什么环境变量。然后是使用时，代码可以在一个一个格子里分开写，这对新手
分类：
编程语言 时间：
2020-03-25 18:59:17
阅读次数：
90
首先需要下载 mask_rcnn 的源码 但是从GitHub上下载源码的速度非常慢，所以我们从码云上下载，这是GitHub的中国镜像。 链接如下：https://gitee.com/mirrors/Mask_RCNN?_from=gitee_search 下载pycocotools 什么需要安装py ...
分类：
其他好文 时间：
2020-03-25 18:57:54
阅读次数：
145
最近为了实现HR-net在学习pytorch，然后突然发现这个框架简直比tensorflow要方便太多太多啊，我本来其实不太喜欢python，但是这个框架使用的流畅性真的让我非常的喜欢，下面我就开始介绍从0开始编写一个Lenet并用它来训练cifar10。 1.首先需要先找到Lenet的结构图再考虑 ...
分类：
Web程序 时间：
2020-03-25 10:33:16
阅读次数：
154
import pandas as pd pd.options.display.max_rows = 10 # 设置显示行数 df1 = pd.read_csv(r'E:\anacondatest\PythonData\高校信息.csv', encoding='gbk', index_col='学校名 ...
分类：
其他好文 时间：
2020-03-25 01:05:00
阅读次数：
78
