本文首发自公众号: "RAIS" ,欢迎关注。 最佳实践,顾名思义,就是做某事的最佳方法,当然,这里的最佳一定是绝大多数情况,但又不是百分百的情况,我们不必纠结这个问题,我们需要记住的是下面这些方法在深度学习实践中是非常好的做法。 回调机制 如果你看到这里,我有理由认为你是一个懂得程序设计懂得编程的 ...
分类:
其他好文 时间:
2020-03-23 09:23:37
阅读次数:
73
在机器学习中,我们在使用模型训练数据时,时常会遇到一个问题,那就是数据不平衡,而且可能是极其不平衡。比如电商中的购买与否,金融欺诈等这种二分类中,往往数 据不仅稀疏且还极不平衡,可能其中某一类数据过多。很多模型对于处理这种不平衡数据来説是非常敏感的,往往造成效果不好。 那么在进行模型训练前,我们会做 ...
分类:
其他好文 时间:
2020-03-21 23:41:38
阅读次数:
71
概述 在过去的几年中,神经网络在各个领域产生了重大影响。然而,神经网络易于应用却难以训练,它可以看作是一个随机初始化的模型在大型数据集上做暴力搜索的过程。研究者们必须小心进行模型设计、算法设计以及相应的超参数选择。无免费午餐理论也说明了没有一套方法是能够解决所有问题的。 超参数是那些无法在模型训练过 ...
分类:
移动开发 时间:
2020-03-18 13:56:45
阅读次数:
100
转自: 对于训练集,验证集,测试集的概念,很多人都搞不清楚。网上的文章也是鱼龙混杂,因此,现在来把这方面的知识梳理一遍。让我们先来看一下模型验证(评估)的几种方式。 在机器学习中,当我们把模型训练出来以后,该怎么对模型进行验证呢?(也就是说怎样知道训练出来的模型好不好?)有以下几种验证方式: 第一种 ...
分类:
其他好文 时间:
2020-03-10 14:07:58
阅读次数:
64
由于验证数据集不参与模型训练,当训练数据不够用时,预留大量的验证数据显得太奢侈。一种改善的方法是KK折交叉验证(KK-fold cross-validation)。在KK折交叉验证中,我们把原始训练数据集分割成KK个不重合的子数据集,然后我们做KK次模型训练和验证。每一次,我们使用一个子数据集验证模 ...
分类:
其他好文 时间:
2020-03-06 21:37:44
阅读次数:
63
一、问题: 最近在利用keras训练模型的时候出现以下错误,开始一看以为是cuDNN的版本不对,更换后还是没有效果,后面在网上查找后发现是显存的问题,更改为动态分配内存就可以了。 二、解决方法: 在训练的脚本开头添加以下代码进行动态分配内存,然后重新运行就可以。 import tensorflow ...
分类:
其他好文 时间:
2020-03-01 10:26:39
阅读次数:
55
导读:伴随着AI的兴起,越来越多的智能产品诞生,算法链路也会变得越来越复杂,在工程实践中面临着大量算法模型的从0到1快速构建和不断迭代优化的问题,本文将介绍如何打通数据分析 样本标注 模型训练 监控回流的闭环,为复杂算法系统提供强有力的支持。 新技术/实用技术点: 1. 实时、离线场景下数据加工的方 ...
分类:
编程语言 时间:
2020-02-24 18:17:50
阅读次数:
100
尽管Waymo已经在开放道路上积累超过10 Million Miles,Waymo的工程师们仍然发现有层出不穷的新自动驾驶场景待解决。 1、自动驾驶长尾场景举例 场景一 :一个骑自行车的人手中拿着一个Stop Sign标识牌。我们不知道它何时会举起标识牌。无人车必须理解这种场景,即使他举起了Stop ...
分类:
其他好文 时间:
2020-02-24 12:52:18
阅读次数:
92
https://www.infoq.cn/article/dgKDBiPl7KID0dyaE7Wl 在机器学习开发领域,如果我们纵观全局,撇除所有微小的细节,那么就可以提炼出机器学习开发中的两大不变步骤:模型训练和预测(或推断)。如今,机器学习的首选语言是Python(除非你的工作环境有一些不寻常的 ...
分类:
编程语言 时间:
2020-02-22 12:16:59
阅读次数:
152
simple版本nn模型 训练手写数字处理 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #载入数据集 mnist=input_data.read_data_sets("MNIST ...
分类:
其他好文 时间:
2020-02-15 09:59:32
阅读次数:
81