模型压缩相关 [github code] 本文研究对BERT的剪枝。结论：BERT可以在预训练时进行一次修剪，而不是在不影响性能的情况下对每个任务进行单独修剪。 针对不同水平的修剪： 低水平的修剪(30-40%)根本不会增加训练前的损失或影响下游任务的转移。中等水平的修剪会增加训练前的损失，并阻止有 ...
分类：
其他好文 时间：
2020-03-13 18:58:15
阅读次数：
49
首先剪枝（pruning）的目的是为了避免决策树模型的过拟合。因为决策树算法在学习的过程中为了尽可能的正确的分类训练样本，不停地对结点进行划分，因此这会导致整棵树的分支过多，也就导致了过拟合。决策树的剪枝策略最基本的有两种：预剪枝（pre-pruning）和后剪枝（post-pruning）： 预剪 ...
分类：
其他好文 时间：
2020-03-12 14:43:02
阅读次数：
72
模型压缩可减少受训神经网络的冗余，由于几乎没有 BERT 或者 BERT-Large 模型可直接在 GPU 及智能手机上应用，因此模型压缩方法对于 BERT 的未来的应用前景而言，非常有价值。 一、压缩方法 1、剪枝——即训练后从网络中去掉不必要的部分。 这包括权重大小剪枝、注意力头剪枝、网络层以及 ...
分类：
其他好文 时间：
2020-03-12 12:52:08
阅读次数：
103
P1092 虫食算 DFS+剪枝 题意描述 有一个好好的算式突然被一只虫子给啃了，而且什么也没剩下， 然后我们莫名其妙的知道了哪些数是相同的，问各字母代表的数字， 数据保证有且仅有一组解，没了。 还看不懂的话，出门右手进 "传送门" 算法分析 如果你很忙，请跳过下面3行 题意描述的比较简单，但也不是 ...
分类：
其他好文 时间：
2020-03-07 19:10:46
阅读次数：
77
虽然很简单吧，但是毕竟算是除了刷题外第一个自己写出来的有一点用的代码，所以还是打算水一篇博客 主要思路就是把式子转化成后缀表达式，然后再用后缀表达式求值的方法来计算，其中每个命题变元的情况是用没有剪枝的深搜枚举出来的 下面是代码 ...
分类：
其他好文 时间：
2020-03-06 13:04:48
阅读次数：
80
# 题意 运送n个猫下山，每个车上最多承受w重量，n只小猫的重量分别为c1，c2，c3。 每用一辆车需要1元，最少需要多少钱送下所有的猫N<=18, Ci,W<=1e8 # 题解 n很小所以可以用深搜来做，两个参数，一个记录现在是第几只猫，now另一个记录现在已经开了几辆车，两个剪枝优化。如果当前的 ...
分类：
其他好文 时间：
2020-03-03 12:35:10
阅读次数：
59
某国的足球联赛中有N支参赛球队，编号从1至N。联赛采用主客场双循环赛制，参赛球队两两之间在双方主场各赛一场。 联赛战罢，结果已经尘埃落定。此时，联赛主席突发奇想，希望从中找出一条包含所有球队的“食物链”，来说明联赛的精彩程度。“食物链”为一个1至N的排列{ T?1?? T?2?? ? T?N?? } ...
分类：
其他好文 时间：
2020-02-28 14:05:45
阅读次数：
77
题目： 有n件物品，每件物品的重量为w[i]，价值为c[i]。现在需要选出若干件物品放入一个容量为 V 的背包中，使得在选入背包的物品重量之和，不超过容量V的前提下，让北欧保重物品的价值之和最大，求最大价值。（1<=n<=20） 输入格式： 第一行要求给出 N个物品（1<=N<=20），和容量V； ...
分类：
其他好文 时间：
2020-02-26 23:02:41
阅读次数：
139
"费解的开关" 利用逆推，得出6步之内可以得到的状态，剪枝之后，可以在规定时间内完成。 ...
分类：
其他好文 时间：
2020-02-26 21:10:53
阅读次数：
100
注意剪枝一下，不然会t #include<iostream> #include<cstring> #include<cstdio> #include<vector> #include<cmath> #include<algorithm> using namespace std; #define N ...
分类：
其他好文 时间：
2020-02-25 00:27:24
阅读次数：
87
