**更多风控建模、大数据分析等内容请关注公众号《大数据风控的一点一滴》在分类问题中常常遇到一个比较头疼的问题，即目标变量的类别存在较大偏差的非平衡问题。这样会导致预测结果偏向多类别，因为多类别在损失函数中所占权重更大，偏向多类别可以使损失函数更小。处理非平衡问题一般有两种方法，欠抽样和过抽样。欠抽样方法可以生成更简洁的平衡数据集，并减少了学习成本。但是它也带来了一些问题，它会删掉一些有用的样本，尤
分类：
其他好文 时间：
2018-07-01 20:24:39
阅读次数：
165
总结：不平衡数据的分类，（1）数据层面：使用过采样是主流，过采样通常使用smote，或者少数使用数据复制。过采样后模型选择RF、xgboost、神经网络能够取得非常不错的效果。（2）模型层面：使用模型集成，样本不做处理，将各个模型进行特征选择、参数调优后进行集成，通常也能够取得不错的结果。（3）其他 ...
分类：
其他好文 时间：
2018-05-25 19:27:18
阅读次数：
587
B树 一、基本原理 B树是一种查找树，它最初启发于二叉查找树。 二叉查找树的特点是每个非叶节点都只有两个孩子节点。然而这种做法会导致当数据量非常大时，二叉查找树的深度过深，搜索算法自根节点向下搜索时，需要访问的节点也就变的相当多。 如果这些节点存储在外存储器中，每访问一个节点，相当于就是进行了一次I ...
分类：
其他好文 时间：
2018-05-18 20:39:09
阅读次数：
159
转载自：https://www.leiphone.com/news/201706/dTRE5ow9qBVLkZSY.html 数据不平衡问题主要存在于有监督机器学习任务中。当遇到不平衡数据时，以总体分类准确率为学习目标的传统分类算法会过多地关注多数类，从而使得少数类样本的分类性能下降。绝大多数常见的 ...
分类：
其他好文 时间：
2018-04-12 19:52:49
阅读次数：
1144
【IJCAI-2018】搜索广告 - 不平衡数据 Imbalanced Data 我并不擅长做比赛，也不擅长构造特征，也不擅长调参数，也没有服务器可以并行。大家的baseline都比我的模型要好。在这里写这篇文章，主要是想跟大家分享下我对数据的理解，以及我思考的一个大概框架，希望对大家能有那么一点点 ...
分类：
其他好文 时间：
2018-04-09 11:10:13
阅读次数：
446
解决样本不均衡的问题很多，主流的几个如下： 1.样本的过采样和欠采样。 2..使用多个分类器进行分类。 3.将二分类问题转换成其他问题。 4.改变正负类别样本在模型中的权重。 一、样本的过采样和欠采样。 1.过采样：将稀有类别的样本进行复制，通过增加此稀有类样本的数量来平衡数据集。该方法适用于数据量 ...
分类：
其他好文 时间：
2018-04-03 21:55:08
阅读次数：
679
简介mongodb是很出名的nosql数据库了,属于集合-文档型的特有架构nosql数据库,也是被誉为最像关系型数据库的非关系型数据库,但是不支持事务.由于mongodb原生就支持分布式架构,所以部署简单,灵活,可伸缩,自动平衡数据结构等优点,继而性能也非常高.所以搭建mongodb来使用的公司,90%都会使用到mongodb集群.YCSB是Yahoo开发的一个专门用来对新一代数据库进行基准测试的
分类：
数据库 时间：
2018-02-06 16:39:35
阅读次数：
715
为什么选择跳表 目前经常使用的平衡数据结构有：B树，红黑树，AVL树，Splay Tree, Treep等。 想象一下，给你一张草稿纸，一只笔，一个编辑器，你能立即实现一颗红黑树，或者AVL树 出来吗？ 很难吧，这需要时间，要考虑很多细节，要参考一堆算法与数据结构之类的树， 还要参考网上的代码，相当 ...
分类：
其他好文 时间：
2017-10-17 09:59:26
阅读次数：
96
分类不平衡对软件缺陷预测模型性能的影响研究 摘要 分类不平衡 : 不同 类别间样本 数量分布不均衡的现象 分类不平衡影响分析方法: 设计一种 新数据集构造算法 将 原不平衡数据集 转换为 一组 不平衡率依次递增的新数据集 然后，选取 不同的 分类模型 作为 缺陷预测模型 ，分别对 构造的 新数据集 ...
分类：
其他好文 时间：
2017-09-25 14:46:31
阅读次数：
265
leveldb中的memtable仅仅是一个封装类，它的底层实现是一个跳表。跳表是一种基于随机数的平衡数据结构。其它的平衡数据结构还有红黑树、AVL树。但跳表的原理比它们简单非常多。跳表有点像链表，仅仅只是每一个节点是多层结构，通过在每一个节点中添加向前的指针提高查找效率。例如以下图: 在/leve ...
分类：
数据库 时间：
2017-08-08 19:56:44
阅读次数：
224
