NLP 语料分类不均衡/数据倾斜/data skew

标签：bsp   nlp   learn   使用   同义词   处理   ted   oss   依赖   

数据层面：

过抽样

• 直接复制，即不断复制类别样本数少的类别样本。
• 插值法：通过对样本归一化，采样，求得样本分布，极值，均值等，然后根据样本分布，极值，均值来生成新样本来扩充样本数目。

欠抽样:

• 直接删除,随机减少多数类样本的数量。

算法层面：

• Weighted loss function，一个处理非平衡数据常用的方法就是设置损失函数的权重，使得少数类判别错误的损失大于多数类判别错误的损失。在python的sk-learn中我们可以使用class_weight参数来设置权重，提高少数类权重，例如设置为多数类的10倍

NLP 语料分类不均衡/数据倾斜/data skew

标签：bsp   nlp   learn   使用   同义词   处理   ted   oss   依赖   

原文地址：https://www.cnblogs.com/pocahontas/p/11908827.html