定义 探索性数据分析（Exploratory Data Analysis，EDA）是指对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。一般有以下几个目的： 弄清楚数据的含义 发现数据的结构 锁定一些重要的特征 异常值以及离群数据的检测（ ...
分类：
其他好文 时间：
2020-03-29 21:09:31
阅读次数：
261
Task3特征工程 常见的特征工程包括： 异常处理： 通过箱线图（或 3-Sigma）分析删除异常值； BOX-COX 转换（处理有偏分布）； 长尾截断； 特征归一化/标准化： 标准化（转换为标准正态分布）； 归一化（抓换到 [0,1] 区间）； 针对幂律分布，可以采用公式： log(1+x1+me ...
分类：
其他好文 时间：
2020-03-28 23:48:19
阅读次数：
127
【推荐系统】知乎live入门1.推荐概览与框架 参考链接 【推荐系统】知乎live入门 目录 1.推荐概览与框架 2. 推荐系统的架构和模块 3. 推荐召回 4. 排序 5. 用户画像 6. 特征工程 7. 回归到推荐算法 总结 参考文献 1.推荐概览与框架 推荐概述 产品的形态很重要，会影响后续的 ...
分类：
其他好文 时间：
2020-03-26 17:52:53
阅读次数：
122
【推荐系统】知乎live入门2.细节补充 参考链接 【推荐系统】知乎live入门 目录 1. 综述 2. 召回 3. 用户画像与标签 4. 特征工程 5. 点击率预估 6. 评估 7. 数据标注 8. 推荐 1. 综述 2. 召回 3. 用户画像与标签 4. 特征工程 5. 点击率预估 6. 评估 ...
分类：
其他好文 时间：
2020-03-26 17:46:58
阅读次数：
60
本文参考原文 http://bjbsair.com/2020 03 25/tech info/6304/ 传统文本分类 之前介绍的都是属于深度神经网络框架的，那么在Deep Learning出现或者风靡之前，文本分类是怎么做的呢？ 传统的文本分类工作主要分为三个过程：特征工程、特征选择和不同分类机器 ...
分类：
其他好文 时间：
2020-03-26 09:26:12
阅读次数：
65
Boosting&kmeans&特征工程 [TOC] 1 Boosting 1.1 Boosting的由来 古语云：三个臭皮匠，顶一个诸葛亮。而在机器学习领域，集成算法Boosting就是一个活生生的实例。Boosting和之前介绍过的Bagging相似，都是集成算法之一。Boosting通过整合多 ...
分类：
其他好文 时间：
2020-03-11 18:12:53
阅读次数：
48
[TOC] 特征工程 select_dtypes 可以选择指定类型的数据 处理分类特征 pd.get_dummies() values_counts() 统计每个特征的不相同的样本个数(之和） "datacamp的栗子" isin() 结果返回一个bool型的mask 接受一个列表，判断该列中元素是 ...
分类：
其他好文 时间：
2020-03-11 12:43:54
阅读次数：
52
大数据分析处理基本流程 数据准备 数据获取（爬虫，统计） 数据清洗（获得想要的数据，去除无用的相关数据） 特征工程 特征提取 比如我爬下网页，网页中有图片，视频，文本信息，url等等之类的特征消息 特征选择 网页保存这学生的信息，我想要计算每个学生的BMI（身体质量指数），而这类信息是在网页中的文本 ...
分类：
其他好文 时间：
2020-03-07 09:34:06
阅读次数：
186
1. 特征的类别 1. 数值型特征 如：长度、宽度 2. 有序型特征 如：等级（A,B,C）,级别(低、中、高) 3. 类别型特征 如：性别(男,女) 2. 数值归一化 1. 数值归一化优势： (1)可以减少计算量 (2)可以去量纲化 2. 有两种归一化方法 范围归一化 和 标准归一化 3. 范围归 ...
分类：
其他好文 时间：
2020-03-03 17:45:54
阅读次数：
79
卡方验证(ChiSqSelector)： 卡方检验 假设检验 首先假设特征和标签列是相关的，如果计算出来的结果差距很大，拒绝原假设，说明特征和标签列是独立的，这列特征不去选择。 变量进行 独立性检验 ， 如果独立性高，那么表示两者没太大关系，特征可以舍弃 ； 如果独立性小，两者相关性高，则说 明该特 ...
分类：
其他好文 时间：
2020-03-01 12:36:30
阅读次数：
65
