为什么需要特征工程(Feature Engineering) 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已 什么是特征工程 帮助我们使得算法性能更好发挥性能而已 sklearn主要用于特征工程pandas主要用于数据清洗、数据处理 特征工程包含如下3个内容： 1、特征抽取/特征提... ...
分类：
其他好文 时间：
2019-03-08 22:07:22
阅读次数：
610
特征选择是特征工程中的重要一环，其主要目的是从所有特征中选出相关特征 ( relevant feature )，或者说在不引起重要信息丢失的前提下去除掉无关特征 ( irrelevant feature ) 和冗余特征 ( redundant feature )。进行特征选择的好处主要有以下几种： ...
分类：
其他好文 时间：
2019-03-08 09:32:51
阅读次数：
2186
1. 二值化处理 将细粒度的度量转化成粗粒度的度量，使得特征的差异化更大。 2.特征多项式交互 捕获特征之间的相关性 3.数据分布倾斜的处理 log变化：log变化倾向于拉高那些落在较低的幅度范围内自变量的取值，压缩那些落在较高的幅度范围内自变量的取值，log变化能够稳定数据的方差，使数据的分布接近 ...
分类：
其他好文 时间：
2019-03-06 20:46:42
阅读次数：
305
数据源：融360 用户贷款风险预测 参考资料： "https://www.jianshu.com/p/aba5685c580a" 流程如下： 项目目标 数据解读 数据预处理 特征工程 1.基于业务理解筛选 2.基于机器学习筛选 模型建立 一、项目目标 通过举办方提供的用户基本信息，消费行为，还款情况 ...
分类：
编程语言 时间：
2019-02-13 20:52:20
阅读次数：
246
Scikit-learn与特征工程 Scikit-learn与特征工程 Scikit-learn与特征工程 “数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，这句话很好的阐述了数据在机器学习中的重要性。大部分直接拿过来的数据都是特征不明显的、没有经过处理的或者说是存在很多无用的数据，那么需 ...
分类：
其他好文 时间：
2019-01-17 22:37:21
阅读次数：
134
原文链接：https://developers.google.com/machine-learning/crash-course/representation/ 1- 特征工程 机器学习的关注点是特征表示，也就是说，开发者通过添加和改善特征来调整模型。 将原始数据映射到特征 左侧表示来自输入数据源的 ...
分类：
其他好文 时间：
2019-01-17 01:15:45
阅读次数：
232
多分类问题优先选择SVM，随机森林，其次是逻辑回归。 朴素贝叶斯和线性回归都是比较简单的模型，对于数据的要求比较高，功能不是特别强大。 1、决策树 不需要对数据做任何预处理， 2、随机森林 3、数据预处理与特征工程 （1）数据预处理：只需要X 数据无量钢化：标准化(转化为正态分布)、归一化(不改变数 ...
分类：
编程语言 时间：
2019-01-13 16:08:38
阅读次数：
312
微软在5月释出由微软研究院开发、发展了十年的机器学习框架ML.NET，今释出了ML.NET 0.5，最大的更新便是开始支持TensorFlow，开发者可以在ML.NET中直接使用已经训练好的TensorFlow模型，进行评分（Scoring）。另外，微软正在开发新的ML.NET API，届时将会弃用现行的LearningPipeline API。适逢.NET Conf 2018，微软顺势释出ML.NET 0.5，距离5月释出的ML.NET 0.1已经距离一段时间，这次带来巨大的更新，微软在ML.NET 0.5中，增加了TensorFlow模型评分转换（TensorFlow Transform）。微软提到，深度学习是人工智能和机器学习的子集，能够透过实例来学习人类自然习得的能力，与传统机器学习相比，深度学习可以直接从图像、声音以及文本中，学习对象侦测或是分类任务，甚至可以提供语音识别以及语言翻译等功能，但传统的机器学习依赖特征工程以及数据处理。
分类：
Web程序 时间：
2019-01-08 17:51:37
阅读次数：
193
featuretools一种自动特征工程的工具。可快速生成较多类型的特征，取得不错的效果。 1、输入：把原始数据转换成featuretools的输入 2. 可以适当调整特征个数，防止训练的模型过拟合 3. 训练和预测 缺点：模型容易过拟合，需要Feature Selection 参考文献： 1. h ...
分类：
其他好文 时间：
2019-01-05 22:46:47
阅读次数：
256
特征的预处理：对数据进行处理 特征处理：通过特定的统计方法（数学方法）将数据转换成算法要求的数据 归一化： 多个特征同等重要的时候需要进行归一化处理目的：使得某一个特征对最终结果不会造成更大影响 归一化API： 标准化： 归一化及标准化实例代码： 运行结果： ...
分类：
其他好文 时间：
2018-12-24 02:56:18
阅读次数：
164
