常见的三种错误： 模型偏差（bias），比如多项式的数据被建模为线性模式；导致的underfit（欠拟合） 变量偏差（Variance），数据的模型有很多维度，这些维度都满足，而且数据量还比较小，这就容易造成overfit（过拟合） 硬性错误（Irreducible Error），这种错误则是由数据... ...
分类：
其他好文 时间：
2018-09-05 13:52:26
阅读次数：
145
在数据规模越来越大、数据结构越来越复杂的大数据时代，传统的关系型数据暴露出了建模缺陷、水平伸缩等问题，于是具有更强大表达能力的图数据受到业界极大的重视。如果把关系数据模型比做火车的话，那么现在的图数据建模可比做高铁。 什么是图呢？ 图（Graph），将信息中的实体，以及实体之间的关系，分别抽象表达成 ...
分类：
其他好文 时间：
2018-08-29 14:16:24
阅读次数：
198
一.需求建模,模拟银行ATM机用户取款实例. 1.新建项目选择模型视图类别 2.将model更改成ATM(项目名称). 3.将Requirements更改成'需求建模',Analysis View 更改成'领域模型',Use Case View更改成'用例模型',将Logical View更改成'逻 ...
分类：
其他好文 时间：
2018-08-23 21:02:15
阅读次数：
2361
https://blog.csdn.net/libaqiangdeliba/article/details/41901387 1.基础概念： (1) 10折交叉验证：英文名是10-fold cross-validation，用来测试算法的准确性。是常用的测试方法。将数据集分成10份。轮流将其中的9份 ...
分类：
编程语言 时间：
2018-08-18 13:12:29
阅读次数：
151
在为企业实施商业智能时，大部分都是使用内部数据建模和可视化；以前极少企业有爬虫工程师来为企业准备外部数据，最近一年来Python爬虫异常火爆，企业也开始招爬虫工程师为企业丰富数据来源。 我使用Python 抓取过一些网站数据，如：美团、点评、一亩田、租房等；这些数据并没有用作商业用途而是个人兴趣爬取 ...
分类：
编程语言 时间：
2018-08-15 16:59:10
阅读次数：
168
前段时间一直忙于参加这个比赛，最后成绩第五名。8月3日，由平安产险精算部和AI部合作运营的“2018平安产险数据建模大赛”决赛在深圳圆满落幕。平安产险董事长兼CEO孙建平，平安产险常务副总经理史良洵，平安集团首席科学家肖京，平安产险副总经理梁小英，平安产险总经理助理周克俊，平安产险总经理助理顾青山，香港科技大学计算机系主任杨强，中科院计算所副所长程学旗，清华大学信息技术院副院长邢春晓等嘉宾出席决赛
分类：
其他好文 时间：
2018-08-07 16:51:54
阅读次数：
215
深层神经网络可以解决部分浅层神经网络解决不了的问题。 神经网络的优化目标 损失函数 深度学习：一类通过多层非线性变化对高复杂性数据建模算法的合集。（两个重要的特性：多层和非线性） 线性模型的最大特点：任意线性模型的组合仍然是线性模型。（任意层的全连接神经网络和单层神经网络模型的表达能力没有任何区别） ...
分类：
其他好文 时间：
2018-08-01 20:43:02
阅读次数：
126
本文来自网易云社区。 大数据应用已广泛深入我们生活的方方面面，涵盖医疗、交通、金融、教育、体育、零售等各行各业。 天气预测应用案例： 典型的案例即天气预测。各类气象指征瞬时发生，以典型的“高频复杂”的形式出现，给各类分析人员提供了大量的可参考数据，从这其中借用建模工具分析提取有效指标，是一种典型的“ ...
分类：
其他好文 时间：
2018-07-23 17:15:03
阅读次数：
183
在分类回归树中之所以要先分类后回归的原因是，对于一般的线性回归是基于全部的数据集。这种全局的数据建模对于一些复杂的数据来说，其建模的难度会很大。所以我们改进为局部加权线性回归，其只利用数据点周围的局部数据进行建模，这样就简化了建模的难度，提高了模型的准确性。树回归也是一种局部建模的方法，其通过构建决策点将数据切分，在切分后的局部数据集上做回归操作。比如在前面博客中提到的风险预测问题，其实就是在特征
分类：
其他好文 时间：
2018-06-15 17:08:47
阅读次数：
1499
1、数据需要清洗注意在读取csv格式文件之后需要对空值进行补全类似如下代码：2、特征工程此处选取以下几个指标作为分类和回归的特征3、深度模型失效通过日志发现正样本即Y>0的样本所占比例在14%左右，深度分类模型可能将所有的数据分为Y=0导致没有数据进行回归所以此处采用传统方法使用SVM方法和决策树进行分类进过测试发现SVM效果较好4、正样本过少考虑将回归模型改为广义线性回归放弃深度模型
分类：
其他好文 时间：
2018-05-25 16:52:07
阅读次数：
563
