一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事 https://www.cnblogs.com/ityouknow/p/9034377.html 微服务架构 微服务的诞生并非偶然，它是在互联网高速发展，技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物 ...
分类：
编程语言 时间：
2018-05-19 21:25:14
阅读次数：
215
起因最近开发的项目中涉及到调用web_api并在前台解析的功能需求，web_api返回的数据只有极小部分有用，所以在解析后还需进行数据清洗，之后再调用其他组件再处理。web_api返回的数据如下: 后期需要调用组件需求的数据结构如下: 以上展示的数据仅有两层，但在实际应用中，数据层级可能达到4层，由 ...
分类：
Web程序 时间：
2018-05-16 13:16:18
阅读次数：
189
今天临时需要爬取一些双语资料 （尚未清洗） 需要充分利用 下边代码是想拿到Chinadaily网页中每篇双语新闻的链接，首先研究这些网页的网址和网页结构，包括翻页一般是首页网址加上_2，_3...等等。所以以下代码只是拿到链接。 执行python bi_news.py >url.txt 把想要的网址 ...
分类：
其他好文 时间：
2018-05-04 17:06:02
阅读次数：
225
R语言︱情感分析—基于监督算法R语言实现笔记。 可以与博客 R语言︱词典型情感分析文本操作技巧汇总（打标签、词典与数据匹配等）对着看。 词典型情感分析大致有以下几个步骤： 训练数据集、neg/pos情感词典、分词+数据清洗清洗（一、二、三级清洗步骤）、计算情感得分、模型评价 ———————————— ...
分类：
编程语言 时间：
2018-04-29 23:18:47
阅读次数：
279
通常机器学习的开发流程包括：数据收集 数据清洗与转换 模型训练 模型测试 模型部署与整合 下面，通过一个例子进行完整的机器学习开发流程的学习。 工程中需要的库： （1）首先数据的收集，获取数据： 如上，可以看到，我们获得需要获取的是Global_active_power（有功功率）、Global_r ...
分类：
其他好文 时间：
2018-04-29 15:23:15
阅读次数：
239
业务梳理 得到每个用户的违约概率（信用评分）目标变量：用户的违约概率 数据清洗 关联相关表使用mysql将导入txt数据并且进行合并。 压缩数据bank_detail 和 bill_detail 和 用户浏览行为表 不能直接进行关联，目前的想法，将这两张表的信息分别压缩到每个 user_id 上。b... ...
分类：
其他好文 时间：
2018-04-26 21:43:42
阅读次数：
187
数据清洗： 所谓的数据清洗，就是把一些异常的、缺失的数据处理掉，处理掉不一定是说删除，而是说通过某些方法将这个值补充上去，数据清洗目的在于为了让我们数据的可靠，因为脏数据会对数据分析产生影响。拿到数据后，我们进行数据清洗分为两方面： 缺失值：在下载数据、搜集数据的时候刚好就缺失。可以通过查找的方法去 ...
分类：
编程语言 时间：
2018-04-25 18:52:11
阅读次数：
206
这个bug改了实在是太多天了，前前后后折腾了太久，最后多谢@CC学长的帮助，找到了问题，才终于跑通了！！！这里记录一下这个bug我前后改的过程，引以为戒！ 毕设中需要进行mapreduce进行数据清洗，我把这段代码单独进行编写，运行成功后将内容添加进毕设相对应的部分，结果跑不了了。。。 前后出过的问 ...
分类：
其他好文 时间：
2018-04-18 18:56:38
阅读次数：
205
用python 处理数据movielens 100， 并用matlab文件保存。 ...
分类：
其他好文 时间：
2018-04-17 11:50:30
阅读次数：
195
