一，数据流设计优化数据流有两个特性：流和在内存缓冲区中处理数据，根据数据流的这两个特性，对数据流进行优化。1，流，同时对数据进行提取，转换和加载操作流，就是在source提取数据时，转换组件处理数据，同时destination加载数据，数据在不同组件之间，同时被处理。所有的R..
分类：
其他好文 时间：
2017-06-28 15:12:45
阅读次数：
239
一、故障描述 服务器是dell 730系列服务器，存储阵列是MD3200系列存储5T的Lun，操作系统是Linux centos 7，文件系统类型是EXT4，因意外断电，导致系统不能正常启动，修复之后系统可以正常启动，但是挂载的5T分区不能正常访问了，对这个5T的分区进行fsck修复，修复完成之后文 ...
分类：
系统相关 时间：
2017-06-23 14:10:51
阅读次数：
282
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的... ...
分类：
其他好文 时间：
2017-06-22 10:12:25
阅读次数：
193
当抓取网页时，常见的任务是从HTML源码中提取数据。现有的一些库可以达到这个目的： BeautifulSoup lxml BeautifulSoup lxml Scrapy 提取数据有自己的一套机制。它们被称作选择器(seletors)，因为他们通过特定的 XPath 或者 CSS 表达式来“选择” ...
分类：
其他好文 时间：
2017-06-14 16:33:17
阅读次数：
266
我们都知道scrapy适合爬取大量的网站信息，爬取到的信息储存到数据库显然需要更高的效率，scrapy配合mongodb是非常合适的，这里记录一下如何在scrapy中配置mongodb。 文件结构 当我们创建一个scrapy工程的时候，scrapy会自动给我们创建目录结构，像下面这样： 提取数据 i ...
分类：
数据库 时间：
2017-06-09 16:26:19
阅读次数：
258
当抓取网页时，常见的任务是从HTML源码中提取数据。现有的一些库可以达到这个目的： BeautifulSoup lxml Scrapy 提取数据有自己的一套机制。它们被称作选择器(seletors)，因为他们通过特定的 XPath 或者 CSS 表达式来“选择” HTML 文件中的某个部分。 构造选 ...
分类：
其他好文 时间：
2017-06-09 00:48:33
阅读次数：
167
从列表中提取数据除了循环外还有两种方法：过滤，列表解析式： 执行结果： ...
分类：
其他好文 时间：
2017-06-06 18:44:20
阅读次数：
128
出现错误的原因是ResultSet中并没有任何东西，再调用next（）方法就会出错，原因可能是oracle创建用户，表没有提交，commit即可 ...
分类：
数据库 时间：
2017-06-01 16:34:00
阅读次数：
199
shelve模块 shelve模块是一个简单的k,v将内存数据通过文件持久化的模块，可以持久化任何pickle可支持的python数据格式，shelve模块是对pickle模块的补充。我们知道，如果调用pickle模块，向文件中dump()字符串的时候，读取的时候必须一次一次进行load()。 首先 ...
分类：
其他好文 时间：
2017-05-29 14:09:03
阅读次数：
201
Basic Concepts 在Modle/View 结构中，View从Model中提取数据，并显示给用户。View显示数据的方式不一定与Model中数据排列方式相同，也可能与底层数据结构完全不同。 通过QAbstractItemView提供标准的视图接口，QAbstractModelView提供标 ...
分类：
其他好文 时间：
2017-05-28 13:58:27
阅读次数：
253
