这段时间在学习nodejs，用jsdom采集了一些数据，也遇到了一些问题，贴出来征求一下大家的解决方案。 首先说一下目的，有几十万条图片数据，把这些图片抓取到本地文件夹中，采集完成后把成功数据归档为done.json,失败数据归档为undone.json，如下： 采集的心路历程： 方法1 forEa ...
分类：
其他好文 时间：
2018-02-23 10:52:06
阅读次数：
216
原文地址： http://blog.chinaaet.com/luhui/p/5100052903 大家好，又到了学习时间了，学习使人快乐。今天我们来简单的聊一聊以太网，以太网在FPGA学习中属于比较高级的内容了，有些同学肯定会感觉以太网学习起来非常不容易。其实，我可以告诉大家，前期学习的基础打扎实 ...
分类：
其他好文 时间：
2018-02-21 10:42:34
阅读次数：
224
在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用 HTML 表单或其他网页文件），然后对数据进行解析，提取需要的信息。 本文 ...
分类：
Web程序 时间：
2018-02-14 21:30:58
阅读次数：
344
下载地址：网盘下载 内容简介 · · · · · · 本书采用简洁强大的Python语言，介绍了网络数据采集，并为采集新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理：如何用Python从网络服务器请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进 ...
分类：
编程语言 时间：
2018-02-06 22:56:55
阅读次数：
273
下载地址：网盘下载 内容简介 · · · · · · 本书采用简洁强大的Python语言，介绍了网络数据采集，并为采集新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理：如何用Python从网络服务器请求信息，如何对服务器的响应进行基本处理，以及如何以自动化手段与网站进 ...
分类：
编程语言 时间：
2018-02-05 23:28:06
阅读次数：
235
Tushare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。考虑到Python pandas包在 ...
分类：
其他好文 时间：
2018-01-31 11:39:35
阅读次数：
6134
一、问题： 随着银行业务数据量的急剧增加，原始的人力统计数据已经不能满足要求， 需要开发一款可以实现自动化数据统计的系统平台，进行数据的采集、加工、过滤、统计、预测 其中数据采集方式又以【Excel】格式为人们所熟悉，那么如何把Excel表格的数据进行持久化 ？ 二、分析： 首先，需要把实体的Exc ...
分类：
其他好文 时间：
2018-01-30 19:39:22
阅读次数：
196
logstash是一个数据采集、加工处理以及传输的工具
分类：
其他好文 时间：
2018-01-27 21:20:35
阅读次数：
307
Logstash工作原理 由于Kafka采用解耦的设计思想，并非原始的发布订阅，生产者负责产生消息，直接推送给消费者。而是在中间加入持久化层——broker,生产者把数据存放在broker中，消费者从broker中取数据。这样就带来了几个好处:： 1 生产者的负载与消费者的负载解耦 2 消费者按照自... ...
分类：
其他好文 时间：
2018-01-27 15:29:53
阅读次数：
171
数据预处理——构建好的训练数据集机器学习算法最终学习结果的优劣取决于两个主要因素：数据的质量和数据中蕴含的有用信息的数量。缺失数据的处理在实际应用过程中，样本由于各种原因缺少一个或多个值得情况并不少见。其原因主要有：数据采集过程中出现了错误，常用得度量方法不适用于某些特征，或者在调查过程中某些数据未... ...
分类：
编程语言 时间：
2018-01-26 22:45:50
阅读次数：
269
