最近突然得知之后的工作有很多数据采集的任务，有朋友推荐webmagic这个项目，就上手玩了下。发现这个爬虫项目还是挺好用，爬取静态网站几乎不用自己写什么代码（当然是小型爬虫了~~|）。 好了，废话少说，以此随笔记录一下渲染网页的爬取过程 首先找到一个js渲染的网站，这里直接拿了学习文档里面给的一个网 ...
分类：
Web程序 时间：
2017-09-11 18:15:22
阅读次数：
173
京东商品评论信息采集介绍采集使用八爪鱼7.0采集京东商品评论数据的方法更多相关教程可以到八爪鱼教程中心查看：http://www.bazhuayu.com/tutorials?version=v7.0八爪鱼下载：http://www.bazhuayu.com/download采集网站：http://item.jd.com/11221162.html#comment使用功能点：..
分类：
其他好文 时间：
2017-09-11 18:08:12
阅读次数：
177
转载自星巴克 选址于搜索优化有异曲同工之妙 公司楼下竟然没有星巴克，你想过为什么吗？ 编者按：本文来自微信公众号「DT 财经（id：DTcaijing）」，编译：唐也钦；36 氪经授权发布。 据说星巴克周边的房子会更贵，这是什么选址大法 当肯德基、麦当劳都在出售中国业务时，星巴克却在今年 7 月豪掷 ...
分类：
其他好文 时间：
2017-09-08 09:59:14
阅读次数：
199
在开发臭氧发生器的时，我们需要一个高分辨率的AD采集，于是选择了AD7192，选择这款ADC的原因比较简单。首先它是24位的符合我们的精度要求；其次它自带时钟，便于节省空间；第三他又4路单端或2路差分输入，与我们需要三路采集相符。 1、AD7192简介 AD7192是一款适合高精密测量应用的低噪声完 ...
分类：
其他好文 时间：
2017-09-07 19:34:16
阅读次数：
280
一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列应用场景以下介绍消息队列在 ...
分类：
其他好文 时间：
2017-09-07 19:23:30
阅读次数：
253
爆文采集系统后台数据支撑：百度百家以及天天快报等等。。 简单采集过程，不再复述。 重点放在新学的线程以及桌面应用程序： 1、线程部分， 开始、暂停、继续、结束 2、窗体应用程序 2.1、异步加载输出 2.2、时间插件 ps:记得修改插件属性Interval的值为1000 kylin ...
分类：
其他好文 时间：
2017-09-06 18:24:48
阅读次数：
227
I.总览 Cacti 和Nagios的监控体系可以说是使用广泛而且支持丰富的国内外的运维人员都需要掌握的一套监控体系，这套体系的好处在于使用Cacti的强大画图和自定 义画图能力，以及Nagios的可控报警。但是网上的大部分内容都是如何安装，在安装成功如何使用的方面介绍的很少，而真正开始用之后，为了 ...
分类：
其他好文 时间：
2017-09-06 18:18:58
阅读次数：
211
介绍使用八爪鱼7.0采集链家房源数据的方法（以深圳出租房为例）采集网站：https://sz.lianjia.com/zufang/示例规则下载：http://esf.sz.fang.com使用功能点：l分页列表页信息采集步骤1：创建采集任务进入主界面选择，选择自定义模式将上面网址的网址复制粘贴到网站输入框中，点..
分类：
其他好文 时间：
2017-09-04 15:14:01
阅读次数：
337
一、OpenTSDB简介 开源监控系统OpenTSDB，用hbase存储所有的时序（无须 采样）来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系 统里。OpenTSDB可以从大规模的集群（包括集群中的网络设备、 ...
分类：
数据库 时间：
2017-09-02 19:59:19
阅读次数：
490
传送门：http://www.cnblogs.com/junrong624/p/5533655.html 在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序 ...
分类：
Web程序 时间：
2017-08-28 23:56:43
阅读次数：
1223
