分享一个近期写的简单版的网页采集器 功能特点： 1、可通过配置，保存采集规则。 2、可通过采集规则，进行数据采集。 3、可分页，分关键字，进行采集。 4、可保存数据至数据库，文本中。 ........... 功能还比较简单，喜欢深入的可以继续深入下去，暂时还没有登录的功能，因为登录功能涉及到的范围比 ...
分类：
Web程序 时间：
2016-05-03 23:50:40
阅读次数：
201
Hawk-数据抓取工具：简明教程 Hawk: Advanced Crawler& ETL tool written in C#/WPF 1.软件介绍 HAWK是一种数据采集和清洗工具，依据GPL协议开源，能够灵活，有效地采集来自网页，数据库，文件， 并通过可视化地拖拽，快速地进行生成，过滤，转换等操 ...
分类：
其他好文 时间：
2016-05-03 20:27:59
阅读次数：
829
网站的反爬虫策略： 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度 ...
分类：
编程语言 时间：
2016-04-30 01:00:42
阅读次数：
588
过去的一年中，关于 Docker 的话题从未断过，而如今，从尝试 Docker 到最终决定使用 Docker 的转化率依然在逐步升高，关于 Docker 的讨论更是有增无减。另一方面，大家的注意力也渐渐从 “Docker 是什么”转移到“实践 Docker”与“监控 Docker”上。本文转自刘斌博文「如何选择 Docker 监控方案 」，文中刘斌从技术的角度深入解释了 Docker 监控的数据采集...
分类：
其他好文 时间：
2016-04-29 15:03:22
阅读次数：
202
关键词：OCR、sdk、vin识别、营业执照识别、七段数码管识别、发票代码识别、房产证识别、餐票识别、发票识别、发票号识别、手机号识别、水表识别、电表识别、燃气表识别、房产证号识别、人民币冠字号识别
文通慧视OCR文字识别系统，是文通公司结合多年OCR文字识别经验，针对移动互联网数据采集业务推出的一款专业的OCR SDK，程序适用于Ios与Android两个平台集成，适合各种...
分类：
移动开发 时间：
2016-04-26 21:21:15
阅读次数：
262
对IC设计而言，FPGA设计层级大致包括：系统级和行为级，RTL级，门级和晶体管级。然而更普遍的情况，FPGA只是用作实时数据采集控制、某些快速处理算法、PCIe\DDR3等高速数据通道，甚至某些简单的胶合逻辑等，FPGA开发工程师基本不会接触到门级和晶体管级。自顶而下FPGA设计方法，按照职位分工 ...
分类：
其他好文 时间：
2016-04-26 18:55:39
阅读次数：
103
以下都是参考许多博文或者度娘的，出处不一一列出了。 USB2811数据采集卡 FIFO是什么？ First Input First Output的缩写，先入先出队列，这是一种传统的按序执行方法，先进入的指令先完成并引退，跟着才执行第二条指令。 FIFO一般用于不同时钟域之间的数据传输，比如FIFO的... ...
分类：
其他好文 时间：
2016-04-25 22:47:13
阅读次数：
211
0x01 常见的反爬虫 这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的He... ...
分类：
其他好文 时间：
2016-04-25 13:06:20
阅读次数：
146
1)课上提到使用过的网站: 百度统计:http://tongji.baidu.com/web/welcome/login 腾讯分析:http://ta.qq.com/ Google分析:https://www.google.com/intl/zh-CN/analytics/index.html 2) ...
分类：
其他好文 时间：
2016-04-23 14:57:11
阅读次数：
125
Socket开发框架之框架设计及分析 虽然在APP应用、Web应用、Winform应用等大趋势下，越来越多的企业趋向于这些应用系统开发，但是Socket的应用在某些场合是很必要的，如一些停车场终端设备的接入，农业或者水利、压力监测方面的设备数据采集等，以及常见的IM（即时通讯，如腾讯QQ、阿里旺旺等 ...
分类：
其他好文 时间：
2016-04-21 16:45:51
阅读次数：
231
