框架设计说明图:框架实现前的准备工作:1.Python版本为2.7.11的Windows下的安装。2.命令行下的selenium最新版本(编者使用版本为2.53.0,可兼容最新火狐、IE、chrome等浏览器版本)pip安装。3.版本为Version:Mars.1Release(4.5.1)的eclipse安装(编者Python开发使用工具),jd..
分类:
编程语言 时间:
2016-05-26 11:48:08
阅读次数:
701
[开源 .NET 跨平台 数据采集 爬虫框架: DotnetSpider] [二] 最基本,最自由的使用方式 上一篇大至 介绍了一下爬虫的框架设计,从这一篇开始着重介绍如何使用这个爬虫。 数据抽取定义 之前也有人反应说用Attribute+模型来定义抽取规则太花哨,实用性不强。实际上可能他没有仔细看 ...
分类:
其他好文 时间:
2016-05-25 10:39:05
阅读次数:
196
上一篇大至 介绍了一下爬虫的框架设计,从这一篇开始着重介绍如何使用这个爬虫。 数据抽取定义 之前也有人反应说用Attribute+模型来定义抽取规则太花哨,实用性不强。实际上可能他没有仔细看到我的设计,我的核心抽取不是Attrbiute+模型,而是采用类似JSON的定义格式,可以实现各种嵌套,各种能 ...
分类:
Web程序 时间:
2016-05-25 00:07:43
阅读次数:
2643
response标准格式: { "isError":false, "errorType": 0, "errorMessage": "网络异常", "result": "" } { "errorMessage" : "网络异常", "errorType" : 0, "isError" : false, ...
分类:
移动开发 时间:
2016-05-16 00:00:59
阅读次数:
363
项目系统集众人之期待,人来人往的变动中,还能够在前端各色人等通力合作下构建出一个中级复杂程度的业务系统,有坚持,有妥协,有苦劳。个中滋味非经历过的人无法感受,如同创业之初,无数期待于一身,而后各种时间,精力,人员变动种种限制,有人会放弃,有人漠不关心,有人选择主动离开,然而项目要继续,要对得起自己更 ...
分类:
其他好文 时间:
2016-05-13 18:50:00
阅读次数:
132
1、前言前些日,同事发了一些对于架构、设计、模式等自己的看法和总结。这也重新勾起我对这个问题的思考,什么是架构?什么是框架?设计模式与架构又有什么关系?与框架呢?什么是具体?什么优势抽象?这些架构、设计等的作用又是什么?工作两年中又有哪些地方用到了呢?于是重新翻看以前笔记,归纳整理给一个自己可以理解的能说服自己的解释整理下备忘,给自己后续学习提供指导。模式的整理图(理论学习)整理如下图:...
分类:
其他好文 时间:
2016-05-13 02:55:16
阅读次数:
125
HashMap应该是平时应用开发中或是框架设计中最为常用高效的容器。在介绍HashMap之前,先介绍两个常见的区别。后期会专门介绍CurrentHashMap。hashmap 和 hashtable 区别HashMap和HashTable有什么区别,一个比较简单的回答是:
HashMap是非线程安全的,HashTable是线程安全的。
HashMap的键和值都允许有null值存在,而HashTabl...
分类:
编程语言 时间:
2016-05-12 16:30:08
阅读次数:
250
昨天进展:框架设计以及菜单设计。 今天安排:完善界面设计以及象棋图片的绘制。 小组一共三人,陈芝航因家里有事,与我们进行了QQ视屏会议。 ...
分类:
其他好文 时间:
2016-05-10 23:42:53
阅读次数:
187
一.前言 spring的应用非常的广泛,在开发过程中我们经常接触,可能会有一种感觉:对spring即熟悉又陌生,熟悉体现在我们几乎每天都在使用,对spring的IOC、AOP功能都有了基本的了解,和日常开发的具体应用。陌生体现在,我们对spring的整体架构不清楚,不了解spring中实际的DI是怎 ...
分类:
编程语言 时间:
2016-05-05 00:39:29
阅读次数:
215
Spark知识点IT十八掌课程体系SPARK知识点如下:有需要IT十八掌体系课程的可以加微信:152106399731.定义MapReduce-like集群计算框架设计的低延迟迭代和交互使用的工作。2.体系结构3.一些重要概念的解析(1)RDD(resilientdistributeddataset)弹性分布式数据集一个只读的,可分区..
分类:
其他好文 时间:
2016-05-04 19:33:59
阅读次数:
472