采集时,有时候需要采集图片,但某些网站的图片提供的相对地址,最好转换成绝对地址在scrapy中有如下的解决策略http://stackoverflow.com/questions/6499603/python-scrapy-convert-relative-paths-to-absolute-pathshttp://stackoverflow.com/questions/19970015/scrapy-item-..
分类:
编程语言 时间:
2014-08-20 16:38:23
阅读次数:
239
基本原理
冒泡排序(Bubble Sort,台湾另外一种译名为:泡沫排序)是一种简单的排序算法。它重复地走访过要排序的数列,一次比较两个元素,如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换,也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。
这样说还不是很明白,先看张图:
算法步骤:
1)比较相邻的...
分类:
编程语言 时间:
2014-08-20 16:27:12
阅读次数:
261
以前写过一篇文章,介绍通过 Java 的 Runtime 类执行操作系统命令行程序:Java调用linux系统shell执行命令。最近项目中又有需要用这个方法,在使用过程中遇到了一些新的问题,感觉以前没有弄清楚,故在此做补充学习记录。
先说明一下这次的需求,在 Java 程序中控制 Hadoop 命令执行 MapReduce 作业,并获取其输出内容。本来没有什么特殊,但由于 MR 执行的...
分类:
编程语言 时间:
2014-08-20 16:24:02
阅读次数:
368
/**
* 功能:public的作用
* 时间:2014年8月20日16:11:23
* 作者:cutter_point
*/
struct A
{
int i;
float f;
char j;
void func();
};
void A::func() {}
struct B
{
public: //这里加和不加的结果是一样的,因为struct默...
分类:
编程语言 时间:
2014-08-20 16:20:22
阅读次数:
194
/**
* 功能:友元
* 时间:2014年8月20日16:13:42
* 作者:cutter_point
*/
/*
*编译器知道如何传递一个地址,这一个地址具有固定的大小,而不管被传递的是什么对象
*然而试图传递整个对象的话,那么编译器就必须知道X的全部定义以确定他的大小以及如何
*传递,所以程序就无法声明一个类似于Y::g(X)的函数,所以下面的f(X*)函数必须是指针
*/
struct...
分类:
编程语言 时间:
2014-08-20 16:20:12
阅读次数:
173
/**
* 功能:探讨private的作用
* 时间:2014年8月20日16:12:35
* 作者:cutter_point
*/
struct B
{
private:
char j;
float f;
public:
int i;
void func();
};
void B::func()
{
i=0;
j='0';
f=0.0;...
分类:
编程语言 时间:
2014-08-20 16:20:02
阅读次数:
196
python一天速成都是骗纸~怎么可能一天~只是快速了解一些基本的
首先我是个python新手,只在网上搜例子然后用python写过一些分析文件的脚本,现在工作需要,要短时间进一步了解python。这篇文章也不是给完全新手看的,还是给对python有一点接触且需要大致掌握或者对其他语言有一定研究的人看的。...
分类:
编程语言 时间:
2014-08-20 16:19:32
阅读次数:
362
很多语言中都带有日期的格式化函数,而Javascript中却没有提供类似的方法。之前从某位前人的帖子中发现了下面的代码,感觉非常简洁,存留备用。/*** 时间对象的格式化;*/Date.prototype.format = function (format) { /* 示例 ...
分类:
编程语言 时间:
2014-08-20 16:16:12
阅读次数:
165
在C程序中,文件由文件指针或者文件描述符表示。ISO C的标准I/0库函数(fopen, fclose, fread, fwrite, fscanf, fprintf等)使用文件指针,UNIX的I/O函数(open, close, read, write, ioctl)使用文件描述符。下面重点来说下...
分类:
编程语言 时间:
2014-08-20 16:15:52
阅读次数:
274
JavaScript 的function 不仅仅是一等公民,简直就是特殊公民。它有许多独特的特征:1) 它是object,可以存储,传递,附加属性。2) 它可以有lexical closure, 是事件处理,和OOP encapsulation 的方便工具。3) 它可以匿名,然后通过变量名或者依附于...
分类:
编程语言 时间:
2014-08-20 16:14:42
阅读次数:
184
1、在资源管理类中提供对原始资源的访问 前几个条款很棒,它们是对抗资源泄露的壁垒,但很多APIs直接指向 资源,这个时候,我们需要直接访问原始资源。 这里,有两种方法解决上述问题,我们可将RAII对象转换为原始资源。通过 显式转换与隐式转换。 通常,tr1:: shared_ptr 和 auto_p...
分类:
编程语言 时间:
2014-08-20 16:14:02
阅读次数:
177
对于函数: int priority(); void processWidget(std::tr1:: shared_ptr pw,int priority); 调用以上函数 processWidget(new Widget,priority()); 以上调用错误,因为shared_ptr构造函数需...
分类:
编程语言 时间:
2014-08-20 16:11:22
阅读次数:
194
转载请注明出处!原文链接:http://blog.csdn.net/zgyulongfei/article/details/7909006有时候因为种种原因,我们须要採集某个站点的数据,但因为不同站点对数据的显示方式略有不同!本文就用Java给大家演示怎样抓取站点的数据:(1)抓取原网页数据;(2)...
分类:
编程语言 时间:
2014-08-20 16:07:22
阅读次数:
288
=======while循环用法======语法格式:while(表达式) { 循环体; }功能:进入while语句后,反复判断表达式真假,若为真(为假则跳出循环),则执行循环体内语句。实例:#includeint main(){ int i = 0; while(i < 5) { ...
分类:
编程语言 时间:
2014-08-20 16:06:12
阅读次数:
183
每个线程都有自己的一组CPU寄存器, 称为线程的上下文(CONTEXT), 上下文反映了当线程上一次执行时, 线程的CPU寄存器的状态, 线程的CPU寄存器全部保存在一个CONTEXT结构中, 结构本身保存在线程内核对象中。 我们在用MFC新创建一个线程时不能直接用CreateThread,因...
分类:
编程语言 时间:
2014-08-20 16:02:02
阅读次数:
237
通常我们会看到以下两种定义函数的方式:// 函数语句function fn(str){ console.log(str);};// 表达式定义var fnx=function(str){ console.log(str+ ' from fnx');};两种方式都创建了新的函数对象, 但函数声明语.....
分类:
编程语言 时间:
2014-08-20 16:01:42
阅读次数:
192