今天在用scrapy爬某个网站的数据，其中DOM解析我用的是BeautifulSoup，速度上没有XPath来得快，不过因为用了习惯了，所以一直用的bs，版本是bs4不过在爬取过程中遇到了一些问题，其中一个是Unicode转码问题，这也算是python中一个著名问题了。我遇到的算是Beautiful...
分类：
其他好文 时间：
2014-07-22 22:53:55
阅读次数：
229
一、 robot framework环境搭建： 官网：http://robotframework.org/ 序号安装包名安装方法下载地址备注1pythonexe文件，直接双击安装https://www.python.org/download/releases/2.7.8/一切的基础，安装...
分类：
其他好文 时间：
2014-07-22 22:53:15
阅读次数：
213
之前网上的破解方法多是以替换pyo文件为主。 经在win7和win8 下经验发现，替换后，ide就启动不起来了。 除此之外还有大把的反编译破解教程，对于时间不宽裕的孩子，估计更是没心情看。 几经折腾，最后发现这个计算注册码的脚本。 整理后的安装包，破解脚本和破解方法描述文本，整理打包放在百度云盘上。...
分类：
编程语言 时间：
2014-07-22 22:51:54
阅读次数：
278
可以和Haskell ， Prolog 一样做到模式匹配，
建立逻辑推到规则，描述问题，得出答案。
from pyDatalog import pyDatalog
pyDatalog.create_atoms( 'N, N1, X, Y, X0, X1, X2, X3, X4, X5, X6, X7' )
pyDatalog.create_atoms( 'ok,queens, nex...
分类：
编程语言 时间：
2014-07-19 23:31:49
阅读次数：
377
1：算法简单描述
给定训练数据样本和标签，对于某测试的一个样本数据，选择距离其最近的k个训练样本，这k个训练样本中所属类别最多的类即为该测试样本的预测标签。简称kNN。通常k是不大于20的整数，这里的距离一般是欧式距离。
2：python代码实现
创建一个kNN.py文件，将核心代码放在里面了。
(1) 创建数据
#创造数据集
def createDataSet():
...
分类：
其他好文 时间：
2014-07-19 23:24:39
阅读次数：
300
# -*- coding: utf-8 -*-
#code:myhaspl@myhaspl.com
#邻域平均法滤波,半径为2
import cv2
import numpy as np
fn="test3.jpg"
myimg=cv2.imread(fn)
img=cv2.cvtColor(myimg,cv2.COLOR_BGR2GRAY)
#加上椒盐噪声
param=20
#灰阶范围...
分类：
编程语言 时间：
2014-07-19 23:18:52
阅读次数：
405
例如这个函数 def fab(max): n, a, b = 0, 0, 1 while n < max: yield b # print b a, b = b, a + b n = n + 1 简单地讲，yield 的...
分类：
编程语言 时间：
2014-07-19 23:15:12
阅读次数：
247
还在为分析nginx大日志犯愁吗？也许你会想到用shell处理，1G文件没有问题，上了10G文件，会消耗很久时间，用shell结合python多线程处理没有错。什么都不用说了，直接上代码了#!/usr/bin/python
#coding:utf8
importthreading#载入多线程模块
importtime#载入时间模块
importos#..
分类：
编程语言 时间：
2014-07-19 18:16:00
阅读次数：
216
pythonsocket服务端#!/usr/bin/python
#-*-coding:utf-8-*-
importsocket
importos,sys
host=‘127.0.0.1‘#监听的IP
port=60000#监听的端口
buffer=1024#接受的字节数
sock=socket.socket(socket.AF_INET,socket.SOCK_STREAM)#建立socket对象
sock.bind((host,port))#绑定IP和端..
分类：
编程语言 时间：
2014-07-19 16:21:30
阅读次数：
256
使用Scrapy这个python的网络爬虫框架抓取Scrapy中文文档开发第一步：新建项目scrapy startproject myfirst目录结构：myfirst│ scrapy.cfg Scrapy项目配置文件│└─myfirst Scrapy项目代码存放目...
分类：
其他好文 时间：
2014-07-19 16:00:43
阅读次数：
207
