问题背景：指定爬虫depth、线程数， python实现并行爬虫 思路： 单线程 实现爬虫类Fetcher 多线程 threading.Thread去调Fetcher 方法：Fetcher 中，用urllib.urlopen打开指定url，读取信息：response = urllib.urlopen(self.url)
content = respon...
分类：
编程语言 时间：
2015-09-07 22:55:23
阅读次数：
248
# coding: utf-8#Tree-Node Typeclass Node: def __init__(self,freq): self.left = None self.right = None self.father = None ...
分类：
编程语言 时间：
2015-09-04 18:17:05
阅读次数：
344
#KNN算法思路：#-----------------------------------------------------##step1:读入数据，存储为链表#step2:数据预处理，包括缺失值处理、归一化等#step3:设置K值#step4:计算待测样本与所有样本的距离(二值、序数、连续)#step5:投票决定待测样本的类别#step6:利用测试集测试..
分类：
编程语言 时间：
2015-09-04 12:41:49
阅读次数：
288
转自： http://www.zhangzhibo.net/2014/02/01/parallelism-in-one-line/ Python 在程序并行化方面多少有些声名狼藉。撇开技术上的问题，例如线程的实现和 GIL1，我觉得错误的教学指导才是主要问题。常见的经典 Python 多线程、多进程...
分类：
编程语言 时间：
2015-09-03 21:40:15
阅读次数：
232
直接贴上代码import threading def sayhello(): print "hello world" global t #Notice: use global variable! t = threading.Timer(5...
分类：
编程语言 时间：
2015-09-02 23:20:57
阅读次数：
220
线上有需求，就是根据一个文件列表，去复制到相应的目录，而且要保持目录结构。贴代码#!/usr/bin/envpython
##coding=utf-8
print"""
从存储服务器导出到临时目录
"""
importos
importshutil
fromos.pathimportexists,abspath,dirname,isfile
des_dir="/data"
f=open(‘file.li..
分类：
编程语言 时间：
2015-09-02 20:48:30
阅读次数：
265
多维标度法(multidimensional scaling，MDS)是一种在低维空间展示“距离”数据结构的多元数据分析技术,是一种将多维空间的研究对象( 样本 或 变量 ) 简化到低维空间进行定位、分析和归类， 同时又保留对象间原始关系的数据分析方法。多维标度法与主成分分析(Principle C...
分类：
编程语言 时间：
2015-09-02 00:36:05
阅读次数：
268
最近的任务里有一个功能是要我从日志服务器实时跟新日志到本地，日志在不断新增内容就需要我隔一段时间从上次下载的位置继续下载，并写入本地文件上次写完的位置后面。
headers = {'Range': 'bytes=%d-' % local_file_dict.get(packet_path+k)}
web_log = requests.get(packet...
分类：
编程语言 时间：
2015-08-30 17:40:04
阅读次数：
298
仅简单统计英文。from collections import Counterf = open('1')c = Counter()for line in f: g = (x for x in line.split()) c.update(Counter(g))f.clos...
分类：
编程语言 时间：
2015-08-30 12:35:08
阅读次数：
192
方法一：#coding:utf-8importreimportrequests#获取网页内容r=requests.get('http://www.163.com')data=r.text#利用正则查找所有连接link_list=re.findall(r"(?<=href=\").+?(?=\")|(...
分类：
编程语言 时间：
2015-08-30 09:57:54
阅读次数：
166
