码迷,mamicode.com
首页 >  
搜索关键字:爬虫 数据处理    ( 15133个结果
Ioc容器Autofac系列(1)-- 初窥(转)
前言第一次接触Autofac是因为CMS系统--Orchard,后来在一个开源爬虫系统--NCrawler中也碰到过,随着深入了解,我越发觉得Ioc容器是Web开发中必不可少的利器。那么,Ioc容器是用来做什么的?用了有什么好处?我相信如果不明白这两点就很难敞开心扉接受Ioc容器。传统解耦设计的弊端...
分类:其他好文   时间:2014-05-16 22:34:11    阅读次数:361
Spider with R
简单爬虫R实现1、广度优先搜索策略网页的结构通常是一个页面包含正文和多个链接,这些链接大部分是域内链接,但也含有域外链接。通过对这些链接进行遍历,一层一层地搜索就可以搜索到所有页面。如图,网页结构已经很好的显示了一种图的层次结构。在这种图的结构中,简单地实现遍历,我们就可以采用两种遍历方式,广度优先...
分类:其他好文   时间:2014-05-16 21:08:33    阅读次数:339
MATLAB数据处理快速学习教程
转自:http://blog.csdn.net/abcjennifer/article/details/7706581本篇内容集合了MATLAB中的基本操作、数据存储与计算、数据的直线与曲线拟合与画图、for-if-while语句的使用方法对一般matlab的操作进行了基本和详细的应用举例,非常适合...
分类:其他好文   时间:2014-05-13 19:41:00    阅读次数:443
海量数据解决思路之Hash算法
一、概述本文将粗略讲述一下Hash算法的概念特性,里边会结合分布式系统负载均衡实例对Hash的一致性做深入探讨。另外,探讨一下Hash算法在海量数据处理方案中的通用性。最后,从源代码出发,具体分析一下Hash算法在MapReduce框架的中的应用。二、Hash算法Hash可以通过散列函数将..
分类:其他好文   时间:2014-05-13 01:34:11    阅读次数:421
ASP中函数调用对参数的影响
ASP中函数调用对参数的影响 在ASP编程中,经常需要自己编写一些函数(或过程)来实现某些特定的功能,这时往往需要向函数(或过程)传递相应的参数  在函数(或过程)中进行数据处理,即有可能需要保留或改变参数的值,下面有相关范例  用下面的函数(TestAddress)就可以使一个函数多个返回值成为可能(一个函数返回值,多个参数改变后的值) 范例:   Option Explicit...
分类:Web程序   时间:2014-05-11 22:37:03    阅读次数:478
【从零之六&完结】android口语对话系统(含全部源码)
做了一个半月终于完成了,下面这个就是我参考Olympus/RavenClaw系统编写的对话管理系统,目前实现了一个简单的航班查询,部分截图 目前能实现的功能: 1.航班查询,具体的航班信息是我自己编的,下一步可以写个爬虫把真实的数据爬下来。编的数据放到了res/raw/flightinfo.txt中。航班查询就设定了三个要素,时间,起始地和目的地,想更全面的话可以增加任...
分类:移动开发   时间:2014-05-11 05:49:02    阅读次数:410
练手题,没事就来AC吧 poj 4044 Score Sequence
此题为12年金华邀请赛A题克隆了下比赛,A题最简单,也是最挑战人数据处理能力的一题,可惜自己数据处理能力太弱久久不能写出代码…………总结下就是题做少了,平时应多做题,少灌水,应放下看电影的时间,玩各种软件的时间先做好一项再说才是正道,看到一句话说得好“ 人有两条路要走,一条是必须走的,一条是想走的,...
分类:其他好文   时间:2014-05-11 00:24:02    阅读次数:349
Python爬虫示例
1 #!/usr/bin/python 2 #coding:utf8 3 import re 4 import urllib 5 6 def gethtml(url): 7 page=urllib.urlopen(url) 8 html=page.read() 9 ret...
分类:编程语言   时间:2014-05-10 18:39:47    阅读次数:399
MapReduce生成HFile文件,再使用BulkLoad导入HBase中(完全分布式运行)
声明: 若要转载, 请标明出处. 前提: 在对于大量的数据导入到HBase中, 如果一条一条进行插入, 则太耗时了, 所以可以先采用MapReduce生成HFile文件, 然后使用BulkLoad导入HBase中.  引用: 一、这种方式有很多的优点: 1. 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk...
分类:其他好文   时间:2014-05-10 04:33:38    阅读次数:513
STL--map用法
STL--map用法map是STL的一个关联容器,它提供一对一(其中第一个可以称为关键字,每个关键字只能在map中出现一次,第二个可能称为该关键字的值)的数据处理能力由于这个特性它完成有可能在我们处理一对一数据的时候,在编程上提供快速通道。这里说下map内部数据的组织map内部自建一颗红黑树(一种非...
分类:其他好文   时间:2014-05-10 00:06:51    阅读次数:385
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!