码迷,mamicode.com
首页 > 其他好文 > 详细

R-大数据分析挖掘(2-R爬虫)

时间:2016-01-11 19:57:47      阅读:150      评论:0      收藏:0      [点我收藏+]

标签:

RCurl作者:技术分享

==RCurl、XML、RSPython、Rmatlab

个人主页:http://anson.ucdavis.edu/~duncan/

(一)什么是curl

      curl:利用URL语法在命令行的方式下工作的开元文件传输工具

      curl背后的库就是libcurl

      功能为:获得页面,有关认证,上传下载,信息搜索

(二)Http协议目前使用的是HTTP/1.1

它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器

技术分享

(三)Rcurl三大函数

1.install.packages("RCurl")
2.
技术分享
  • getUrl()
  • getForm()
  • postForm()

利用getUrl查看相关信息  url.exists()

(1)技术分享技术分享

技术分享

技术分享

技术分享

技术分享

技术分享

技术分享

实验代码:

      技术分享

(2)技术分享技术分享

技术分享

技术分享

技术分享

技术分享

技术分享

 

(3)技术分享

技术分享

技术分享

技术分享

技术分享

实验:

技术分享

(4)技术分享

技术分享

myheader <- c(
"User-Agent"="Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) ",
"Accept"="text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Language"="en-us",
"Connection"="keep-alive",
"Accept-Charset"="GB2312,utf-8;q=0.7,*;q=0.7")

注:技术分享

技术分享技术分享

技术分享

(5)技术分享

技术分享

技术分享 技术分享

(三)curl部分参数设置

技术分享

 

(四)XMLParse

需要安装:XML

技术分享

表格、 网页节点

对标准 XML 文件的解析函数xmlParse

对html的解析函数htmlTreeParse

下载表格:

技术分享

技术分享

技术分享

 

(五)

抓取地震数据:

url <-" http://data.earthquake.cn/datashare/datashare_more_quickdata_new.jsp";
wp <- getURL(url)

doc <-htmlParse(wp,asText = TRUE)

tables <- readHTMLTable(doc,header=F)

参数which:

出错::

技术分享

(六)Xpath

技术分享

技术分享

技术分享

技术分享

 

综合实例:R抓取CSDN数据

crawler<-function(url,xpath,content="text"){
    num_url<-length(url)
    result<-data.frame(url=0,vari=0)
    i<-1#记录第几个url
    tmp<-1#
    for(i_url in url){
        i_url_parse<-htmlParse(i_url,encoding="UTF-8")#读取url网页数据,并使用htmlParse转化。(xml文件使用xmlParse)
        node<-getNodeSet(i_url_parse,xpath)#通过xpath找到相应变量的xpath结点

        if(length(node)==0){#未爬取到数据,说明xpath有误
            result[tmp,1]<-i
            result[tmp,2]<-NA
            print(paste("注意:变量未能在第",i,"个页面中找到,我们会把该数据写为空值"))
            tmp<-tmp+1
        }else{
    
            for(j in 1:length(node)){
                result[tmp,1]<-i
                if(content=="text"){#欲爬取变量的内容
                    result[tmp,2]<-xmlValue(node[[j]])

                }else{#欲爬取变量的属性

		    print(node[[j]])
                    result[tmp,2]<-xmlGetAttr(node[[j]],content)
                    
                }
                tmp<-tmp+1
            }
        }
        i<-i+1
    }
    result
}

url1<-"http://www.csdn.net/tag/"
xpath<-"//div[@class=‘overflow‘]/a"
content<-"text"
crawler(url1,xpath,content)

 

注意:

1.抓取地震数据
2.爬虫的多线程
  1. 爬取任务的管理问题:
     需要先将爬取的url列表,分成一些task,不同的task由不同的r程序进行处理
     任务的处理状态,需要r 更新到任务的维护列表
     出现任务挂掉时,需要可以读取上次任务爬取的点,数据库
     如果量很大:可以通过redis
  2.爬取程序,需要写成r程序脚本
     linux: crontab
     windows: 计划任务
3.爬取动态ip的问题
  1.爬虫的动态代理
    1.先获取一个iP池,百度搜索ip代理
    2.在程序中,动态的换 http 的ip属性
爬的过程要保持一个间隔,4秒

 

R-大数据分析挖掘(2-R爬虫)

标签:

原文地址:http://www.cnblogs.com/jackchen-Net/p/5122034.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!