标签：div 点击 json 跳过 图片压缩 部分 can TE 处理
现在比较主流的爬虫应该是用python，但是我觉得ruby也是ok的，我试试看写了一个爬虫的小程序，并作出相应的解析，下载图片，生成excel报表。我是写了一个框架，专门拿来爬取商品信息的。废话不多说，直接搞事情。
第一步：当然是获取商品的信息啦，输入对应的商品的网址，以及你需要爬虫的层数，判断你点击的这个网页是否是商品页面，进行相应的存储，保存源码。
工具就是用mechanize啦，很好用的爬虫工具哦，无页面的可以减小不少内存的开销呢。（这种情况说的不加载js的情况哦 如果需要js加载的 要用selenium 原理一样的）接下来 写代码 贴上爬虫的部分代码 讲的主要就是爬虫的一个大概思想
1 require ‘rubygems‘ 2 require "mechanize" 3 require "json" 4 require "mysql2" 5 require ‘fileutils‘ 6 load "./deal_link.rb" 7 load "./sql_op.rb" #这边是对当前位置的增删改查 方便从断点开始 8 load "./sql_table.rb" #这个是每个平台创建一个数据库表 点过的链接不点 同一个链接 同一层 9 proxy = get_proxy 10 puts proxy 11 agent = Mechanize.new 12 agent.open_timeout = 15 13 agent.set_proxy proxy[0],proxy[1] 14 client = Mysql2::Client.new(:host => "数据库的地址", :username => "用户名",:password=>"密码",:database=>"数据库表") 15 16 deep = 0 17 puts "请输入要遍历的商品信息的主url:" 18 root_url = gets.chomp 19 page = agent.get root_url 20 puts "请输入链接需要点击的层数:" 21 num = gets.chomp.to_i 22 host = root_url.scan(/www\.(.*?)\./)[0][0] 23 24 ##创建目录 25 FileUtils.mkdir_p("/samba/xww/me/new/evesaddiction/#{host}") 26 27 stack = [] 28 Node = Struct.new :url,:deep 29 res_select = sql_select(client,root_url) 30 if res_select[0] == 1 #查到click_url 31 stack = res_select[1] 32 puts "当前数据库已经有这条记录啦 直接导出" 33 elsif res_select[0] == -1 #查到root_url 34 puts "该网站已经遍历结束 程序退出" 35 exit 36 else #什么都没查到 37 deep = deep + 1 38 page.links.each do |link| 39 obj = Node.new(link.href,deep) 40 stack.push obj 41 end 42 stack.uniq! 43 puts "第一层的链接数长度为#{stack.length}" 44 end 45 46 res_exist_table = host_table_exist(client,host) 47 if res_exist_table == 0 48 create_table_host(client,host) 49 end 50 51 52 puts "=======================" 53 puts "当前需要遍历的url是#{root_url}" 54 puts "该网站需要遍历的层数是#{num}" 55 puts "=======================" 56 57 update_flag = 0 58 59 while stack.length !=0 60 61 get_url = stack[stack.length-1].url 62 deep = stack[stack.length-1].deep 63 stack.pop 64 65 puts "----------------------------------" 66 puts "当前stack的长度为#{stack.length}" 67 puts "当前的url是#{get_url}" 68 puts "当前的层数是#{deep}" 69 puts "----------------------------------" 70 71 72 sql_update(client,stack,root_url) 73 74 ##判断这个链接在当前层被点过没 点过就不点 75 res_select_link_exist = select_host_table(client,host,get_url,deep) 76 if res_select_link_exist == 1 77 puts "该链接已经存在啦 不点啦" 78 next 79 else 80 puts "该链接不存在 存进#{host}数据库表" 81 insert_host_table(client,host,get_url,deep) 82 end 83 puts "----------------------------------" 84 85 #判断这个链接要不要点 86 get_check_res = check(get_url,root_url) 87 if get_check_res == 1 88 puts "链接中含有pdf 或者 mp4 不点 跳过 或者 facebook twitter 等" 89 puts "----------------------------------" 90 next 91 end 92 puts "----------------------------------" 93 94 #判断一个链接是否可以点击成功 95 res_click_link = click_link(agent,get_url,root_url) 96 if res_click_link[0] == 1 97 new_page = res_click_link[1] 98 puts "点击该链接成功" 99 else 100 puts "该链接点击失败 跳过" 101 puts "----------------------------------" 102 next 103 end 104 105 #判断内容是否为0 106 if new_page.body.length <= 0 107 puts "当前页面没有内容 跳过" 108 puts "----------------------------------" 109 next 110 end 111 112 #判断是否是产品页 没达到指定的层数 不跳 113 res = is_product_page(new_page.body,host) 114 if res == 1 115 puts "该页面有完整的产品信息 存进磁盘" 116 end 117 118 if deep < num 119 deep = deep+1 120 puts "当前页面new_page的链接数为#{new_page.links.length}" 121 begin 122 new_page.links.each do |link| 123 res_include_link = include_link(link.href,stack) 124 if res_include_link == 0 125 obj = Node.new(link.href,deep) 126 stack.push obj 127 end 128 end 129 stack.uniq! 130 rescue 131 puts "当前页面的链接数为0" 132 end 133 else 134 #查询数据库是否有该字段 135 #没有的话 插入 stack 136 res_select = sql_select(client,root_url) 137 if res_select[0] == 0 138 puts "没有该记录" 139 res_insert = sql_insert(client,stack,root_url) 140 if res_insert == 1 141 puts "插入成功" 142 end 143 end 144 if res_select[0] == 1 145 puts "更新数据库" 146 res_update = sql_update(client,stack,root_url) 147 if res_update == 1 148 puts "更新成功" 149 end 150 update_flag = 1 151 end 152 end 153 154 end
第二步：解析数据库的信息啦
解析的时候用的是nokogiri库
用的时候直接 gem install nokogiri
1 Encoding.default_internal = "UTF-8" 2 require ‘rubygems‘ 3 require ‘mysql2‘ 4 require "mongo" 5 require "nokogiri" 6 require "json" 7 8 #这边我存mongo 9 client = Mongo::Client.new(["数据库地址:端口号"],:database=>"数据库名字") 10 11 puts "请输入要解析的平台的网站" 12 u = gets.chomp 13 dir = u.scan(/www\.(.*?)\./)[0][0] 14 15 time = gets.chomp 16 time.gsub!(":","-") 17 18 full_dir = "./#{dir}" 19 20 21 def go_dir(full_dir,agent,client,u,time) 22 input_url_front = nil 23 Dir.glob("#{full_dir}/*") do |path| 24 25 res = File.directory? path 26 if res == true 27 puts "#{path}是一个目录 继续遍历" 28 puts "------------------------------------------------------" 29 go_dir(path,agent,client,u,time) 30 puts "目录的文件读取完毕 目录不用读取跳过" 31 next 32 end 33 34 s=File.read(path) 35 doc = Nokogiri::HTML(s) 36 37 #提取我需要的字段 38 begin 39 title = s.scan(/(?i)meta\s*property="og:title"\s*content="([^"]+)"/)[0][0] #^> content里面 40 description = s.scan(/(?i)[meta\s*property="og:|meta\s*name="]description"\s*content=\s*"([^\"]+)"/)[0][0] 41 url = s.scan(/(?i)meta\s*property="og:url"\s*content="([^"]+)"/)[0][0] 42 image = s.scan(/(?i)meta\s*property="og:image"\s*content="([^"]+)"/)[0][0] 43 rescue 44 puts "没有匹配到 title description url image 其中之一的字段 不完整 可能不是商品页" 45 puts "------------------------------------------------------" 46 next 47 end 48 49 if url.scan("http").length == 0 50 url = u + url 51 end 52 53 begin 54 price = s.scan(/(?i)itemprop=[‘\"]price[‘\"]\s*>?[‘\"]?(\$?\d+(?:\,\d+)?(?:\.\d+)?(?:\s\w+)?)(?=[‘\"<])/)[0][0] 55 price_label = s.scan(/(?i)itemprop=[‘"]priceCurrency[‘"]\s*content=[‘"]([^[‘"]]+)(?=[‘"])/)[0][0] 56 rescue 57 puts "没有匹配到价格 换一个匹配" 58 begin 59 price = s.scan(/meta\s*property="product:price:amount"\s*content="([^"]+)"/)[0][0] 60 price_label = s.scan(/(?i)meta\s*property="product:price:currency"\s*content="([^"]+)"/)[0][0] 61 rescue 62 puts "还是没有匹配到价格信息 不完整" 63 puts "---------------------------------------------------------" 64 next 65 end 66 end 67 68 begin 69 classify = doc.css("ul.grid_12 li").text 70 classify = classify.split("\n") 71 for i in 0..classify.length-1 72 classify[i].strip! 73 end 74 for i in 0..classify.length-1 75 if classify[i] == "" 76 classify.delete(classify[i]) 77 end 78 end 79 3.times{classify.delete_at(0)} 80 for i in 0..classify.length-1 81 classify_name = classify_name.to_s + classify[i].to_s + ">" 82 end 83 classify_name.chop! 84 rescue 85 classify_name = nil 86 end 87 88 #保留两位小数 89 price = price.to_f.round(2) 90 91 begin 92 material = s.scan(/Metal<\/dd><dt>(.*?)</)[0][0] 93 rescue 94 puts "没有匹配到material" 95 material = nil 96 end 97 98 begin 99 item_statue = s.scan(/\"WebTrend\":\"(.*?)\"/)[0][0] 100 rescue 101 puts "没有匹配到item_statue" 102 item_statue = nil 103 end 104 105 ##相应的信息解析好之后存进数据库 106 product_col = client[:product] 107 res = product_col.find({product_detail_url:"#{url}"}).first 108 109 if res == nil 110 puts "这条记录数据库没有 可以插入 新品" 111 new_classify_collection = [] 112 if classify_name != nil 113 new_classify_collection.push classify_name 114 end 115 116 old_price = nil 117 product_update_time = nil 118 price_statue = nil 119 120 product_col.insert_one({product_title:"#{title}",product_description:"#{description}",product_detail_url:"#{url}",product_image_addr:"#{image}",product_price:price,product_price_label:"#{price_label}",product_come_time:"#{time}",product_update_time:"#{product_update_time}",product_shop:"#{u}",classify_name:"#{classify_name}",new_classify_collection:"#{new_classify_collection}",old_price:"#{old_price}",price_statue:"#{price_statue}",item_statue:"#{item_statue}",material:"#{material}"}) 121 puts "插入成功" 122 puts "===================================================" 123 else 124 puts "该字段已在数据库中有记录 准备更新数据库" 125 puts res 126 new_classify_collection = [] 127 new_classify_collection = JSON.parse(res["new_classify_collection"]) 128 129 if (!new_classify_collection.include? classify_name) && (classify_name != nil) 130 new_classify_collection.push classify_name 131 end 132 133 puts "-------------------------------------------------" 134 if price > res["product_price"].to_f 135 puts "涨价" 136 old_price = res["product_price"].to_f 137 price_statue = "Rise Price" 138 product_col.update_one( { ‘product_detail_url‘ => "#{url}" }, { ‘$set‘ => { ‘product_price‘ => price.to_f, ‘product_update_time‘ => "#{time}", ‘classify_name‘ => "#{classify_name}",‘new_classify_collection‘ => "#{new_classify_collection}",‘old_price‘:old_price,‘price_statue‘:"#{price_statue}",‘item_statue‘:"#{item_statue}"} } ) 139 end 140 if price < res["product_price"].to_f 141 puts "降价" 142 old_price = res["product_price"].to_f 143 price_statue = "Reduced Price" 144 product_col.update_one( { ‘product_detail_url‘ => "#{url}" }, { ‘$set‘ => { ‘product_price‘ => price.to_f, ‘product_update_time‘ => "#{time}", ‘classify_name‘ => "#{classify_name}",‘new_classify_collection‘ => "#{new_classify_collection}",‘old_price‘:old_price,‘price_statue‘:"#{price_statue}",‘item_statue‘:"#{item_statue}"} } ) 145 end 146 puts "更新成功" 147 puts "===================================================" 148 end 149 150 end 151 end 152 153 go_dir(full_dir,agent,client,u,time)
第三步：商品都有图片的，解析完成后，我们下载图片
下载图片我们用的还是mechanize
page = agent.get img_url
page.body就是图片的内容啦 直接保存就好啦
有时候我们下载下来的图片比较大 我们会使用图片压缩
这里我们用这个库 mini_magick 我就 稍微写一下把
1 require "mini_magick" 2 3 u = "https://www.evesaddiction.com" 4 up = u.scan(/www\.(.*?)\./)[0][0] + "Img" #这个是下载好的图片了 5 host = u.scan(/www\.(.*?)\./)[0][0] + "Ok" #保存要压缩的图片 6 ##创建目录 7 FileUtils.mkdir_p("./#{host}") 8 9 Dir.glob("./#{up}/*") do |p| 10 s=p 11 s = s.scan(/[^\/]+$/)[0].scan(/(.*?).jpg/)[0][0] 12 13 image = MiniMagick::Image.open(p) 14 image.resize "100x100" 15 image.write "./#{host}/#{s}.png" 16 end
第四步：有时候查数据库那么大的信息量看起来有点麻烦，我们可以生成excel表格，清晰明了。
我们可以用这个库 axlsx 不仅可以插入文字 也可以插入图片（缩略图） 在你看这份报表的时候 更直观看出是什么商品
这里就不写代码啦 相应的文档
https://github.com/randym/axlsx/blob/master/examples/example.rb
https://gist.github.com/randym/2371912
ps：有时候会觉得爬虫的速度特别慢，就是第一步获取商品的源码的时候，可以大家可以用socket的udp通讯多进程来解决这个问题。
服务器负责分发要点击的网址，以及当前网址的层数，客户端负责判断这个链接是否是我需要的商品信息，最后返回结果给服务端，服务端在做相应的数据更近，会增加不少的速度。
ruby的线程是假线程，不推荐使用。
标签：div 点击 json 跳过 图片压缩 部分 can TE 处理
原文地址：https://www.cnblogs.com/zhe-hello/p/9197515.html
