码迷,mamicode.com
首页 > 数据库 > 详细

用js采集网页数据并插入数据库最快的方法

时间:2018-08-09 01:15:27      阅读:187      评论:0      收藏:0      [点我收藏+]

标签:creat   谷歌浏览器   find   class   执行   UNC   query   pre   bit   

今天教大家一个快速采集网站数据的方法,因为太晚了,直接上例子,这里以采集易车网的产品数据为例。

思路:利用js获取网页数据并生成sql命令,执行sql命令把采集的数据插入数据库。

1.用谷歌浏览器或者火狐浏览器打开网站:http://car.bitauto.com/(品牌大全),http://car.bitauto.com/audi/(车型大全)

2.按F12进入调试模式,选择console并敲入以下代码

// JavaScript Document
(function() {
  var hm = document.createElement("script");
  hm.src = "http://apps.bdimg.com/libs/jquery/2.1.4/jquery.min.js";
  var s = document.getElementsByTagName("script")[0]; 
  s.parentNode.insertBefore(hm, s);
})();
setTimeout(function(){
    $.ajaxSettings.async = false;
    //var data = [];
    var sql = ‘‘;
$(".list_pic li").each(function(index, element) {
    var brand ={url: $(this).find("a:eq(1)").attr(‘href‘),name:$(this).find("a:eq(1)").text(),cars:[]};
    sql += "INSERT INTO `dp_jgcrm_brand`(pid,title) VALUES(‘0‘, ‘"+$(this).find("a:eq(1)").text()+"‘);\r\n    set @pid = LAST_INSERT_ID();\r\n";
    $.get(brand.url,function(html){
        $(html).find(".cartype-section .p-list .name a").each(function(index, element) {
            sql += "INSERT INTO `dp_jgcrm_brand`(pid,title) VALUES(@pid, ‘"+$(this).text()+"‘);\r\n";
            brand.cars.push($(this).text());
        });
    });

    
    //data.push(brand);
});
//console.log(data);
console.log(sql)
},2000)

技术分享图片

3.复制sql命令,剩下的你们都应该知道了吧

学程序的难点是思路和方法,语言只是工具,如果你愿意与我一同学习,可以加我的微信:fafa2088

 for SE:汽车数据词典、汽车数据采集

用js采集网页数据并插入数据库最快的方法

标签:creat   谷歌浏览器   find   class   执行   UNC   query   pre   bit   

原文地址:https://www.cnblogs.com/godok/p/9446545.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!