码迷,mamicode.com
首页 > 数据库 > 详细

(八)使用mysql存储爬取数据

时间:2018-03-01 00:32:50      阅读:186      评论:0      收藏:0      [点我收藏+]

标签:菜单   mysq   使用   comm   charset   中文   def   code   令行   

一、从官网下载phpstudy与其他前期准备

  cmd中

pip install pymysql

  启动phpstudy,apache和mysql运行后 “其他选项菜单”-“MySQL工具”-“MySQL命令行” 

  密码为root

技术分享图片

这是用的都是SQL语言,记得语句后加分号。

show databases;

技术分享图片

接着创建表

create table good(id int(32) auto_increment primary key,title varchar(100),link varchar(100),comment varchar(100));

数据库创建完毕

二、pipelines.py与数据库进行链接

最后乱码了 终于解决!

 技术分享图片

技术分享图片

其中用到了

set names gbk;

它相当于下面的三句指令:

SET character_set_client = gbk;
SET character_set_results = gbk;
SET character_set_connection = gbk;

 这样输出的中文就不会乱码了!

下给出完整pipelines.py

import pymysql

class Dangdang2Pipeline(object):
    def process_item(self, item, spider):
        conn=pymysql.connect(host="127.0.0.1",user="root",passwd="root",db="dangdang",charset="utf8")
        for i in range(len(item["title"])):
            title=item["title"][i]
            #.encode(‘utf8‘)
            link=item["link"][i]
            comment=item["comment"][i]
            #print(title,link,comment)
            sql="insert into good(title,link,comment) values (‘%s‘,‘%s‘,‘%s‘);"%(title,link,comment)
            #print(sql)
            conn.query(sql)
        conn.close()
        return item

技术分享图片

 

(八)使用mysql存储爬取数据

标签:菜单   mysq   使用   comm   charset   中文   def   code   令行   

原文地址:https://www.cnblogs.com/yitiaoluyu/p/8486038.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!