码迷,mamicode.com
首页 > 数据库 > 详细

【数据库】听故事的故事人

时间:2019-01-14 01:02:34      阅读:229      评论:0      收藏:0      [点我收藏+]

标签:2.0   邮件系统   ble   rgb   none   body   mysq   user   eal   

 美好的故事,不仅要听,也要记!


经过上次对《故事FM》进行爬虫【爬虫】听故事的故事人,我们得到了我们想要对评论数据,格式化的数据给人一种很舒心的感觉,但是,数据得到了,那我们总得保存它吧!用看的没法进行下一步的操作呀~




01



储存方式选择



在数据储存方式有很多种,我们需要根据数据的格式、类型、数据量和后期的数据处理设想来选择适合我们的储存方式。在数据量较小,数据后期可能直接提供给他人查看使用的情况下,通常使用便于非编程人员使用的csv、txt或者json等易于操作的储存格式;在数据结构化,且数据量一般的情况下,可使用数据库储存;如最常用的mysql、轻量级数据库sqlite、文本型数据库mongoDB等;数据量太大的话,可以考虑hdfs分布式储存使用。

这里由于评论数据文本短、数据量不大、后期需要数据处理的缘故,我们选择轻量级数据库SQLite储存评论数据。

SQLite是一个进程内的库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。它是一个零配置的数据库,这意味着与其他数据库一样,您不需要在系统中配置。



02


那就干!


设计数据库:

根据爬虫所得数据,我们可以建立两个数据库:歌名--ID映射的菜单数据库和评论爬虫的格式化数据库


数据库语句:

1
2
3
4
5
6
7
8
9
10
11
12
-- 注:语句为python执行语句
-- 创建菜单数据库
CREATE TABLE music_dic (music_id real, music_name text, time text);

-- 菜单信息,有则更新,无则插入
REPLACE INTO music_dic VALUES(?,?,?);

-- 新建评论数据库
CREATE TABLE IF NOT EXISTS music + str(music_id) + (music_name text, comment_id real ,user_id text,user_name text,avatar_url text,comment_time real,liked_count real,comment text);

-- 插入爬虫数据
INSERT INTO music"+str(music_id)+" VALUES(?,?,?,?,?,?,?,?);


这样我们想要的评论爬虫数据就被我们收入囊中了,嘻嘻~



关注微信公众号:正版乔,一起和我探索Coding的乐趣~



推荐阅读:





一个学统计的程序员

喜欢Coding

喜欢硬件

喜欢树莓派

喜欢深度学习

喜欢你


【数据库】听故事的故事人

标签:2.0   邮件系统   ble   rgb   none   body   mysq   user   eal   

原文地址:https://www.cnblogs.com/qiaohaoforever/p/10264855.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!