码迷,mamicode.com
首页 > Web开发 > 详细

json解析模块

时间:2019-09-22 11:07:46      阅读:200      评论:0      收藏:0      [点我收藏+]

标签:json解析   span   csv   xiaomi   数据   red   数据类型   内容   数据保存   

json.loads(json)

把json格式的字符串转为Python数据类型

html_json = json.loads(res.text)

json.dumps(python)

把 python 类型 转为 json 类型

import json
?
# json.dumps()之前
item = {name:QQ,app_id:1}
print(before dumps,type(item))
# json.dumps之后
item = json.dumps(item)
print(after dumps,type(item))

json.load(f)

将json文件读取,并转为python类型

import json
?
with open(D:\\spider_test\\xiaomi.json,r) as f:
    data = json.load(f)
?
print(data)

json.dump(python,f,ensure_ascii=False)

把python数据类型 转为 json格式的字符串,一般让你把抓取的数据保存为json文件时使用

参数

  • python: python类型的数据(字典,列表等)
  • f: 文件对象
  • ensure_ascii: ensure_ascii=False # 序列化时编码
import json

# 示例1
item = {name: 金毛狮王, card: 屠龙刀}
with open(yt.json, a) as f:
    json.dump(item, f, ensure_ascii=False)

# 示例2
item_list = [
    {name: 紫衫龙王, card: 123},
    {name: 青翼蝠王, card: 456}
]
with open(ystlj.json, a) as f:
    json.dump(item_list, f, ensure_ascii=False)

练习: 将腾讯招聘数据存入到json文件

# 1. __init__()
    self.f = open(tencent.json,a)
    self.item_list = []
# 2. parse_page()
    self.item_list.append(item)
# 3. main()
    json.dump(self.item_list,self.f,ensure_ascii=False)
    self.f.close()

json模块总结

爬虫用到json最多

1、数据抓取 - json.loads(html)

  将响应内容由: json 转为 python

2、数据保存 - json.dump(item_list,f,ensure_ascii=False)

  将抓取的数据保存到本地 json文件

?

抓取数据一般处理方式

  1. txt文件
  2. csv文件
  3. json文件
  4. MySQL数据库
  5. MongoDB数据库
  6. Redis数据库

 

json解析模块

标签:json解析   span   csv   xiaomi   数据   red   数据类型   内容   数据保存   

原文地址:https://www.cnblogs.com/LXP-Never/p/11385892.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!