标签：数字 col 特定 打开 headers feed 控制 link color
1.TXT文本存储
可以用requests将网页源代码获取下来，然后使用pyquery解析库解析，接下来将提取的标题、回答者、回答保存到文本，代码如下：
1 import requests 2 from pyquery import PyQuery as pq 3 4 url = ‘https://www.zhihu.com/explore‘ 5 headers = { 6 ‘User-Agent‘: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36‘ 7 } 8 html = requests.get(url, headers=headers).text 9 doc = pq(html) 10 items = doc(‘.explore-tab .feed-item‘).items() 11 for item in items: 12 question = item.find(‘h2‘).text() 13 author = item.find(‘.author-link-line‘).text() 14 answer = pq(item.find(‘.content‘).html()).text() 15 file = open(‘explore.txt‘, ‘a‘, encoding=‘utf-8‘) 16 file.write(‘\n‘.join([question, author, answer])) 17 file.write(‘\n‘ + ‘=‘ * 50 + ‘\n‘) 18 file.close()
运行程序，可以发现在本地生成了一个txt文件。
首先，用requests提取知乎的“发现”页面，然后将热门话题的问题、回答者、答案全文提取出来，然后利用Python提供的open()方法打开一个文本文件，获取一个文件操作对象，这里赋值为file，接着利用file对象的write()方法将提取的内容写入文件，最后调用close()方法将其关闭，这样抓取的内容即可成功写入文本中了。
这里open()方法的第一个参数即要保存的目标文件名称，第二个参数为a，代表以追加方式写入到文本。另外，我们还指定了文件的编码为utf-8。最后，写入完成后，还需要调用close()方法来关闭文件对象。
打开方式
在刚才的实例中，open()方法的第二个参数设置成了a，这样在每次写入文本时不会清空源文件，而是在文件末尾写入新的内容，这是一种文件打开方式。关于文件的打开方式，其实还有其他几种，这里简要介绍一下。
r：以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。rb：以二进制只读方式打开一个文件。文件指针将会放在文件的开头。r+：以读写方式打开一个文件。文件指针将会放在文件的开头。rb+：以二进制读写方式打开一个文件。文件指针将会放在文件的开头。w：以写入方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。wb：以二进制写入方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。w+：以读写方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。wb+：以二进制读写格式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。a：以追加方式打开一个文件。如果该文件已存在，文件指针将会放在文件结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，则创建新文件来写入。ab：以二进制追加方式打开一个文件。如果该文件已存在，则文件指针将会放在文件结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，则创建新文件来写入。a+：以读写方式打开一个文件。如果该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在，则创建新文件来读写。ab+：以二进制追加方式打开一个文件。如果该文件已存在，则文件指针将会放在文件结尾。如果该文件不存在，则创建新文件用于读写。另外，文件写入还有一种简写方法，那就是使用with as语法。在with控制块结束时，文件会自动关闭，所以就不需要再调用close()方法了。这种保存方式可以简写如下：
1 with open(‘explore.txt‘, ‘a‘, encoding=‘utf-8‘) as file: 2 file.write(‘\n‘.join([question, author, answer])) 3 file.write(‘\n‘ + ‘=‘ * 50 + ‘\n‘)
2.JSON文件存储
JSON，全称为JavaScript Object Notation, 也就是JavaScript对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。
对象和数组
在JavaScript语言中，一切都是对象。因此，任何支持的类型都可以通过JSON来表示，例如字符串、数字、对象、数组等，但是对象和数组是比较特殊且常用的两种类型。
{}包裹起来的内容，数据结构为{key1：value1, key2：value2, ...}的键值对结构。在面向对象的语言中，key为对象的属性，value为对应的值。键名可以使用整数和字符串来表示。值的类型可以是任意类型。[]包裹起来的内容，数据结构为["java", "javascript", "vb", ...]的索引结构。在JavaScript中，数组是一种比较特殊的数据类型，它也可以像对象那样使用键值对，但还是索引用得多。同样，值的类型可以是任意类型。所以，一个JSON对象可以写为如下形式：
[{ "name": "Bob", "gender": "male", "birthday": "1992-10-18" }, { "name": "Selina", "gender": "female", "birthday": "1995-10-18" }]
由中括号包围的就相当于列表类型，列表中的每个元素可以是任意类型，这个示例中它是字典类型，由大括号包围。
JSON可以由以上两种形式自由组合而成，可以无限次嵌套，结构清晰，是数据交换的极佳方式。
读取JSON
Python为我们提供了简单易用的库来实现JSON文件的读写操作，我们可以调用库的loads()方法将JSON文本字符串转为JSON对象，可以通过dumps()方法将JSON对象转为文本字符串。
例如，这里有一段JSON形式的字符串，它是str类型，我们用Python将其转换为可操作的数据结构，如列表或字典：
import json str = ‘‘‘ [{ "name": "Bob", "gender": "male", "birthday": "1992-10-18" }, { "name": "Selina", "gender": "female", "birthday": "1995-10-18" }] ‘‘‘ print(type(str)) data = json.loads(str) print(data) print(type(data))
运行结果：
<class ‘str‘> [{‘name‘: ‘Bob‘, ‘gender‘: ‘male‘, ‘birthday‘: ‘1992-10-18‘}, {‘name‘: ‘Selina‘, ‘gender‘: ‘female‘, ‘birthday‘: ‘1995-10-18‘}] <class ‘list‘>
这里使用loads()方法将字符串转为JSON对象。由于最外层是中括号，所以最终的类型是列表类型。
这样一来，我们就可以用索引来获取对应的内容了。例如，如果想取第一个元素里的name属性，就可以使用如下方式：
data[0][‘name‘] data[0].get(‘name‘)
得到的结果都是：Bob
通过中括号加0索引，可以得到第一个字典元素，然后再调用其键名即可得到相应的键值。获取键值时有两种方式，一种是中括号加键名，另一种是通过get()方法传入键名。这里推荐使用get()方法，这样如果键名不存在，则不会报错，会返回None。另外，get()方法还可以传入第二个参数（即默认值），示例如下：
data[0].get(‘age‘) data[0].get(‘age‘, 25)
运行结果如下：
None
25
这里我们尝试获取年龄age，其实在原字典中该键名不存在，此时默认会返回None。如果传入第二个参数（即默认值），那么在不存在的情况下返回该默认值。
值得注意的是，JSON的数据需要用双引号来包围，不能使用单引号。若使用单引号来包围表示，会出现错误。
如果从JSON文本中读取内容，例如这里有一个data.文本文件，其内容是刚才定义的JSON字符串，我们可以先将文本文件内容读出，然后再利用loads()方法转化：
import json with open(‘data.json‘, ‘r‘) as file: str = file.read() data = json.loads(str) print(data)
结果为：
[{‘name‘: ‘Bob‘, ‘gender‘: ‘male‘, ‘birthday‘: ‘1992-10-18‘}, {‘name‘: ‘Selina‘, ‘gender‘: ‘female‘, ‘birthday‘: ‘1995-10-18‘}]
输出JSON，还可以调用dumps()方法将JSON对象转化为字符串。例如，将上例中的列表重新写入文本：
import json data = [{ ‘name‘: ‘Bob‘, ‘gender‘: ‘male‘, ‘birthday‘: ‘1992-10-18‘ }] with open(‘data.json‘, ‘w‘) as file: file.write(json.dumps(data))
利用dumps()方法，我们可以将JSON对象转为字符串，然后再调用文件的write()方法写入文本。
如果想保存JSON的格式，可以再加一个参数indent，代表缩进字符个数。示例如下：
with open(‘data.json‘, ‘w‘) as file: file.write(json.dumps(data, indent=2))
如果JSON中包含中文字符，中文字符都变成了Unicode字符。
为了输出中文，还需要指定参数ensure_ascii为False，另外还要规定文件输出的编码：
with open(‘data.json‘, ‘w‘, encoding=‘utf-8‘) as file: file.write(json.dumps(data, indent=2, ensure_ascii=False))
这样就可以输出JSON为中文了。
3.CSV文件存储
CSV，全称为Comma-Separated Values，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。它比Excel文件更加简介，XLS文本是电子表格，它包含了文本、数值、公式和格式等内容，而CSV中不包含这些内容，就是特定字符分隔的纯文本，结构简单清晰。所以，有时候用CSV来保存数据是比较方便的。
写入
import csv with open(‘data.csv‘, ‘w‘) as csvfile: writer = csv.writer(csvfile) writer.writerow([‘id‘, ‘name‘, ‘age‘]) writer.writerow([‘10001‘, ‘Mike‘, 20]) writer.writerow([‘10002‘, ‘Bob‘, 22]) writer.writerow([‘10003‘, ‘Jordan‘, 21])
首先，打开data.csv文件，然后指定打开的模式为w（即写入），获得文件句柄，随后调用csv库的writer()方法初始化写入对象，传入该句柄，然后调用writerow()方法传入每行的数据即可完成写入。
运行结束后，会生成一个名为data.csv的文件，此时数据就成功写入了。
直接以文本形式打开的话，其内容如下：
写入的文本默认以逗号分隔，调用一次writerow()方法即可写入一行数据。
用Excel打开的结果如图所示。
如果想修改列与列之间的分隔符，可以传入delimiter参数，其代码如下：
import csv with open(‘data.csv‘, ‘w‘) as csvfile: writer = csv.writer(csvfile, delimiter=‘ ‘) writer.writerow([‘id‘, ‘name‘, ‘age‘]) writer.writerow([‘10001‘, ‘Mike‘, 20]) writer.writerow([‘10002‘, ‘Bob‘, 22]) writer.writerow([‘10003‘, ‘Jordan‘, 21])
这里在初始化写入对象时传入delimiter为空格，此时输出结果的每一列就是以空格分隔了
另外，我们也可以调用writerows()方法同时写入多行，此时参数就需要为二维列表，例如：
import csv with open(‘data.csv‘, ‘w‘) as csvfile: writer = csv.writer(csvfile) writer.writerow([‘id‘, ‘name‘, ‘age‘]) writer.writerows([[‘10001‘, ‘Mike‘, 20], [‘10002‘, ‘Bob‘, 22], [‘10003‘, ‘Jordan‘, 21]])
输出效果是相同的。
但是一般情况下，爬虫爬取的都是结构化数据，我们一般会用字典来表示。在csv库中也提供了字典的写入方式，示例如下：
import csv with open(‘data.csv‘, ‘w‘) as csvfile: fieldnames = [‘id‘, ‘name‘, ‘age‘] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) writer.writeheader() writer.writerow({‘id‘: ‘10001‘, ‘name‘: ‘Mike‘, ‘age‘: 20}) writer.writerow({‘id‘: ‘10002‘, ‘name‘: ‘Bob‘, ‘age‘: 22}) writer.writerow({‘id‘: ‘10003‘, ‘name‘: ‘Jordan‘, ‘age‘: 21})
这里先定义3个字段，用fieldnames表示，然后将其传给DictWriter来初始化一个字典写入对象，接着可以调用writeheader()方法先写入头信息，然后再调用writerow()方法传入相应字典即可。最终写入的结果是完全相同的。
如果想追加写入的话，可以修改文件的打开模式，即将open()函数的第二个参数改成a，代码如下：
import csv with open(‘data.csv‘, ‘a‘) as csvfile: fieldnames = [‘id‘, ‘name‘, ‘age‘] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) writer.writerow({‘id‘: ‘10004‘, ‘name‘: ‘Durant‘, ‘age‘: 22})
数据被追加写入到文件中。
如果要写入中文内容的话，可能会遇到字符编码的问题，此时需要给open()参数指定编码格式。比如，这里再写入一行包含中文的数据，代码需要改写如下：
import csv with open(‘data.csv‘, ‘a‘, encoding=‘utf-8‘) as csvfile: fieldnames = [‘id‘, ‘name‘, ‘age‘] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) writer.writerow({‘id‘: ‘10005‘, ‘name‘: ‘王伟‘, ‘age‘: 22})
同样可以使用csv库来读取CSV文件。例如，将刚才写入的文件内容读取出来，相关代码如下：
import csv with open(‘data.csv‘, ‘r‘, encoding=‘utf-8‘) as csvfile: reader = csv.reader(csvfile) for row in reader: print(row)
运行结果如下：
[‘id‘, ‘name‘, ‘age‘] [‘10001‘, ‘Mike‘, ‘20‘] [‘10002‘, ‘Bob‘, ‘22‘] [‘10003‘, ‘Jordan‘, ‘21‘] [‘10004‘, ‘Durant‘, ‘22‘] [‘10005‘, ‘王伟‘, ‘22‘]
标签：数字 col 特定 打开 headers feed 控制 link color
原文地址：https://www.cnblogs.com/wanglinjie/p/9215448.html
