标签：处理 https 架构 数据 www www. 连接 需要 port
import requests
requests . get( ‘ https:/ /www. baidu. com‘)
爬虫程序
1.给定种子url,程序负责获取url的页面数据
2.程序对页面数据解析解析，匹配需要的url连接，放入到队列
3.重复1和2, 直到条件完成
效率 线程 协程 分布式架构
优先级排序
去重 先hash 再处理
数据存储
标签：处理 https 架构 数据 www www. 连接 需要 port
原文地址：https://www.cnblogs.com/liubosong/p/10339781.html
