在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求；特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识。此时一个能够生成全 ...
分类：
编程语言 时间：
2020-09-04 17:22:10
阅读次数：
59
最近做了一个新项目，因为项目需要大量电影数据，猫眼电影又恰好有足够的数据，就上猫眼爬数据了。 1、先分析一下网页地址，发现电影都是被排好序号了，这就很简单了。 2、在分析页面，这次主要爬取黄色框中的内容。在浏览器中按F12检查元素，只要把Div获取出来就算完成了。 下面贴代码： 主函数 1 stat ...
分类：
其他好文 时间：
2020-06-19 10:30:52
阅读次数：
179
本节中，我们利用requests库和正则表达式来抓取猫眼电影TOP100的相关内容。requests比urllib使用更加方便，而且目前我们还没有系统学习HTML解析库，所以这里就选用正则表达式来作为解析工具。 1. 本节目标 本节中，我们要提取出猫眼电影TOP100的电影名称、时间、评分、图片等信 ...
分类：
编程语言 时间：
2020-06-08 14:16:46
阅读次数：
62
XML称为可扩展标记语言，XML是互联网数据传输的重要工具，它可以跨越互联网任何的平台，不受编程语言和操作系统的限制，可以说它是一个拥有互联网最高级别通行证的数据携带者。非常类似HTML。 HTML 和 XML的区别在于HTML主要用来显示数据，XML是用来传输数据。 XML都是标签闭合的。例如： ...
分类：
其他好文 时间：
2020-05-29 22:53:41
阅读次数：
164
一、主题式网络爬虫设计方案 1，主题式网络爬虫名称： 爬取猫眼电影TOP100 2，主题式网络爬虫爬取的内容与数据特征分析： 爬取内容为：电影名，得分， 数据特征分析：将其储存于xlsx文件中 3.主题式网络爬虫设计方案概述（包括实现思路与技术难点） 实现思路：首先进行对网页源代码的访问分析，用Be ...
分类：
其他好文 时间：
2020-04-23 19:02:40
阅读次数：
109
1 写这篇博客的初衷 首先一句话概括：我想把这几个月做的事情记录下来，并且希望尽量详细，希望读者读了这篇文章能够知道项目进行模块化，项目改业务框架可能会遇到哪些问题，具体每个步骤都做什么，而不是大致的了解。 现在很多人都在谈模块化，网上有一大堆的博客实践都在讲这个。很多谈的只是模块与模块之间的解耦， ...
分类：
移动开发 时间：
2020-04-08 22:58:08
阅读次数：
165
掌握SpringBoot,mybatis,ajax,mysql等技术，熟悉影院在线售票系统功能流程，主要功能有影院管理，影厅管理，电影管理，排片管理，选座售票，演员管理，评论管理，影片排名，票房收入，票房排名，财务报表，权限控制及系统日志等功能
分类：
编程语言 时间：
2020-03-19 10:49:58
阅读次数：
188
《小妇人》链接：https://pan.baidu.com/s/1wipusiq9x-BVDl_afJ60PQ 提取码：8frf《九指神丐》链接：https://pan.baidu.com/s/1OX6Cr4rshX-xBvKqneBjkg 提取码：13wi《站住！小偷》链接：https://pan ...
分类：
其他好文 时间：
2020-02-07 16:35:28
阅读次数：
184
大二学生，python小白，边学爬虫边学习python基础 使用教材：《python3网络爬虫开发实战》——崔庆才 首先贴出代码： import requests from requests.exceptions import RequestException import re import js ...
分类：
其他好文 时间：
2020-01-30 21:09:32
阅读次数：
172
import requests#d导入requests模块from multiprocessing import Pool#进程池from requests.exceptions import RequestException#用于异常处理import jsonimport re#导入正则表达式he ...
分类：
其他好文 时间：
2020-01-26 22:25:01
阅读次数：
77
