文章目录 前言 网络爬虫 搜索引擎 爬虫应用 谨防违法 爬虫实战 网页分析 编写代码 运行效果 反爬技术 前言 很多人学习python，不知道从何学起。很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。很多已经做案例的人，却不知道如何去学习更加高深的知识。那么针对这三类人，我给大 ...
分类：
编程语言 时间：
2020-09-14 19:03:47
阅读次数：
48
numbers=[1,2,3,4,5]#1.最常见的for迭代器遍历：print("最常见的for迭代器遍历:")fornumberinnumbers:print(number)#2.while遍历，通过索引取值：print("while遍历:")i=0whilei<len(numbers):print(numbers[i])i+=1#3.for配合range遍历，类似于C语言的for语句遍
分类：
编程语言 时间：
2020-09-14 18:41:33
阅读次数：
38
数字统计数字统计一随机产生取值范围为[1,20]的10个数字，统计各个数字出现的次数。方法一：利用List的索引实现数字统计。10个数字，范围为1至20，可以以一个列表来记录数字出现的次数importrandomrandom_nums=[random.randint(1,20)for_inrange(10)]print(random_nums)record_nums=[0]*21#索引从0开始，为
分类：
其他好文 时间：
2020-09-12 21:55:42
阅读次数：
57
#冒泡排序#排序的过程：两个相邻的数比较，比如从小到大比：如果a>b就交换两个数，一直交换到最后一个，确定了最大的值排在最后，再接着比第二轮...#从左边往右边交换：第一轮比较后，最右边的就是最大值,接着比较第二轮就要排除最右边的已排好的数字，每轮比较都是如此#注意嵌套训循环对索引的控制a=[2,3,0,100,6,3,-2]n=len(a)print("从左往右交换：")foriinran
分类：
编程语言 时间：
2020-09-12 21:54:41
阅读次数：
63
#MapReduce Google File System提供了大数据存储的方案，这也为后来HDFS提供了理论依据，但是在大数据存储之上的大数据计算则不得不提到MapReduce。 虽然现在通过框架的不断发展，MapReduce已经渐渐的淡出人们的视野，越来越多的框架提供了简单的SQL语法来进行大数 ...
分类：
其他好文 时间：
2020-09-12 21:52:03
阅读次数：
61
一、elasticsearch - 分析过程 前言 现在，我们已经了解了如何建立索引和搜索数据了。 那么，是时候来探索背后的故事了！当数据传递到elasticsearch后，到底发生了什么？ 分析过程 当数据被发送到elasticsearch后并加入到倒排索引之前，elasticsearch会对该文 ...
分类：
其他好文 时间：
2020-09-12 21:49:09
阅读次数：
50
数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询，更新数据库表中数据。 索引的实现通常使用B树以其变种B+树。 在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用(指向)数据，这样就可以在这些数据结构上实现高级查找算法。这种数据结构，就是索引。 为表 ...
分类：
其他好文 时间：
2020-09-12 21:44:36
阅读次数：
44
1、利用字典生成DataFrame ① 第一种方式：列表组成的字典 stu = { "name":["张三","李四","王燕"], "age":[18,20,22], "sex":["男","男","女"]}df = pd.DataFrame(stu)display(df) 结果如下： ② 第二种 ...
分类：
其他好文 时间：
2020-09-12 21:36:16
阅读次数：
59
报表生成器简单来说，这也就是创建报表的一种工具，而它在设计报表的过程中本身就包含了很多的内容，比如说从哪里获取数据检索什么数据，又或者是如何显示数据等等。当我们在运行报表的过程中，也应该用指定的报表，来进行数据的检测，把数据和报表结合在一起就能够生成报表。而我们在日常操作的时候，只需要在生成器中预览即可，整体是非常简单的。报表生成器有哪些软件工具？在目前的市场上本身就有着许许多多的生成器，而这些基
分类：
其他好文 时间：
2020-09-12 21:34:46
阅读次数：
43
1. count(1) and count(*) 当表的数据量大些时，对表作分析之后，使用count(1)还要比使用count(*)用时多了！ 从执行计划来看，count(1)和count()的效果是一样的。但是在表做过分析之后，count(1)会比count()的用时少些（1w以内数据量），不过差 ...
分类：
其他好文 时间：
2020-09-11 16:11:38
阅读次数：
56
