一:scrapy的概念和流程 1:scrapy 的概念 Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。 Scrapy 使用了Twisted['tw?st?d]异步网络框架,可以加快我们的下载速度。 2:scrapy框架的作用 少量的代码, ...
分类:
移动开发 时间:
2020-11-30 15:33:05
阅读次数:
11
Maven配置阿里云镜像 为什么我们下载jar这么慢 maven默认会从中央仓库下载jar包,这个仓库在国外,而且全世界的人都会从这里下载,所以下载速度肯定是非常慢的。 解决方案使用镜像 什么是镜像? 你照镜子是时候镜子里的人就是镜像 镜像就相当于是中央仓库的一个副本,内容和中央仓库完全一样,目前有 ...
分类:
编程语言 时间:
2020-11-17 12:54:15
阅读次数:
9
我们下载python的库一般会使用pip工具。但在下载的过程中经常会timeout,这是因为资源在国外,我们国内某些资源下载速度特别慢,我比较常用且有效的方法是: 使用国内镜像:使用方法如下(超级简单) # 直接在后面添加 -i "https://pypi.doubanio.com/simple/" ...
分类:
其他好文 时间:
2020-10-29 09:43:12
阅读次数:
17
前言 本篇博客主要是收集一些常用的生活小插件,汇总在一起,以供有需求的人使用。 插件目录 浏览器 chrome下载提速 Google为了兼容所有的电脑性能和带宽,在Chrome中采取的是保守单线程下载机制,这就导致很多时候下载速度非常慢了。 在浏览器地址栏输入以下网址并回车:chrome://fla ...
分类:
其他好文 时间:
2020-10-27 11:14:07
阅读次数:
23
前言 网上有很多资源都提供了一种下载方式:npm,比如前端框架Bootstrap、Layui等。但是并没有告诉新人,npm是什么?npm的命令在哪里执行?npm的原理是什么? 简介 NPM的全称是Node Package Manager,是一个NodeJS的包管理和分发工具,已经成为了非官方的发布N ...
分类:
其他好文 时间:
2020-09-18 12:27:27
阅读次数:
46
现在互联网处在快速发展的阶段,5G,WIFI6,万物互联都是新型的产物,随着连接网络的上行下载速度越来越快,用户也在追求更好的网速,等待加载时间也越来越短无疑也是助力媒体广告行业发展。内容和资源是媒体广告行业的基础,即使是在不同的多种生态下各家百家齐放的时代下,内容依然是媒体最有力的抓手,如何将内容资产进行高效的综合管理与利用,关系到媒体广告行业能否在新趋势下快速增加价值和提升客户满意度。但是呢媒
分类:
其他好文 时间:
2020-09-17 18:39:50
阅读次数:
31
随着互联网经济的快速发展,毕业大学生在面临着就业难的考验,互联网行业也存在着人才的缺少。于是越来越多的同学会在Java和.NET中进行选择!到底学哪个呢?哪个入门更快?哪个更好找工作?哪个前景好呢?针对这些问题,我们一起分析一下。.net和java各自优势。Java和.net最主要的区别就是,java是一个开源的跨平台的语言,.net是一个跨语言的平台;.net效率更高一些,浏览下载速度更快,但是
分类:
编程语言 时间:
2020-09-15 21:30:21
阅读次数:
96
随着互联网经济的快速发展,毕业大学生在面临着就业难的考验,互联网行业也存在着人才的缺少。于是越来越多的同学会在Java和.NET中进行选择!到底学哪个呢?哪个入门更快?哪个更好找工作?哪个前景好呢?针对这些问题,我们一起分析一下。.net和java各自优势。Java和.net最主要的区别就是,java是一个开源的跨平台的语言,.net是一个跨语言的平台;.net效率更高一些,浏览下载速度更快,但是
分类:
编程语言 时间:
2020-09-15 21:30:06
阅读次数:
63
说到下载工具,大部分人首先会想到迅雷、百度网盘之类主流工具,虽说可以免费使用,但使用过程中一部分网友最后还是屈服在充会员的路上。。。另一部分网友则是另辟蹊径,使用网盘+IDM的方式来保证下载速度。你知道IDM除了可以用来加速下载网盘资源外,其本身也是一款非常强大的下载器吗?InternetDownloadManager(IDM)尽管有很多人推荐,尽管你也已经知道了IDM,但接下来介绍的IDM功能妙
分类:
其他好文 时间:
2020-08-21 16:36:36
阅读次数:
111
阿里云镜像源配置 这样做的目的是为了提高下载速度 首先切换到root用户(进入root和密码在标题"安装ubuntu18"的序号"11"处有写) cp /etc/apt/sources.list /etc/apt/sources.list.bak 然后编辑这个文件,替换为 vim /etc/apt/ ...
分类:
系统相关 时间:
2020-08-20 19:10:38
阅读次数:
134