import com.alibaba.fastjson.JSON; import redis.clients.jedis.Jedis; import com.alibaba.fastjson.JSONObject; import java.util.HashMap; import com.googl ...
分类:
数据库 时间:
2020-09-18 02:52:16
阅读次数:
46
一、爬虫定义 简单说的话,爬虫就像一个虚拟的虫子,然后利用这只虫子,我们可以在网上获取到我们想要的信息。 二、爬虫的工作原理 浏览器工作原理 一般情况下,我们获取数据都是打开浏览器,然后搜索关键字,浏览器去工作,然后显示出来我们要的数据,我们再进行复制粘贴或者其他操作。 类似于下图 这里的客户端是我 ...
分类:
编程语言 时间:
2020-09-18 01:50:15
阅读次数:
40
内置支持 selecting and extracting 使用扩展的CSS选择器和XPath表达式从HTML/XML源中获取数据,并使用正则表达式提取助手方法。 interactive shell console (ipython-aware)用于尝试使用css和xpath表达式来获取数据,在编写 ...
分类:
编程语言 时间:
2020-09-18 01:28:40
阅读次数:
35
问题引入 天气预报项目需求,具体要求如下: 1、气象站可以将每天测量的温度、湿度、气压等以公告的形式发布出去(比如发布到自己的网站或第三方) 2、需要设计开放型API,便于其他第三方也能接入气象站获取数据 3、提供温度、气压和湿度接口 4、测量数据更新时,要能实时的通知给第三方 方案一 通过对气象站 ...
分类:
编程语言 时间:
2020-09-17 19:46:58
阅读次数:
36
步骤: 1. 加载数据库 MySQL驱动名: com.mysql.jdbc.Driver 加载方式: Class.forName(驱动名) 2.获取数据库连接: Connection con = DriverManager.getConnection(dbUrl, dbUserName, dbPas ...
分类:
数据库 时间:
2020-09-17 12:55:10
阅读次数:
29
<p>首先感受一下利用dns和不利用dns时的速度</p> 这个是不使用dns,可以看左侧的时间,大概一分钟一条把,实际中这种还算是快的,并且是英文字符 我们再来看使用dns之后(真的不是缓存) 这是同一个库,使用dns之后,基本是秒速出数据了,速度对比非常明显, 然后我们看怎么操作 首先要拥有一个 ...
分类:
其他好文 时间:
2020-09-17 12:20:01
阅读次数:
28
1、proxy的实现 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 let my = { location : "市区", housePrice : 20000 } //在我们获取数据前进行处理;//参数 第一要代理的对象 第二 处 ...
分类:
其他好文 时间:
2020-09-16 12:22:15
阅读次数:
24
报表生成器简单来说,这也就是创建报表的一种工具,而它在设计报表的过程中本身就包含了很多的内容,比如说从哪里获取数据检索什么数据,又或者是如何显示数据等等。当我们在运行报表的过程中,也应该用指定的报表,来进行数据的检测,把数据和报表结合在一起就能够生成报表。而我们在日常操作的时候,只需要在生成器中预览即可,整体是非常简单的。报表生成器有哪些软件工具?在目前的市场上本身就有着许许多多的生成器,而这些基
分类:
其他好文 时间:
2020-09-12 21:34:46
阅读次数:
43
将模板添加给主机后需要如下配置:1,数据库授权获取数据的用户grantselecton.tozabbixmonitor@"localhost"identifiedby"zabbixmonitor";flushprivileges;2,配置文件vim/etc/zabbix/.my.cnf[client]hostname=localhostuser=zabbix
分类:
数据库 时间:
2020-09-08 20:59:23
阅读次数:
63
问题情形 使用Python SDK在连接到数据库后,连接数据库获取数据成功,但是在Pandas中用 to_sql 反写会数据库时候报错。错误信息为:ProgrammingError: ('42000', "[42000] [Microsoft][SQL Server Native Client 11 ...
分类:
数据库 时间:
2020-08-28 15:02:00
阅读次数:
75