##Selector对象 Scrapy综合bs（beautifulSoup）和lxml两者优点实现了Selector类,它是基于lxml库构建的,并简化了API接口。在Scrapy中使用Selector对象提取页面中的数据,使用时先通过XPath或CSS选择器选中页面中要提取的数据,然后进行提取。 ...
分类：
其他好文 时间：
2021-03-09 13:07:42
阅读次数：
0
数组声明创建 获取数组的长度：数组名.length 增强型for循环 int [] arrays = {1,2,3,4,5}; for (int array : arrays) { System.out.println(array); 数组的声明 dataType[] arrayRefVar; // ...
分类：
编程语言 时间：
2021-03-08 13:17:19
阅读次数：
0
#!/bin/bash #for.sh for i in `cat ./ip.txt`; do ip=`echo $i|awk -F: '{print $1}'` num=`echo $i|awk -F: '{print $2}'` echo $ip sleep 1 echo $num sleep ...
分类：
其他好文 时间：
2021-03-06 14:46:46
阅读次数：
0
近日，Hudi社区合并了 Flink 引擎的基础实现（HUDI-1327），这意味着 Hudi 开始支持 Flink 引擎。 当前 Flink 版本的 Hudi 只支持读取 Kafka 数据，sink到 COW 类型的 Hudi 表中，其他功能还在完善。 这里我们简要介绍下如何从 Kafka 读取数 ...
分类：
其他好文 时间：
2021-03-04 13:29:01
阅读次数：
0
一、事务 事务是由一组SQL语句组成的逻辑处理单元，是满足 ACID 特性的一组操作，可以通过 Commit 提交一个事务，也可以使用 Rollback 进行回滚。事务具有以下4个属性，通常简称为事务的ACID属性: 原子性（Atomicity）：事务是一个原子操作单元，其对数据的修改，要么全都执行 ...
分类：
数据库 时间：
2021-03-03 12:25:17
阅读次数：
0
Scanner Java.util.Scanner是Java5的新特征，我们可以通过Scanner类来获取用户的输入。 基本语法： Scanner s = new Scanner(System.in); 通过Scanner类的next()和nextLine()方法获取输入的字符串，在读取前我们一般需 ...
分类：
编程语言 时间：
2021-03-01 13:42:30
阅读次数：
0
第一部分 分析： 使用selenium获得登陆的cookie，再把cookie传递给requests这种更换请求方式爬取登陆微信公众号平台后的数据，是不行的，所以手动扫码登陆网页的微信公众号平台登陆后，接着使用selenium进行抓取数据等操作（自己分析实践下就知道了） 代码部分： 这里使用Jupy ...
分类：
微信 时间：
2021-03-01 13:22:06
阅读次数：
0
第三章- switch语句和循环 1.1 分支语句switch语句 格式 switch (表达式) { case 1: 语句体1; break; case 2: 语句体2; break; ... default: 语句体n+1; break; } 执行流程： 首先计算出表达式的值 其次，和case依 ...
分类：
其他好文 时间：
2021-03-01 12:59:14
阅读次数：
0
1.获取列 df['country'] df[['country','year']] #不能通过df[0]获取第一列,如果想通过列的索引位置获取列需要用到loc #获取所有列名 df.columns #得到一个Index类型 list(df.columns)#将得到的Index类型转成列表 2.获取 ...
分类：
其他好文 时间：
2021-02-24 13:04:07
阅读次数：
0
# -*- coding: UTF-8 -*- import pymongo # 连接数据库 client = pymongo.MongoClient('localhost',27017) db=client['qunar'] collection=db['departures'] # 读取数据 d ...
分类：
数据库 时间：
2021-02-23 14:03:33
阅读次数：
0
