6. 数据加载、存储和文件格式 输出输出通常包括几个大类: 读取文本文件和其他更高效的磁盘存储格式; 加载数据库中的数据; 利用Web API 操作网络资源。 这里着重介绍pandas的输入输出对象。 6.1 读取文本格式的数据 pandas 提供了一些用于将表格数据读取为DataFrame 对象的 ...
分类:
其他好文 时间:
2020-01-12 18:07:15
阅读次数:
92
下面代码打印结果是? 解析这道题之前我们先了解几个知识点~~~~ 数据加载方案 同步加载 异步加载 : 事件 , 定时器 , ajax js单线程语言 为什么是单线程语言? dom操作 如果js是多线程语言,第一个线程执行把dom对象删除,另一个线程执行把dom对象添加 同步代码异步代码加载顺序 : ...
分类:
其他好文 时间:
2020-01-11 20:13:28
阅读次数:
90
爬虫学习 15.scrapy中selenium的应用 引入 在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现,通过浏览器进行url请求发送则会加载出对应的 ...
分类:
其他好文 时间:
2020-01-10 22:18:58
阅读次数:
81
爬虫学习 08.Python网络爬虫之图片懒加载技术、selenium和PhantomJS 引入 今日概要 图片懒加载 selenium phantomJs 谷歌无头浏览器 知识点回顾 验证码处理流程 今日详情 动态数据加载处理 一.图片懒加载 什么是图片懒加载? 案例分析:抓取站长素材http:/ ...
分类:
编程语言 时间:
2020-01-09 22:24:11
阅读次数:
113
这篇文章写得太好了,记录一下: 引自:https://www.jianshu.com/p/2f98dd213f04 2.内存分析和处理 程序的运行离不开对内存的操作,一个软件要运行,须将数据加载到内存中,通过CPU进行内存数据的读写,完 成数据的运算。 2.1 程序内存浅析 软件的程序在计算机中的执 ...
分类:
编程语言 时间:
2020-01-09 18:32:37
阅读次数:
99
import tensorflow as tf from tensorflow import keras # train: 60k | test: 10k (x, y), (x_test, y_test) = keras.datasets.mnist.load_data() x.shape y.sh... ...
分类:
其他好文 时间:
2020-01-02 22:17:18
阅读次数:
86
pandas多种格式数据加载 在我们实际场景中,我们会在不同地方遇到各种不同数据格式(比如大家熟悉的CSV格式,txt格式,HTML格式,XML格式等等),我们如何用python和这些数据打交道呢? 1.不同格式文本的数据读取 1.1csv读取: 正常读取 分隔符读取 不要headers读取(第一行 ...
分类:
其他好文 时间:
2020-01-01 20:45:05
阅读次数:
72
Ajax数据爬取 简介 数据加载是异步加载,局部刷新。web开发的前后端分离通常都用Ajax交互,降低了服务器直接渲染页面带来的压力 基本原理 发送请求 解析内容 渲染网页 其实就是 向后端指定接口发送请求,返回数据,渲染页面 JS对Ajax底层的实现,实际上是新建了一个XMLHttpRequest ...
分类:
Web程序 时间:
2019-12-22 18:10:39
阅读次数:
84
Redis能将数据保存在内存中,提高性能。但是redis同时支持数据的持久化:有俩种策略:RDB和AOF。这俩种方式都是通过redis.conf可以进行配置。持久化策略,能尽量的保证当掉电后或者服务故障的时候,保证数据的安全性,通过持久化策略进行数据持久化,再重启服务的时候,进行数据恢复。数据加载流 ...
分类:
其他好文 时间:
2019-12-20 16:39:10
阅读次数:
87
xpath解析是我们在爬虫中最常用也是最通用的一种数据解析方式。 环境安装 pip install lxml 解析原理 使用通用爬虫爬取网页数据 实例化etree对象,且将页面数据加载到该对象中 使用xpath函数结合xpath表达式进行标签定位和指定数据提取 实例化etree对象 - 1.将本地的 ...
分类:
其他好文 时间:
2019-12-17 14:44:18
阅读次数:
108