第三期 金融数据处理 51.使用绝对路径读取本地Excel数据 #请将下面的路径替换为你存储数据的路径 data = pd.read_excel('/Users/Desktop/600000.SH.xls') WARNING *** OLE2 inconsistency: SSCS size is ...
分类：
其他好文 时间：
2021-05-23 23:36:54
阅读次数：
0
1 import urllib.request 2 #获取一个get请求 3 response = urllib.request.urlopen("http://www.baidu.com") 打开网页并返回网页内容给response print(response.read().decode('ut ...
分类：
编程语言 时间：
2021-05-23 23:31:18
阅读次数：
0
分布式爬虫默认八数据存储在redis中，可以将数据转存到Monogdb或Mysql中，从而降低内存消耗。 from redis import Redisfrom pymongo import MongoClientimport jsondef redis_to_mongodb(): redis_cl ...
分类：
其他好文 时间：
2021-05-04 16:35:44
阅读次数：
0
如果用Python3的一些包，特别是科学计算及数据处理的话，Anaconda是一个不错的发行版本，它预安装了很多流行的python3 的包，它的官网在 https://www.anaconda.com/ archives网址在 https://repo.anaconda.com/archive/ 有 ...
分类：
编程语言 时间：
2021-05-04 16:29:50
阅读次数：
0
scrapy安装配置不在本文 提及， 1.在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令 scrapy startproject mySpider 其中， mySpider 为项目名称，可以看到将会创建一个 mySpider 文件夹，目录结构大致如下： 下面来 ...
分类：
数据库 时间：
2021-05-03 11:59:41
阅读次数：
0
引入Pandas，用于有关数据处理和分析的环节。 一、读取数据文件 1 .读取excel数据文件 1.1加载Excel表，使用skiprows=1跳过首行【对于一个excel文件，首行一般为字段的定义（标题行），第二行才为数据】 并指定加载的列，注意数据文件的编码，默认utf-8，常用还有gb231 ...
分类：
其他好文 时间：
2021-04-29 11:36:23
阅读次数：
0
Pandas数据处理： 导?数据 导出数据 查看数据 数据选取 数据处理 数据分组和排序 数据合并 # 在使用之前，需要导入pandas库 import pandas as pd 导?数据： pd.DataFrame() # 自己创建数据框，用于练习 pd.read_csv(filename) # ...
分类：
其他好文 时间：
2021-04-28 12:19:39
阅读次数：
0
一、定义数据库数据模型 create database doubandb; create TABLE books( id bigint(20) unsigned NOT NULL COMMENT ID号， title varchar(255) DEFAULT NULL COMMENT 书名， aut ...
分类：
其他好文 时间：
2021-04-28 11:43:58
阅读次数：
0
为什么查询速度会慢 大量为了检索数据到存储引擎的调用，以及调用后的数据处理，包括排序和分组。 在完成这些任务的时候，查询需要在不同的地方花费时间,包括网络、CPU计算，生成统计信息和执行计划、锁等待等操作，尤其是向底层存储引擎检索数据的调用操作。优化和查询的目的就是减少和消除这些操作所花费的时间。 ...
分类：
数据库 时间：
2021-04-27 15:01:07
阅读次数：
0
OutLine 一般写好一个 scrapy 项目，启动方式大多会在命令行里执行： scrapy crawl “spider-name” （后面有参数就跟参数） 但这么启动不方便去断点调试，不便于快速定位问题、解决问题。 So 记录下自己在pycharm中断点调试的过程。（下文中图片可能看不清，点击即 ...
分类：
其他好文 时间：
2021-04-26 14:02:07
阅读次数：
0
