常用函数二：文本分词 方式一：jieba分词+停用词+自定义词典 # -*- coding: utf-8 -*- """ Datetime: 2020/06/25 Author: Zhang Yafei Description: 文本分词 输入 停用词文件路径 词典文件路径 分词文件路径 表名（可选 ...
分类：
编程语言 时间：
2020-07-05 21:25:01
阅读次数：
46
Pandas 概述 Pandas是python中运用很广泛的统计分析库，用于各种金融、工业、等等统计分析，适用于各种时间序列和面板数据等。而对应于Pandas库，最主要的两个类分别是Series和DataFrame。Pandas是numpy的一种扩展，因此很多高级的数据计算方法也是来源numpy。 ...
分类：
其他好文 时间：
2020-07-05 15:53:25
阅读次数：
74
索引 import pandas as pd ser=pd.Series(range(0,10,2)) print(ser) 0 0 1 2 2 4 3 6 4 8 dtype: int64 通过索引值或索引标签获取数据 通过index查看索引值 print(ser.index) RangeInde ...
分类：
其他好文 时间：
2020-07-04 16:56:12
阅读次数：
240
安装pandas 通过python pip安装pandas pip install pandas pandas数据结构 pandas常用数据结构包括：Series和DataFrame Series Series是一种一维的数组型对象，包含一个值序列（与numpy中的数据类型相似），数据标签（称为索引 ...
分类：
其他好文 时间：
2020-07-03 21:45:40
阅读次数：
55
背景：dataFrame的数据，想对某一个列做逻辑处理，生成新的列，或覆盖原有列的值 下面例子中的df均为pandas.DataFrame()的数据 1、增加新列，或更改某列的值 df["列名"]=值 如果值为固定的一个值，则dataFrame中该列所有值均为这个数据 2、处理某列 df["列名"] ...
分类：
其他好文 时间：
2020-07-03 19:39:59
阅读次数：
299
pandas、spark计算相关性系数速度对比 相关性计算有三种算法：pearson、spearman，kenall。 在pandas库中，对一个Dataframe，可以直接计算这三个算法的相关系数correlation，方法为：data.corr() 底层是依赖scipy库的算法。 为了提升计算速 ...
分类：
其他好文 时间：
2020-07-02 16:38:40
阅读次数：
126
RDD加上结构，比如说类名，就可以变成DataFrame,DataFrame，将每一类同这一类的类名绑定在一起就可以称为DataSet. spark sql 就是来处理dataframe和dataset这样的结构数据的。 spark sql使用的时候需要提供spark session环境。 // S ...
分类：
数据库 时间：
2020-07-01 18:40:18
阅读次数：
60
需求：股票分析 使用tushare包获取某股票的历史行情数据。 tushare财经数据接口包，基于该模块可以获取任意股票的历史交易数据 pip install tushare 输出该股票所有收盘比开盘上涨3%以上的日期。 输出该股票所有开盘比前日收盘跌幅超过2%的日期。 假如我从2010年1月1日开 ...
分类：
其他好文 时间：
2020-06-30 17:23:27
阅读次数：
67
pandas绘图 pandas绘图是基于matplotlib的上层封装 正常工作一般先用pandas绘图，再辅以matplotlib修改组件 Pandas绘图的优势： 代码简洁 针对pandas数据结构专门优化过（series/DataFrame） 劣势： pandas绘图自定义程度较差 matpl ...
分类：
其他好文 时间：
2020-06-30 16:01:20
阅读次数：
96
利用字典构建dataframe。 from pyspark.sql import SparkSession,Row spark = SparkSession.builder.appName("get_app_category").enableHiveSupport().config("spark.d ...
分类：
其他好文 时间：
2020-06-30 14:51:17
阅读次数：
59
