1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E ...
分类：
其他好文 时间：
2021-05-24 07:11:40
阅读次数：
0
import pandas as pd import pymysql def import_data_from_csv(): # 从csv文件导入数据 # engine="python"可以避免文件路径中有中文, encoding="utf_8_sig"可以使读取的内容中有中文 df = pd.re ...
分类：
其他好文 时间：
2021-05-24 07:01:05
阅读次数：
0
前言 部署CentOS7的时候分配的动态扩充虚拟磁盘，共1T大小，在安装Centos时默认分区，系统仅给/分配50G，而大量空间都挂载到/home下，最近CentOS7使用中发现空间已不足够，所以就想如何将/home下的空间重新分配扩容到/下。 配置过程 查看分区大小 df -h 或者lsblk [ ...
分类：
其他好文 时间：
2021-05-24 06:24:49
阅读次数：
0
1.pandas df 与 spark df的相互转换 3.1 利用反射机制推断RDD模式 sc创建RDD 转换成Row元素，列名=值 spark.createDataFrame生成df df.show(), df.printSchema() 3.2 使用编程方式定义RDD模式 生成“表头” fie ...
分类：
其他好文 时间：
2021-05-24 06:12:56
阅读次数：
0
plot 绘图 import pandas as pd excel_name = '5.1-5.9数据.xlsx' df = pd.read_excel(excel_name, index_col=2, parse_dates=True) # 以第二行为索引 ax = df.plot() fig = ...
分类：
其他好文 时间：
2021-05-24 05:19:05
阅读次数：
0
2.查看文件夹占用磁盘空间大小 du -sh 文件夹名称 1 查看当前目录下所有子目录的大小，并从小到大排序： du -sh ./*|sort -h linux -- 查看磁盘空间的大小 Ubuntu 查看磁盘空间大小命令 df -h Df命令是linux系统以磁盘分区为单位查看文件系统，可以加上参 ...
分类：
系统相关 时间：
2021-05-24 02:55:03
阅读次数：
0
去除文件或视频名前缀： 比如这个前缀太长：0001.中国网络电视台-《紧急公关》 第1集 将视频放入同一个文件夹du中，全选，按F2，修改第一个zhi文件名即可。 一、将所有需要修改的视zhuan频放在shu同一个文件夹中，这里可以新建一个文件夹，将视频移入其中。 二、打开这个文件夹，将里面的所有视 ...
分类：
其他好文 时间：
2021-05-24 01:35:51
阅读次数：
0
def numpy_split_pd(df, split_num): # 使用numpy拆分DataFrame 把索引均分 均分后再用索引拆分DataFrame lst_index = list(map(lambda a: a.tolist(), numpy.array_split(df.index ...
分类：
其他好文 时间：
2021-05-24 01:08:44
阅读次数：
0
1. 如何处理NaN 获取缺失值的标记方式（NaN或其他标记方式） 如果缺失值的标记方式是NaN 判断数据是否包含NaN： pd.isnull(df) pd.notnull(df) 存在缺失值NaN： 删除存在的缺失值： dropna(axis='rows') 注：不会修改原数据，而是返回删除后的数 ...
分类：
其他好文 时间：
2021-05-04 16:03:00
阅读次数：
0
import java.util.*; public class Solution { /** * 代码中的类名、方法名、参数名已经指定，请勿修改，直接返回方法规定的值即可 * * * @param numbers int整型一维数组 * @return int整型 */ public int du ...
分类：
编程语言 时间：
2021-05-03 12:09:56
阅读次数：
0
