前段时间做了一些powerbi的开发工作,整理一下开发的大致步骤: 1.明确主题 2.设计数据模型:星型模型下设计事实表,维度表,数据粒度 3.整理源数据,获取源数据:文本文件,EXCEL,CSV,DB 4.在查询编辑器清洗数据,加工数据,聚合数据,简单的操作可以使用自带的图形化功能,复杂的操作(比 ...
分类:
其他好文 时间:
2020-08-08 00:32:41
阅读次数:
66
自从学会了csv格式可以直接txt文本里面逗号分隔之后,现在文本转excel太方便了譬如领导让我整理交换机端口表出一个excel,但是你用excel自带的用空格符号时候,因为描述那里也有空格,搞得很复杂。我就直接用notepad++打开,他可以垂直选择块区域,整体替换为英文逗号,之后修改为csv就编程表格了,之后可以复制到excel之中。
分类:
其他好文 时间:
2020-08-05 14:26:35
阅读次数:
85
按照特定字符分割 例如:CSV格式可以打开为表格,每列参数之间是按照“,”分割的,按照行来读取每列的值 Eg. # 通过修改IFS的值,来完成列的分割 DEFAULT_IFS=$IFS function chage_ifs() { IFS=${1} } function default_ifs() ...
分类:
系统相关 时间:
2020-08-05 00:01:31
阅读次数:
85
用的是xlsx包,由于v8默认内存限制是1.4G,当导出的数据太大的时候,内存会炸,由于csv格式的excel文件,本质上就是文本文件,所以在不调大内存上限的情况下,实现思路是分批处理,用流的方式追加到文件,第一批处理有header,后面追加没有header。微软excel能打开最大的行数是1048 ...
分类:
其他好文 时间:
2020-07-31 12:31:12
阅读次数:
83
众所周知,同一个功能点一般都有多个不同的测试点,即正向流程、异向流程,如登录功能,要验证正常登录、账号密码错误、账号密码为空等情况,为了避免总是漏测的情况,可将所有的测试用例编写在csv文件中,然后使用Jmeter工具中的CSV Data Set Config配置文件,对测试数据进行参数化,循环读取 ...
分类:
其他好文 时间:
2020-07-30 16:41:32
阅读次数:
90
Devart dbForge Studio 2020 for MySQL Enterprise是一款功能丰富的数据库相关软件,支持数据备份、同步、导入导出。在节省完成项目时间的同时,用于可以导入各种数据,例如Text,Excel,Access,CSV,XML,DBF或ODBC,并且导出的可能性也多种多样。当处理SQL编码时,它可以向用户提供各种代码来完成和格式设置,换种说话,在编辑一条长长的代码时,可以通过智能标记插入代码段。用户可以使用内置的可视化构建器创建复杂的查询,并生成大量的图表,在其中可以拖放所需的表并建立连接。总而言之,它是一个完整的MySQL开发工具包,能够帮助相关人员省去不必要的麻烦和数据库编码步骤。
分类:
数据库 时间:
2020-07-28 00:07:22
阅读次数:
129
数据准备1 数据导入、导出 读取Excel(.xlrx文件)并进行导出备份 import pandas as pd from pandas import DataFrame # Pandas可以直接从xlsx(excel)、csv等文件中导入数据,也可以输出到xlsx(excel)、csv格式中 s ...
分类:
其他好文 时间:
2020-07-26 19:00:03
阅读次数:
59
1.例子 import csv def writeToCSV(fileName): outputFile = open(fileName,'w',newline='') outputWriter = csv.writer(outputFile) #outputWriter = csv.writer( ...
分类:
编程语言 时间:
2020-07-26 00:39:51
阅读次数:
75
Task2 数据读取与数据分析 一、数据读取 1 import pandas as pd 2 train_df = pd.read_csv('./train_set.csv', sep='\t') 首先对read_csv的函数有个清晰的认识,具体的参数的情况如下: filepath_or_buffe ...
分类:
其他好文 时间:
2020-07-23 16:48:28
阅读次数:
119
##Task2 数据读取与数据分析 ####1.学习目标 学习使用Pandas读取赛题数据 分析赛题数据的分布规律 ####2.数据读取 代码示例: import pandas as pd file_dir = "nlp_data_list" train_df = pd.read_csv("./{} ...
分类:
其他好文 时间:
2020-07-23 01:45:01
阅读次数:
80