pyetl是一个纯python开发的ETL框架, 相比sqoop, datax 之类的ETL工具,pyetl可以对每个字段添加udf函数,使得数据转换过程更加灵活,相比专业ETL工具pyetl更轻量,纯python代码操作,更加符合开发人员习惯 安装 pip3 install pyetl 使用示例 ...
分类:
编程语言 时间:
2020-06-04 10:25:51
阅读次数:
135
decimal 模块:decimal意思为十进制,这个模块提供了十进制浮点运算支持 1.可以传递给Decimal整型或者字符串参数,但不能是浮点数据,因为浮点数据本身就不准确。 2.要从浮点数据转换为Decimal类型 from decimal import * Decimal.from_float ...
分类:
编程语言 时间:
2020-06-03 23:40:13
阅读次数:
160
在前后端的数据协议(主要指http和websocket)的问题上,如果前期沟通好了,那么数据协议上问题会很好解决,前后端商议一种都可以接受的格式即可。但是如果接入的是老系统、第三方系统,或者由于某些奇怪的需求(如为了节省流量,json 数据使用单字母作为key值,或者对某一段数据进行了加密),这些情 ...
分类:
Web程序 时间:
2020-05-31 17:56:34
阅读次数:
98
d3的布局,实际上是一个转换函数,将 原始数据 转换为 该布局需要的数据。 并不能直接通过布局生成图形,仍然需要自己根据数据去添加图形。 1.常用布局有12种 直方图(Histogram)饼状图(Pie)力导向图(Force)弦图(Chord)捆图(Bundle)堆栈图(Stack) 层级图(Hie ...
分类:
其他好文 时间:
2020-05-30 14:15:48
阅读次数:
151
当音频的声道数多于一个时,音频数据的存放有两种格式,即交织的(interleave)和非交织的(non-interleave)。以最常见的双声道为例,交织和非交织的音频数据存放如下图: 上图中L表示左声道数据,R表示右声道数据,整数1、2等表示第几个采样点,这样L1就表示左声道的第一个采样点数据。从 ...
分类:
其他好文 时间:
2020-05-29 19:45:36
阅读次数:
100
字符串函数 1 addcslashes — 为字符串里面的部分字符添加反斜线转义字符 2 3 addslashes — 用指定的方式对字符串里面的字符进行转义 4 5 bin2hex — 将二进制数据转换成十六进制表示 6 7 chop — rtrim() 的别名函数 8 9 chr — 返回一个字 ...
分类:
Web程序 时间:
2020-05-27 12:31:50
阅读次数:
78
今天在写QT程序的时候需要从文件中把日期时间读取成int和double类型的数据,想要把这读进来的日期时间设置到QDatetimeEdit组件上,查了半天也没有找到直接设置的方法,后来经过查找资料发现可以先把上述的时间日期转换为规定类型(比如:“yy-MM-dd hh:mm:ss”)的QString ...
分类:
其他好文 时间:
2020-05-26 18:44:42
阅读次数:
78
引言 做接口测试的时候,我通常需要对返回的数据转换成json格式的字符串,这样通常使用到json库,而json模块四个方法:dump、dumps、load、loads。其中dump和load是操作文件,dumps和loads是操作python对象的。 知识点 前面说过python对象包括三个基本要素 ...
分类:
Web程序 时间:
2020-05-23 00:14:03
阅读次数:
77
问题: 使用query传参,接收页面刷新后丢失数据。 首先说明一下,我需要传的数据是一个数组,来看看我的代码怎么写的,如下图 解决方法: 将数据转换为json格式传过去 注意:重点来了,千万要谨记地址栏传数据时一定不能传object类型 ...
分类:
其他好文 时间:
2020-05-22 12:35:14
阅读次数:
268
在实际开发中,我们时常面临将客户端发送的字符串数据转换为数字的情况,如果不做判断,直接使用java方法转换的话,可能会报类型转换异常(客户输入的数据不是数字),所以一定要做字符串数据的判断 方法一:判断字符串是否为整数 方法二:判断字符串是否为整数或者小数 如果以上方法返回的值为true,则可以进行 ...
分类:
其他好文 时间:
2020-05-22 09:32:33
阅读次数:
61