有没有小伙伴和我一样，日常工作就是处理大量表格？是不是觉得脑累肩累心累？十年前有个人也跟我们一样为繁琐的工作感到沮丧，然后他就去学习了python，然后构建了专门用来处理表格的pandas项目。他就是pandas的作者WesMcKinney。pandas处理表格真是太好用了，博主写了这个程序以后，原来每个月都要没日没夜赶好多天的工作，现在只要拿着茶杯等着程序运行。下面我们来看看一些常见的数据处理方
分类：
编程语言 时间：
2020-04-08 13:39:20
阅读次数：
182
结构化数据：json，xml等 处理方式：直接转化为python类型 非结构化数据：HTML 处理方式：正则表达式、xpath #json.dumps 实现python类型转化为json字符串 #indent实现换行和空格 #ensure_ascii=False实现让中文写入的时候保持为中文 jso ...
分类：
编程语言 时间：
2020-04-06 20:26:45
阅读次数：
78
报表工具早期基本都是基于关系型数据库作为数据来源，但现在文件类、newsql、nosql，服务类来源应用越来越广泛。报表工具也应与时俱进！目前都搞不搞的定？靠 Api 还是有更好的方式？本篇将介绍报表工具支持的那些数据源，怎么连，有啥更好的方案解决取数及数据处理问题。 ...
分类：
其他好文 时间：
2020-04-06 10:05:05
阅读次数：
72
使用netty的开源框架 Dubbo：阿里开源的高性能rpc通讯框架 RocketMQ：阿里出品的高性能消息队列 Spark：为大规模数据处理设计的一款计算引擎 Elasticsearch,Cassandra,Flink,Netty-SocketIO,Spring5,Play,Grpc... Net ...
分类：
Web程序 时间：
2020-04-06 00:28:27
阅读次数：
121
为什么使用存储过程？ 存储过程只有在创建的时候进行编译， 以后每次执行存储过程都不需要重新在编译了，一般sql语句每执行一次就编译一次，所以使用存储过程后可提高数据的执行速度。 当对数据库进行复杂操作时，可将此复杂操作用存储过程封装起来于数据库提供的数据处理结合一起使用，这些操作，如果用程序来完成就 ...
分类：
数据库 时间：
2020-04-05 13:50:56
阅读次数：
80
**k8s集群日志收集**收集哪些日志K8S系统的组件日志K8SCluster里面部署的应用程序日志日志方案Filebeat+ELKFilebeat(日志采集工具)+Logstach(数据处理引擎)+Elasticserch(数据存储、全文检索、分布式搜索引擎)+Kibana（展示数据、绘图、搜索）容器中的日志怎么收集收集方案：Pod中附加专用日志收集的容器优点：低耦合缺点：每个Pod启动一个日志
分类：
其他好文 时间：
2020-04-05 09:46:15
阅读次数：
75
【10、散列哈希之SHA1加密】SHA1（英语：SecureHashAlgorithm1，中文名：安全散列算法1）是一种密码散列函数，美国国家安全局设计，并由美国国家标准技术研究所（NIST）发布为联邦数据处理标准（FIPS）。SHA-1可以生成一个被称为消息摘要的160位（20字节）散列值，散列值通常的呈现形式为40个十六进制数。**【SHA-1和SHA-0】SHA-1和SHA-0的算法只在压缩
分类：
编程语言 时间：
2020-04-04 20:59:19
阅读次数：
97
https://www.cnblogs.com/wt7018/p/11929359.html MongoDB聚合(aggregate) 一、基础 1、什么是聚合？ 聚合是基于数据处理的聚合管道，每个文档通过一个有多个阶段(stage)组成的管道可以对每个阶段的管道进行分组、过滤等功能，然后经过一系列 ...
分类：
数据库 时间：
2020-04-04 09:57:32
阅读次数：
75
ElasticSearch一般称为近实时的大数据处理引擎，为什么是近实时呢？原因是当我们提交索引数据时，实际上只是写到了Buffer里面，并不是立即可搜索的，最多需要等1秒才可搜索（index.refresh_interval由这个参数控制，可以通过动态API自定义设置，或在建索引时在setting ...
分类：
其他好文 时间：
2020-04-04 00:04:46
阅读次数：
147
1 前沿 1.1 适合自动化的任务 每周二输出一些新的分析结果，编制一份报告，并发送给相关方 其他部门或同事需要能够在没有你的指导和支持下运行报告工具和清洗工具 每周进行一次数据下载、清洗和发送 每次用户请求新报告，报告脚本需要运行，并且在报告生成后通知用户 你需要每周清洗一次数据库里面的错误数据， ...
分类：
编程语言 时间：
2020-04-04 00:00:31
阅读次数：
143
