Python之日志处理（logging模块） 本节内容 日志相关概念 logging模块简介 使用logging提供的模块级别的函数记录日志 logging模块日志流处理流程 使用logging四大组件记录日志 配置logging的几种方式 向日志输出中添加上下文信息 参考文档 一、日志相关概念 日 ...
分类：
其他好文 时间：
2018-07-16 11:13:10
阅读次数：
129
数据注入和流计算： Ignite流式计算允许以可扩展和容错的方式处理连续不中断的数据流。在一个中等规模的集群中，数据注入Ignite的比例会很高，很容易达到每秒百万级的规模。 Ignite可以与主要的流处理技术和框架进行集成，比如Kafka、Camel、Storm或者JMS，他们可以为基于Ignit ...
分类：
其他好文 时间：
2018-07-14 11:47:59
阅读次数：
181
1、scrapy scrapy作为一款优秀的爬虫框架，在爬虫方面有这众多的优点。能快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。 它的主要组件有如下几种： 引擎（Scrapy）：用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器（Scheduler） ...
分类：
其他好文 时间：
2018-07-12 01:02:16
阅读次数：
184
1.什么是结构化流. 结构化流(Structured Streaming),是一种基于Spark-SQL引擎构建的,可容错的,可扩展的流处理引擎. 它以微批量计算的形式来表达流式计算,随着流式数据持续到达,它能持续的进行处理并更新最终计算结果. 它使用Spark-SQL带来的丰富的API,来表示流聚 ...
分类：
其他好文 时间：
2018-07-06 01:45:33
阅读次数：
169
kafka是用于构建实时数据管道和数据流的应用程序。具有实时横向扩展、高吞吐量、支持大量堆积具有容错性和速度快等特点。它是一个高性能分布式消息系统。通常一个分布式流数据平台它具有三个特点：发布和订阅功能，类似于消息系统以容错的方式记录流处理流Kafka通常用于构建在系统或应用之间的实时数据流管道、构建实时流应用程序用于转换和响应数据流
分类：
其他好文 时间：
2018-07-01 11:40:42
阅读次数：
135
1.window操作系统自带的编码格式是gbk，python3的编码格式是utf_8; 2.文件流处理 通过open（）获得文件句柄，通过句柄操纵操作系统从文档中读取内容；待文档信息读取完成后要关闭句柄，不然会一直占用操作系统。 r模式：只读模式 f.read()//读取文档全部内容 f.readl ...
分类：
编程语言 时间：
2018-06-29 23:37:11
阅读次数：
347
设计模式：装饰器（Decorator）模式 一、前言 装饰器模式也是一种非常重要的模式，在Java以及程序设计中占据着重要的地位。比如Java的数据流处理，我们可能看到数据流经过不同的类的包装和包裹，最终形成了我们需要的流，比如说从二进制到字节流再到字符流，这中间其实就是经过了装饰器的处理，在不改变 ...
分类：
其他好文 时间：
2018-06-28 17:33:03
阅读次数：
188
最近开发需求中有需要对后台接口进行限流处理，整理了一下基本使用方法。 首先添加guava依赖: 然后封装RateLimiter适用对多接口的限制: 使用RateLimiterFactory实现对接口的限制: 以上就是RateLimiter实现接口限流的常见使用，头一次发文，mark一下。 ...
分类：
其他好文 时间：
2018-06-26 01:12:43
阅读次数：
600
一、流的分类： 按照数据流向的不同：输入流 输出流 按照处理数据的单位的不同：字节流 字符流（处理的文本文件） 按照角色的不同：节点流（直接作用于文件的） 处理流 二、IO的体系 抽象基类 节点流（文件流） 缓冲流（处理流的一种） InputStream FileInputStream Buffer ...
分类：
编程语言 时间：
2018-06-17 00:14:54
阅读次数：
204
Scrapy主要包括了以下组件： 引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的 ...
分类：
其他好文 时间：
2018-06-16 15:12:46
阅读次数：
188
