scrapy简介 ? Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中 scrapy的执行流程 Scrapy主要包括了以下组件： 引擎(Scrapy): 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器( ...
分类：
其他好文 时间：
2019-10-08 18:40:12
阅读次数：
80
除了顺序流外，Java 8中也可以对集合对象调用parallelStream方法或者对顺序流调用parallel方法来生成并行流。并行流就是一个把内容分成多个数据块，并用不同的线程分别处理每个数据块的流。这样在使用流处理数据规模较大的集合对象时可以充分的利用多核CPU来提高处理效率。不过在一些情况下 ...
分类：
编程语言 时间：
2019-10-05 20:19:41
阅读次数：
132
scrapy框架之进阶 五大核心组件 - 引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) - 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下 ...
分类：
其他好文 时间：
2019-10-05 14:26:42
阅读次数：
82
缓冲流概述 缓冲流就是带有缓冲区的输入输出流 缓冲流可以显著减少我们对IO访问的次数，保护硬盘！ 缓冲流本身就是处理流（包裹流），所以缓冲流必须依附于节点流（原始流） 处理流是包裹在原始节点上的流，相当于包裹在管道上的管道 创建字符流读文件对象： 创建字符流写文件对象： 使用while循环读写数据： ...
分类：
其他好文 时间：
2019-10-03 16:33:47
阅读次数：
126
Java 8 的 Lambda 表达式和流处理 JDK 8 函数式编程入门 ...
分类：
编程语言 时间：
2019-09-30 13:11:28
阅读次数：
112
匿名内部类 匿名内部类在日常编程中还是经常会使用的。比如 lamda 是java 8的新特性。配合java8的stream流处理，特别的方便 java里还有一个函数接口，在编写中也会用lamda去表示，这样简单一点 + Function + Consumer + Predicate + Suppli ...
分类：
其他好文 时间：
2019-09-29 23:55:11
阅读次数：
200
本文基于java构建Flink1.9版本入门程序，需要Maven 3.0.4 和 Java 8 以上版本。需要安装Netcat进行简单调试。 这里简述安装过程，并使用IDEA进行开发一个简单流处理程序，本地调试或者提交到Flink上运行，Maven与JDK安装这里不做说明。 一、Flink简介 Fl ...
分类：
其他好文 时间：
2019-09-18 10:44:41
阅读次数：
93
大数据作为2019年比较热门的技术，受到越来越多的关注，那么对于一个想进入大数据的朋友来说，最想知道的是：大数据学什么？今天科多大数据就和你们一起来分享一篇关于大数据学习内容体系介绍的文章。大数据技术体系太庞杂了，基础技术覆盖数据采集、数据预处理、分布式存储、NOSQL数据库、多模式计算（批处理、在线处理、实时流处理、内存处理）、多模态计算（图像、文本、视频、音频）、数据仓库、数据挖掘、机器学习、
分类：
其他好文 时间：
2019-09-16 16:18:53
阅读次数：
103
废话，写在前面 好久没写博客了，懒了，以后自觉写写博客，每周两三篇吧！ 简单记录自己的学习经历，算是对自己的一点小小的督促！ Java8的新特性很多，比如流处理在工作中看到很多的地方都在用，是时候扔掉笨重的for循环了！节省40% 50%代码量！Come on! 如题 (总结要点) Stream A ...
分类：
编程语言 时间：
2019-09-15 01:14:52
阅读次数：
222
kafka是基于构建实时数据管道和数据流的应用。具有实时横向扩展、高吞吐量、支持大量堆积具有容错性和速度快等特点。它是一个高性能分布式消息系统。通常一个分布式流数据平台它具有三个特点： 发布和订阅功能，类似于消息系统 以容错的方式记录流 处理流 OpdenDJ 为企业提供了一个高性能，高可靠性的身份 ...
分类：
其他好文 时间：
2019-09-05 23:09:30
阅读次数：
100
