原文链接： https://data-flair.training/blogs/data-locality-in-hadoop-mapreduce/ 1、什么是数据本地化 数据本地化（Data locality）是指将计算移动到数据所在的节点，而不是移动数据移动到计算所在的节点。在Hadoop中，一 ...
分类：
其他好文 时间：
2021-06-18 19:09:26
阅读次数：
0
kafka几圈搭建好了，但当一个节点挂机后整个集群还是不能使用并没有起到集群的作用，这是为什么？ 在新版本Kafka中，__consumer_offsets这个topic是存放消费者偏移量的，但是该主题默认配置副本数量只有1，容易造成单点故障 注：上一篇博客地址https://www.cnblogs ...
分类：
其他好文 时间：
2021-06-18 18:52:34
阅读次数：
0
在大数据智慧时代背景下，爬虫技术的需求愈发增多。而在最近，淘宝网的大量用户数据就遭到了泄露。6月3日，商丘市睢阳区人民法院在裁判文书网，公开了一份刑事判决书，显示两名犯罪分子在淘宝爬取并盗走大量数据。 经过检方核实，被盗取的淘宝用户数据近 12 亿条。淘宝去年 8 月 14 日报警，有黑产人员通过接 ...
分类：
其他好文 时间：
2021-06-17 17:19:00
阅读次数：
0
https://blog.csdn.net/QYmufeng/article/details/79580582 我的环境： 系统平台：Ubuntu14.04TLS（64位） Hadoop环境：Hadoop2.8.3 Eclipse：Neon.2 Release(4.6.2) Eclipse插件：ha ...
分类：
系统相关 时间：
2021-06-17 17:05:08
阅读次数：
0
简介： 本文将会讲述共享充电宝开创企业来电科技如何基于 Flink + Hologres 构建统一数据服务加速的实时数仓 作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合。 深圳来电科技有限公司（以下简称 “来电科技”）是共享充电宝行业开创企业，主要业务 ...
分类：
其他好文 时间：
2021-06-17 17:00:49
阅读次数：
0
系列文章目录 https://zhuanlan.zhihu.com/p/367683572 (文章目录) 一. 业务模型 在上一篇文章中，我们分析了生产者的原理。下一步我们来分析下提交上来的消息在Server端时如何存储的。 1.1 概念梳理 Kafka用Topic将数据划分成内聚性较强的子集，To ...
分类：
其他好文 时间：
2021-06-15 17:59:49
阅读次数：
0
1. String（字符串） 1.1 简介 String是Redis最基本的类型，一个key对应一个value。 String类型是二进制安全的。意味着Redis的string可以包含任何数据。比如jpg图片或者序列化的对象。 String类型是Redis最基本的数据类型，一个Redis中字符串va ...
分类：
其他好文 时间：
2021-06-13 10:17:51
阅读次数：
0
简介 简单来说, 长连接对于要传输大数据的方式比较适合, 对于与那种短数据, 可以使用短连接. 对于服务器的资源消耗比较少. 参考链接 https://www.cnblogs.com/0201zcr/p/4694945.html code 引用 短连接的操作步骤是： 建立连接——数据传输——关闭连接 ...
分类：
Web程序 时间：
2021-06-13 10:12:25
阅读次数：
0
一、JVM 二、Java集合 三、Java多线程并发 四、Java基础 五、Spring原理 六、微服务 七、Netty与RPC 八、网络 九、日志 十、RabbitMQ 十一、MongoDB 十二、设计模式 十三、负载均衡 十四、数据 十五、Java算法 十六、数据结构 十七、Hadoop 十八、 ...
分类：
编程语言 时间：
2021-06-13 10:00:32
阅读次数：
0
在消息RabbitMQ时,我们关心的一个问题是手动ack还是自动ack,如果是自动ack就怕出现丢消息的情况 Flink以RabbitMQ作为Source,是怎么保证消息唯一性的呢,是怎么保证ack的. 首先引入依赖包 <dependency> <groupId>org.apache.flink</ ...
分类：
其他好文 时间：
2021-06-11 19:15:45
阅读次数：
0
