老陶大作，拜读有感：1.首选俺擅长的文件模式；2.尽快尝试SQLite；3.通过TDengine进入开源世界。 原文链接：https://mp.weixin.qq.com/s/6Z6XTJ2zIoPJYphvzl9VpA 除了花开疫散，我最希望的是开源的TDengine能媲美SQLite 原创 陶建 ...
分类：
其他好文 时间：
2020-02-24 09:39:28
阅读次数：
108
sparkUi的4040界面已经有了运行监控指标，为什么我们还要自定义存入redis？ 1.结合自己的业务，可以将监控页面集成到自己的数据平台内，方便问题查找，邮件告警 2.可以在sparkUi的基础上，添加一些自己想要指标统计 一、spark的SparkListenersparkListener是 ...
分类：
其他好文 时间：
2020-02-17 01:03:57
阅读次数：
306
写在前面 本来是可以将数据存储在 容器内部 的。但是存在容器内部，一旦容器被删除掉或者容器毁坏（我亲身经历的痛，当时我们的大数据平台就是运行在docker容器内，有次停电后，不管怎样容器都起不来。以前的同事也没有将数据映射到外面 。搞得最后我们重新导的数据，痛的领悟啊~~）。 再就是如果不将数据映射 ...
分类：
其他好文 时间：
2020-02-12 10:30:09
阅读次数：
79
Web播放器解决了在手机浏览器和PC浏览器上播放音视频数据的问题，让视音频内容可以不依赖用户安装App，就能进行播放以及在社交平台进行传播。在视频业务大数据平台中，播放数据的统计分析非常重要，所以Web播放器在使用过程中，需要对其内部的数据进行收集并上报至服务端，此时，就需要对发生在其内部的一些播放 ...
分类：
Web程序 时间：
2020-02-07 16:48:53
阅读次数：
115
数据平台中有使用 Redis 来给线上提供低延时（20毫秒以内）的高并发读写请求，其中最大的Redis使用了阿里云的Redis集群（256G），存储的记录超过10亿，Key的有效期设置为15天，每天写入的记录大概5000万左右，QPS大概在6万左右。由于过期Key的产生速度大于Redis自动清理的速 ...
分类：
其他好文 时间：
2020-02-05 23:11:35
阅读次数：
102
从传统角度来看，制造业一直是世界各国经济增长、繁荣和创新的引擎。当前的发达国家，如美、德、日、英，以及东亚工业国，莫不如此。事实上，制造业本身就贡献了全球就业总量的近四分之一份额，这还没有算上其间接制造的就业机会。据估计，美国每诞生一个制造业全职岗位，非制造业领域就会出现3.4个同等全职岗位。制造业带动整个经济体的创新发展。例如，中国、德国、日本和韩国的制造业公司的研发投入约占国内企业研发投入的8
分类：
其他好文 时间：
2020-01-14 11:36:58
阅读次数：
139
一、核心组件三部件二、配置存储中心（etcd服务）可定义理解为整个K8S的MYSQL数据库作用（非关系型数据），存储集群的元数据信息，作用类同于ZK等。
分类：
其他好文 时间：
2020-01-11 18:41:55
阅读次数：
133
大数据平台组技术路线执行理念 写在最前：自己是一个思维灵活人员，就是太灵活，视角很宽，看到了很多新东西就想要尝试并学习、引入，但深入不够，同时架构太大出问题机率直线升高，有明确的执行理念指导，是非常必要的，做任何决定前必须想到这个基本理念，切切。 0、精兵强将，稳扎稳打解读：不可盲目扩张人员，人多了 ...
分类：
其他好文 时间：
2020-01-10 10:47:43
阅读次数：
108
背景 公司一个项目的大数据平台进行改造，之前使用Structured Streaming作为实时计算框架，需要替换为替换为Kafka Streams，并使用SpringBoot包装，使其可以纳入微服务体系。然而由于之前并没有接触过SpringFramework相关技术，并且项目工期较为紧张，因此只好 ...
分类：
编程语言 时间：
2020-01-09 20:25:12
阅读次数：
100
原文链接： 组件端口及说明 CDH 7180： Cloudera Manager WebUI端口7182： Cloudera Manager Server 与 Agent 通讯端口 Hadoop 50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的 ...
分类：
其他好文 时间：
2020-01-07 19:56:27
阅读次数：
135
