Kafka是什么 Kafka最初是由LinkedIn公司采用Scala语言开发的一个分布式、多分区、多副本且基于ZooKeeper协调的内部基础设置，现已捐献给Apache基金会。Kafka是一个流平台，主要用来发布和订阅数据流，是流式数据处理的利器。Kafka用于构建实时数据管道和流应用程序，具有 ...
分类：
其他好文 时间：
2020-05-18 20:50:54
阅读次数：
67
电脑行业的进销存管理所涉及的数据种类多、数量庞大，要想提高对市场的反应速度，需要具备实时数据分析。而电脑进销存工作涵盖多渠道销售、应收应付账款、委外进货管理、委外品质管理，因此具备一体化管理功能的电脑进销存软件成为众多企业的选择。市面上的进销存系统种类有很多，究竟哪款适合企业?电脑进销存软件如何选型？ 选型过程中需要结合企业的管理需求、行业适用性、产品价格等着手。例如其中万达宝集团的电脑进销存软
分类：
其他好文 时间：
2020-05-18 18:34:46
阅读次数：
44
在网络迅速发展的今天，人们的交流已经不再仅限与面对面，一个视频通话就能拉近彼此之间的距离，而在工业管控上却不仅仅局限于实时视频流的监控，HTML 本身拥有强大的 web 组件可供我们去实施一些好玩的例子，甚至加上一些简单有趣的动画和实时数据的对接，效果上可不止提高了一个水平。加上现如今已经启动许... ...
分类：
其他好文 时间：
2020-05-18 00:49:09
阅读次数：
80
```常见方案:inotify、sersync、rsync等docker方式docker pull quay.io/stephenh/mirror:1.3.8主server 192.168.0.5docker run -d -v /backup:/data -p 49172:49172 mirror... ...
分类：
其他好文 时间：
2020-05-16 17:08:35
阅读次数：
133
在网络迅速发展的今天，人们的交流已经不再仅限与面对面，一个视频通话就能拉近彼此之间的距离，而在工业管控上却不仅仅局限于实时视频流的监控，HTML 本身拥有强大的 web 组件可供我们去实施一些好玩的例子，甚至加上一些简单有趣的动画和实时数据的对接，效果上可不止提高了一个水平。加上现如今已经启动许... ...
分类：
其他好文 时间：
2020-05-14 01:00:16
阅读次数：
91
处理大数据量数据访问速度缓慢的问题 方案1 水平分库分表，比如根据年份划分， 数据库、 数据库等等 查询的时候根据查询时间，去不同的数据库查询，然后组合结果返回 示例代码 "HistoricalDataManage" 方案2 建立 和`实时数据库`，历史数据库存储所有数据，实时数据库仅保留常用数据 ...
分类：
其他好文 时间：
2020-05-06 21:35:33
阅读次数：
89
最近在测试实时日志检索系统，有些服务日志流量较大，顶峰有15w/s的流量，日流有70亿。如何验证检索数据的正确性呢？两个方面，1、检索结果中的数据格式检验 2、检索结果中的数据量是否符合检索条件 对于小流量服务的测试方案是通过http请求来构造日志数据，结合grafana对http请求数的监控来实时 ...
分类：
其他好文 时间：
2020-04-29 20:07:41
阅读次数：
278
前面已经可以简单的跑起来了，只不过是日线级的股票，我们最终目标是5分钟级的期货 由于平台不支持5分钟数据，因此这些数据需要我们手动解决，分两块，一块是历史数据的获取，一块是实时数据的采集。先搞定历史数据。 目前看通达信的数据还算是比较靠谱的。股指期货主要有IF,IC,IH三个，以IF为例，由于通常我... ...
分类：
其他好文 时间：
2020-04-28 20:24:20
阅读次数：
91
实时数据分析门槛较高，我们如何用极少的开发工作就完成实时数据平台的搭建，做出炫酷的图表呢？ 如何快速的搭建实时数据分析平台，首先我们需要实时数据的接入端，我们选择高扩展性、容错性、速度极快的消息系统Kafka，而实时数据仓库，由于 Druid提供了非常方便快捷配置方式，如果不想编写负责的Flink和 ...
分类：
其他好文 时间：
2020-04-28 14:53:34
阅读次数：
59
要实现限流、熔断等功能，首先要解决的问题是如何实时采集服务(资源)调用信息。例如将某一个接口设置的限流阔值 1W/tps，那首先如何判断当前的 TPS 是多少？Alibaba Sentinel 采用滑动窗口来实现实时数据的统计。 温馨提示：如果对源码不太感兴趣，可以先跳到文末，看一下滑动窗口的设计原 ...
分类：
其他好文 时间：
2020-04-25 23:35:18
阅读次数：
86
