背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循 ...
分类：
其他好文 时间：
2019-02-02 14:15:39
阅读次数：
164
1.用途 现实是我们的处理和测量模型都是非线性的，结果就是一个不规则分布，KF能够使用的前提就是所处理的状态是满足高斯分布的，为了解决这个问题，EKF是寻找一个线性函数来近似这个非线性函数，而UKF就是去找一个与真实分布近似的高斯分布。 KF处理线性模型: EKF 通过雅克比和偏导数近似非线性模型， ...
分类：
其他好文 时间：
2018-12-22 17:26:18
阅读次数：
351
Filebeat是一个轻量级的托运人，用于转发和集中日志数据。Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。以下是Filebeat的工作原理：启动Filebeat时，它会启动一个或多个输入，这些输入将查找您为日志数据指定的位置。对于Filebeat找到的每个日志，Filebeat启动一个收集器。
分类：
其他好文 时间：
2018-12-21 13:04:27
阅读次数：
251
Kubernetes上部署efk日志收集系统环境版本：OS：CentOS7.4(1804)Kubernetes：1.11.3Elasticsearch：5.4.0Fuentd-elasticsearch：2.0.2Kibana：6.4.0本地镜像仓库：192.168.22.8NFS-Server：192.168.22.8部署顺序：Kibana->NFS动态存储->Elasticsear
分类：
Web程序 时间：
2018-11-28 15:49:44
阅读次数：
215
前后端使用rsa加密： 一般是客户端初始化时访问登录服务时，服务端面动态生成一对RSA对，公钥传给客户端，客户端拿到后，用户输入密码后，点登录时用公钥加密返回给服务端，服务端用私钥解就行了 一、安装jsencrypt 1 npm i jsencrypt node_modules文件夹中出现jsenc ...
分类：
其他好文 时间：
2018-10-29 20:06:07
阅读次数：
571
上篇介绍了ELF/EFK中Elasticsearch、Kibana的配置安装，这篇开始介绍Fluentd做为日志搜集工具的配置安装 Fluentd是什么？ Fluented 是一个开源免费的日志搜集工具，经常代替Logstash(EFK)，支持的插件非常多，对docker支持较好 Fluentd尽量 ...
分类：
其他好文 时间：
2018-08-29 14:13:23
阅读次数：
309
临时搭建了一套EFK（elasticsearch，filebeat，kibana），filebeat6.0默认的index是filebeat+时间，这样无法满足正常的业务需求，如果是收集一个地方的还可以，超出一个就需要自定义index了，自定义的方法如下：setup*部分需要顶格写，同时注意index定义必须是小写字符，否则会报错。#--------------------------Elasti
分类：
其他好文 时间：
2018-08-13 12:22:14
阅读次数：
261
hadoop开发中我们会遇到类似这样的问题，比如 如何将不同省份的手机号分别输出到不同的文件中，本片文章将对hadoop内置的Partition类进行重写以解决这个问题。 MapReduce的使用者通常会指定Reduce任务和Reduce任务输出文件的数量（R）。用户在中间key上使用分区函数来对数 ...
分类：
其他好文 时间：
2018-07-04 16:12:17
阅读次数：
137
本篇主要讲具体怎么落地实践，手把手建立一套亿级ELK日志平台。具体发展过程可以参考上篇「从ELK到EFK演进」，废话不多说，老司机们座好了，我们准备发车了
分类：
其他好文 时间：
2018-05-16 22:39:23
阅读次数：
231
最近由于各种原因，IDE从source insight换成了vim，参考了诸多博客的文章，折腾了好久折腾了个大概的样子，现在总结一下经验： 主要参考： 改造vim变成source insight Winxp下 gvim 编程环境搭建 VIM学习笔记 折叠 (Fold) 效果图： 1. 安装： 下载g ...
