需求分析 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 结构示意图： 根据需求，首先定义以下3大要素 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集 ...
分类：
Web程序 时间：
2021-06-20 17:55:46
阅读次数：
0
场景 项目中接入了阿里云日志服务，比起以前自己搭建的ELK日志体系，云上的服务优点是接入简单，提供了易用的web ui界面方便查询日志。 省了自己搭建日志监控体系，但缺点是完全依赖云服务，没法自己定制，需要仔细阅读文档才能在日常工作更好地运用。 问题 昨天搜索某服务日志时遇到一个问题： 项目里的代码 ...
分类：
其他好文 时间：
2021-03-29 12:09:36
阅读次数：
0
在平时工作当中，会遇到这种情况，而且很常见。比如：1、自动生成文件TXT或者EXCEL（电信行业该需求居多），上传至某服务器；2、双方数据对接，对方提供数据库视图针对以上情况，笔者就写下具体怎么实现1、自动生成EXCEL文件1）如上图，选择表输入（读取视图或者table数据），EXCEL输出（准备输出的EXCEL文件），连接两个控件。2）配置数据库连接（上节有介绍jdbc），后续可以通过jndi进
分类：
其他好文 时间：
2020-09-18 00:30:03
阅读次数：
37
一个在阿里云打工的清华学渣!知道为什么会有上面的结果吗？什么又是稀疏文件？这篇文章将为你揭秘。问题背景确切地说，不是收到的自动告警短信或者邮件告诉我某机器上的磁盘满了，而是某同学人肉发现该机器写不了新文件才发现该问题的.说明我司告警服务还不太稳定:)第一次出现该问题时，我的处理方式是：先删了/tmp/目录,空闲出部分空间，然后检查下几个常用的用户目录，最终发现某服务A的日志文件(contentut
分类：
其他好文 时间：
2020-08-04 10:06:08
阅读次数：
65
线上某服务时不时报出如下异常（大约一天二十多次）：“Deadlock found when trying to get lock;”。 Oh, My God! 是死锁问题。尽管报错不多，对性能目前看来也无太大影响，但还是需要解决，保不齐哪天成为性能瓶颈。 为了更系统的分析问题，本文将从死锁检测、索引 ...
分类：
数据库 时间：
2020-07-14 16:49:46
阅读次数：
86
恢复内容开始 其实原本学过2.x, 完全是按官方文档学的.并且做了一个自制api给集团某服务使用. 也了解了一下性能, 部署方式, 以及一些坑. 现在觉得这玩意确实强大, 代表了未来, 所以就升级一下知识吧. 这次学的是杨旭老师的视频教程, 感觉有些原本理解的比较模糊的知识点有了加强. 那么在此就简 ...
分类：
Web程序 时间：
2020-05-05 23:43:10
阅读次数：
133
需求：判断服务端的某服务程序是否开启，最简单的方式是判断服务端端口是否处于开启状态 1 判断服务端口是否打开有两种方式 判断服务端指定端口是否开启有在客户端本地查看和在服务端查看两种方式。 2 客户端本地查看 远程主机提供服务是通过端口提供的，判断远程主机的服务是否存在实际上就是判断端口是否开启。具 ...
分类：
其他好文 时间：
2020-05-04 00:31:54
阅读次数：
201
某单位一台服务器托管到IDC机房，今天突然不能访问，联系机房后发现机器“紫屏”，并且其中一块硬盘红灯报警。更换硬盘之后重新启动提示找不到系统，如图1所示。图1找不到系统盘重新启动服务器进入RAID配置界面之后没有发现RAID配置，如图2所示。图2没有找到RAID配置按Ctrl+N组合键进入PDMgmt界面，看到只有一块磁盘状态为Ready（这是更换的新的硬盘，此时这块硬盘上应该没有数据），如图3所
分类：
其他好文 时间：
2020-04-13 01:16:47
阅读次数：
495
多图文，详细介绍mysql各个集群方案集群的好处高可用性：故障检测及迁移，多节点备份。可伸缩性：新增数据库节点便利，方便扩容。负载均衡：切换某服务访问某节点，分摊单个节点的数据库压力。集群要考虑的风险网络分裂：群集还可能由于网络故障而拆分为多个部分，每部分内的节点相互连接，但各部分之间的节点失去连接。脑裂：导致数据库节点彼此独立运行的集群故障称为“脑裂”。这种情况可能导致数据不一致，并且无法修复，
分类：
数据库 时间：
2020-03-11 01:10:39
阅读次数：
1158
Tornado的auth模块提供了一些常用的认证，可以参考里面的代码编写对接其他服务提供商的业务逻辑，比如说我们自己写的tornado的程序去看qq空间的图片等信息。 OAuth2 OAuth2 是一个 开放授权标准， 它允许用户让第三方应用访问该用户在某服务的 特定私有资源 （QQ空间中用户的照片 ...
分类：
其他好文 时间：
2020-03-10 21:44:23
阅读次数：
66
