1.爬虫和关系数据库的交互次数能减少就减少。 之前由于爬虫出了bug，导致错误日志持续膨胀耗尽服务器空间，导致MySQL数据库无法添加数据，于是乎想把爬虫中间过程的所有数据(图片url等待队列)放进数据库。爬虫的爬取速度明显下降，并且数据库操作过程出错(经常发生事务锁定时间过长强退这种情况)。之前也 ...
分类：
数据库 时间：
2020-05-23 13:30:21
阅读次数：
105
MySQL日志记录了MySQL数据库日常操作和错误信息。MySQL有不同类型的日志文件（各自存储了不同类型的日志），从日志当中可以查询到MySQL数据库的运行情况、用户的操作、错误的信息等。MySQL的日志分为以下四大类：错误日志：记录mysql服务的启动，运行或停止mysql服务时出现的问题；查询日志：记录建立的客户端的连接和执行的语句；二进制日志：记录所有更改数据的语句，可以用于数据的复制；慢
分类：
数据库 时间：
2020-05-21 19:43:58
阅读次数：
60
日志集中式监控平台上线已经有一段时间，但是大部分情况下只是作为发布或者出问题时查看日志的便利工具使用。平时大家都不怎么主动上去看看。于是前几天把应用的错误日志也加上邮件、Hi和短信报警，马上就收到很多错误报警，引起了大家的重视。其中有一个Redis报错： Push notify error: => ...
分类：
其他好文 时间：
2020-05-14 19:21:01
阅读次数：
74
错误日志： Caused by: org.gradle.api.ProjectConfigurationException: A problem occurred configuring root project 'AwesomeProject'. 原因：本地没有下载对应的gradle版本 解决方法 ...
分类：
移动开发 时间：
2020-05-14 00:52:47
阅读次数：
115
mysql提供的工具类日志种类： 1.错误日志(log_error) 用来记录启动\关闭\日常运行过程中,状态信息,警告,错误。默认是开启的 1.1 错误日志配置 1 默认就是开启的: /数据路径下/hostname.err 2 查看错误日志位置：select @@log_error; 3 4 手工 ...
分类：
数据库 时间：
2020-05-11 01:13:40
阅读次数：
86
前言在现网环境下，程序奔溃后不一定会留下core文件，原因有很多，比如存储空间不足就是其中一个常见的原因。此时我们只能依据linux记录的错误日志来定位问题。涉及linux命令本文涉及以下几条命令1. dmesg命令，用于获取程序出错时的堆栈地址1）dmesg |grep -E 'segfault|... ...
分类：
其他好文 时间：
2020-05-08 16:10:40
阅读次数：
85
PHP错误处理之将错误日志保存在系统文件中 <?php ini_set('display_errors',0); ini_set('log_errors',1); ini_set('error_log','sys_log'); echo $test;//输出一个未定义的变量 echo '<hr/>' ...
分类：
Web程序 时间：
2020-05-08 10:05:31
阅读次数：
75
1、为什么要处理异常？ 增强用户体验； 远程定位问题，未雨绸缪，及早发现问题及早处理； 无法复现问题，尤其是移动端，可以查找日志； 收集错误产生的系统信息，如浏览器，机型等； 完善的前端方案，前端监控系统； 对于 JS 而言，我们面对的仅仅只是异常，异常的出现不会直接导致 JS 引擎崩溃，最多只会使 ...
分类：
其他好文 时间：
2020-05-06 16:46:26
阅读次数：
97
[toc] 什么是Nginx Nginx是一个轻量级/高性能的反向代理服务器，它实现非常高效的反向代理、负载均衡。它可以处理2 3万并发连接数，官方监测能支持5万并发，现在国内使用网站用户有很多，例如：新浪、网易、腾讯等。 为什么要用Nginx 跨平台、配置简单、方向代理、高并发：处理2 3万并发连 ...
分类：
其他好文 时间：
2020-05-04 17:49:25
阅读次数：
76
1.关于MySQL的一些文件 MySQL如何安装、如何配置自启动，这里不进行讲述，可自行搜索相关安装教程进行处理。这里主要介绍MySQL的主要配置文件。 ①二进制日志log-bin：用于主从复制。 ②错误日志log-error：默认关闭，记录严重的警告和错误信息，每次启动和关闭的详细信息等。 ③查询 ...
分类：
数据库 时间：
2020-05-03 20:55:28
阅读次数：
86
