线上运行的服务会产生大量的运行及访问日志，日志里会包含一些错误、警告、及用户行为等信息，通常服务会以文本的形式记录日志信息，这样可读性强，方便于日常定位问题，但当产生大量的日志之后，要想从大量日志里挖掘出有价值的内容，则需要对数据进行进一步的存储和分析。 本文以存储 web 服务的访问日志为例，介绍 ...
分类：
数据库 时间：
2017-01-12 03:05:57
阅读次数：
292
1 CREATE TABLE [dbo].[a]( 2 [id] [int] NOT NULL, 3 [name] [nvarchar](50) NULL, 4 [age] [int] NULL) 添加测试数据 1 declare @i int 2 set @i=1 3 while(@i<10000 ...
分类：
数据库 时间：
2017-01-12 02:59:34
阅读次数：
337
1 var query = from t0 in context.ExpressSendMaster 2 join t1 in context.Supplier on t0.SupplierCode equals t1.SupplierCode 3 join t2 in context.Expres ...
分类：
数据库 时间：
2017-01-12 02:54:47
阅读次数：
373
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引 ...
分类：
数据库 时间：
2017-01-12 02:42:38
阅读次数：
197
本文属于《InfluxDB系列教程》文章系列，该系列共包括以下 15 部分： 系列详情请看：《InfluxDB系列教程》 文章目录 一、InfluxDB特点 二、InfluxDB概念 三、存储引擎 - TSM Tree 四、目录与文件结构 五、数据查询与索引结构 一、InfluxDB特点 二、Inf ...
分类：
数据库 时间：
2017-01-12 02:38:08
阅读次数：
967
一般情况下，我们是通过"show slave status \G;"提供的Seconds_Behind_Master值来衡量mysql主从同步的延迟情况。具体说明见：mysql主从同步(4)-Slave延迟状态监控，这种方法在大多数情况下确实是可行的。但是经验告诉我，仅仅依靠Seconds_Behi ...
分类：
数据库 时间：
2017-01-12 02:32:59
阅读次数：
349
约束是在表的数据列上强制执行的规则。这些是用来限制可以插入到表中的数据类型。这确保了数据库中数据的准确性和可靠性。 约束可以是列级或表级。列级约束仅适用于列，表级约束被应用到整个表。 以下是在 SQLite 中常用的约束。 NOT NULL 约束：确保某列不能有 NULL 值。 DEFAULT 约束 ...
分类：
数据库 时间：
2017-01-11 22:20:03
阅读次数：
419
恢复内容开始 1.数据库的用途：写数据和读数据 2.查询语句的生命周期： (1)mysql服务器监听3306端口(2)验证访问用户(3)创建mysql线程 (4)检查内存(Qcache) (5)解析SQL(6)生成查询计划(7)打开表 (8)检查内存(Buffer Pool) (9)到磁盘取数据(1 ...
分类：
数据库 时间：
2017-01-11 22:16:28
阅读次数：
498
在hive里建一个数据库test，在数据库里建了一张表user，然后在Spark程序中使用Spark sql读取这张表 "select * form test.user" 当部署模式是spark stand模式和yarn-client模式时，程序可以正常运行，但yarn-cluster模式就报了找不 ...
分类：
数据库 时间：
2017-01-11 22:12:37
阅读次数：
1098
一、 解压kettle包 1、把包拷到Linux系统下 还有mysql的驱动包 2、解压zip后缀的包 输入命令：unzip /software/pdi-ce-7.0.0.0-25.zip 可以把原来的包删了 输入命令：rm -f pdi-ce-7.0.0.0-25.zip 二、 创建数据库和表 三 ...
分类：
数据库 时间：
2017-01-11 15:58:40
阅读次数：
525
fsdb dumper的很多task和cmd line option ...
分类：
数据库 时间：
2017-01-11 15:53:27
阅读次数：
1388
转自：C#操作SQL Server数据库 1、概述 ado.net提供了丰富的数据库操作，这些操作可以分为三个步骤： 第一，使用SqlConnection对象连接数据库； 第二，建立SqlCommand对象，负责SQL语句的执行和存储过程的调用； 第三，对SQL或存储过程执行后返回的“结果”进行操作 ...
分类：
数据库 时间：
2017-01-11 15:42:24
阅读次数：
375
写在前面：本篇博客讲述的是如何使用pentaho工具快速的将数据库数据导出为Excel文件，以及如何将Excel文件数据导入数据库。 补充：使用此工具并不需要任何一句代码并能快速便捷解决实际问题，此工具功能不仅仅局限这一点，其他功能后续更新。 工具下载：你可以根据你电脑的系统选择不同版本在penta ...
分类：
数据库 时间：
2017-01-11 15:40:29
阅读次数：
289
select*fromtablesWHERETABLE_NAMEin(‘comp_game_calc_start‘,‘rewat‘,‘patport‘,‘rent‘,‘hom‘)andTABLE_SCHEMA=‘abc‘\G;
分类：
数据库 时间：
2017-01-11 14:44:46
阅读次数：
275
思路：读取到一个数据库里所有的表名，然后通过sqoop循环导入到hbase 实现过程中发现 不会写shell是个硬伤 最后只能分两步进行操作 1.sel_tabs.sh /usr/bin/mysql -hIp地址 -u用户名 -p密码 -D数据库名<<EOF use select table_nam ...
分类：
数据库 时间：
2017-01-11 14:20:55
阅读次数：
293
在windows中运行sql server命令需使用sqlcmd命令，这个在安装sql server时会一并安装。 使用sqlcmd进入交互模式下： 之前使用的命令为： 上述命令需要按照顺序执行， 通常比直接使用右键菜单中的“收缩”命令要快很多。 但是，这个命令在2008的版本下并不能运行，限于SQ ...
分类：
数据库 时间：
2017-01-11 14:16:54
阅读次数：
253
索引： 考虑在 where 及 order by 涉及的列上建立索引 经常同时存取多列，且每列都含有重复值可考虑建立组合索引，且查询越频繁的字段放前面 按需使用聚集与非聚集索引，聚集不适合频繁更新、适合范围查询( > ,< ,> =,< =)和 order by、group by ，注意复合索引的顺 ...
分类：
数据库 时间：
2017-01-11 14:17:49
阅读次数：
247
