hbase 查询大量数据异常并解决方法 java.lang.RuntimeException: org.apache.hadoop.hbase.client.ScannerTimeoutException: 66216ms passed since the last invocation, time ...
分类：
其他好文 时间：
2019-05-10 17:57:54
阅读次数：
117
使用nginx服务器如果遇到timeou情况时可以如下设置参数，使用fastcgi： fastcgi_connect_timeout 75; 链接 fastcgi_read_timeout 600; 读取 fastcgi_send_timeout 600; 发请求 这两个选项. fastcgi_re ...
分类：
其他好文 时间：
2019-05-09 11:01:19
阅读次数：
142
大数据领域每年都会涌现出大量新的技术，成为大数据获取、存储、处理分析或可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社会经济活动提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。正是由于大数据技术展现的优势，让越来越多的人选择进入到大数据行业，那么对于大数据技术的学习，应该怎么学呢?又有哪些内容要学呢?在这里还是要推荐下我自己建的大数据学习交流群:52
分类：
其他好文 时间：
2019-05-08 12:08:25
阅读次数：
155
建表语句： 单个添加更新 如果记录在表中不存在则进行插入，如果存在则进行更新： 批量添加更新在更新大量数据时可能同时遇到两个问题：① 如果每条更新执行一次sql性能很低，也容易造成阻塞；② 批量更新时又有可能遇到主键重复的问题使用 ON DUPLICATE KEY UPDATE 一条sql解决批量更 ...
分类：
数据库 时间：
2019-05-06 19:21:55
阅读次数：
366
基本数据类型(int,bool,str) 1.基本数据数据类型: int 整数 str 字符串. 一般不存放大量的数据 bool 布尔值. 用来判断. True, False list 列表.用来存放大量数据, []表示. 里面可以装各种数据类型. tuple 元组. 只读列表. () 表示 dic ...
分类：
编程语言 时间：
2019-05-04 11:49:57
阅读次数：
139
nginx配置文件nginx.conf超详细讲解 #nginx进程,一般设置为和cpu核数一样worker_processes 4; #错误日志存放目录 error_log /data1/logs/error.log crit; #运行用户，默认即是nginx，可不设置user nginx #进程p ...
分类：
其他好文 时间：
2019-05-01 18:37:04
阅读次数：
152
一、关于数据融合和企业数据融合平台数据融合是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。企业数据融合平台，通常的表现形态为运行着大量数据同步和转换任务的分布式系统。其源端一般为各类偏实时的业务数据存储系统，目的端为各类数据仓库/对象存储。二、企业数据融合平台的典型架构下图为数据融合平台的典型架构，源端是不同的数据存储系统，另一端是各种类型的数据仓库，关
大量数据导入操作, 也就是直接将DataTable里的内容写入到数据库 通用方法: 拼接Insert语句, 好土鳖 1. MS Sql Server: 使用SqlBulkCopy 2. MySql: adapter.update()批量更新 MySqlBulkLoader, 这个是从文件里边到的, ...
分类：
数据库 时间：
2019-04-27 14:38:03
阅读次数：
641
条件判断 if 条件判判断语法： 条件判断注意： 1、由if 条件起始 2、关键字后面要加一个空格 3、条件后面接： 4、符合python代码缩进格式 5、条件判断可以有多种组合方式 6、条件判断是顺序执行的 循环 目的：用于解决大量数据的处理 方法：设置循环条件遍历数据，针对不同的数据做出对应的处 ...
分类：
编程语言 时间：
2019-04-27 13:21:16
阅读次数：
145
在客户端存储数据 HTML5 提供了两种在客户端存储数据的新方法： localStorage - 没有时间限制的数据存储 sessionStorage - 针对一个 session 的数据存储 之前，这些都是由 cookie 完成的。但是 cookie 不适合大量数据的存储，因为它们由每个对服务器的 ...
分类：
Web程序 时间：
2019-04-26 09:47:42
阅读次数：
164
