运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题:sqoop依赖zookeeper,所以必须配置ZOOKEEPER_HOME到环境变量中。sqo ...
分类:
数据库 时间:
2021-06-19 19:24:57
阅读次数:
0
hive-site.xml添加以下参数: <property> <name>hive.cli.print.current.db</name> <value>true</value> </property> <property> <name>hive.cli.print.header</name> < ...
分类:
数据库 时间:
2021-06-19 19:07:44
阅读次数:
0
前言# 因为docker的跨平台,所以使用docker搭建自己的数据库非常方便 代码# 代码示例目录结构# docker-compose.yaml# Copy version: '3' services: redis: image: redis container_name: docker_redi ...
分类:
其他好文 时间:
2021-06-19 19:05:02
阅读次数:
0
实体类(VO,DO,DTO,PO)的划分 在项目应用中,VO(值对象)对应于页面上需要显示的数据(表单),DO对应于数据库中存储的数据(数据表),DTO对应于除二者之外需要进行传递的数据。 二、领域模型(概念模型)中的实体类 领域模型(概念模型)中的实体类分为四种类型:VO、DTO、DO、PO,各种 ...
分类:
其他好文 时间:
2021-06-19 18:42:45
阅读次数:
0
在实现分库分表的情况下,数据库自增主键已经无法保证在集群中是全局唯一的主键了,因此mycat提供了全局的sequence,并且提供了本地配置、数据库配置等多种实现方式。 1. 本地文件方式 采用该方式,mycat将sequence配置到classpath目录的sequence_conf.proper ...
分类:
其他好文 时间:
2021-06-19 18:40:35
阅读次数:
0
想想为什么要使用MQ? 1.解耦,系统A在代码中直接调用系统B和系统C的代码,如果将来D系统接入,系统A还需要修改代码,过于麻烦! 2.异步,将消息写入消息队列,非必要的业务逻辑以异步的方式运行,加快响应速度 3.削峰,并发量大的时候,所有的请求直接怼到数据库,造成数据库连接异常 使用了消息队列会有 ...
分类:
其他好文 时间:
2021-06-18 20:06:52
阅读次数:
0
恢复内容开始 1、备份数据 操作服务器:主数据库 #备份mysql中所有数据库数据./mysqldump -h主数据库ip -uroot -p -P3308 --all-databases > /data0/all_db.sql 2、停库 操作服务器:主备数据库均操作 systemctl stop ...
分类:
数据库 时间:
2021-06-18 20:00:25
阅读次数:
0
import zlib import websocket import json import redis import pymysql import time rds = redis.StrictRedis(host='10.10.6.83', port=6379, db=3, password= ...
分类:
编程语言 时间:
2021-06-18 19:59:07
阅读次数:
0
性能测试流程 注意要点 测试机器硬件配置尽量和线上一致 系统版本与线上一致 测试环境部署线上最小单元模块(一般线上都是集群部署,线下可以用最小的单元集群) 应用、中间件、数据库要与线上一致 其他特殊配置 数据构造 ? 业务接口 ? -- 适合数据表关系复杂 ? -- 优点: 数据完整性比较好 ? 存 ...
分类:
其他好文 时间:
2021-06-18 19:57:35
阅读次数:
0
Redis Redis 简介 Redis 一个开源的,内存中的数据结构存储系统,它可以用作数据库,缓存和消息中间件。 它支持多种类型的数据结构,如 字符串 string 、散列 hashes 、列表 list 、集合 set 、有序集合 zset 和 范围查询,bitmaps 、hyperloglo ...
分类:
其他好文 时间:
2021-06-18 19:52:49
阅读次数:
0