半调子数据科学家又要折腾数据，拿到数据一看，3.6G的zip文件，解压看看，卧槽12个G的sql文件。好吧，又要折腾sql数据了。第一件事，肯定是搭一个数据库，导入数据咯。 折腾过sql导入的亲们都知道，mysql默认的参数，导入的速度还是很慢的，特别是数据忒多的情况。这次的数据，折腾完了之后，有1 ...
分类：
数据库 时间：
2018-05-24 23:01:38
阅读次数：
280
前言 这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。 环境： 系统：Centos 6.5 Hadoop：Apache，2.7.3 Mysql：5.1.73 JDK：1.8 Sqoop：1.4.7 Hadoop以伪分布式模式运行。 一、使用的导入命令 我主要是参考一篇文章去 ...
分类：
数据库 时间：
2018-05-18 18:00:07
阅读次数：
329
错误1：ERROR Unknown character set: 'utf8mb4' utf8mb4编码集支持了表情符号，相信处理过社交网络数据的人都有了解。这个mysql5.5以后支持了utf8mb4编码集，所以只能卸载5.1，升级5.5 在mysql my.cnf设置default-charac ...
分类：
数据库 时间：
2018-05-09 15:02:32
阅读次数：
193
1.在ubuntu中mysql的部分编码格式不是utf—8,故在导文件的时候会出现中文乱码，Windows中编码格式为gbk，因此要修改mysql的编码方式为utf-8。 2.查看MySQL编码格式： a.进入MySQL b. 输入 3.修改编码方式（永久）： 进入Termina： ####新手小白 ...
分类：
数据库 时间：
2018-05-05 11:23:24
阅读次数：
225
数据库在没有做任何优化的情况下，使用存储过程，插入1千万条测试数据。 CREATE PROCEDURE addmaxdata(IN n int) BEGIN DECLARE i INT DEFAULT 1; START TRANSACTION; WHILE (i <= n ) DO INSERT I ...
分类：
数据库 时间：
2018-04-24 00:17:43
阅读次数：
213
mysql 导入sql 文件 source d:/dbname.sql 创建mysql 数据库并设置编码 CREATE DATABASE procedure_function DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; 创建数据库 CREA ...
分类：
数据库 时间：
2018-04-19 15:41:55
阅读次数：
172
1.在左边右键新建一个数据库 2.字符集选gbk（不 题） 3.打开数据库，把它变成绿色。 4.把.sql文件拖到这数据库上。会出现下边的运行SQL文件对话框，按开始，等运行完后就可以关掉了。 5.最后在左边空白处的新数据库上对应的项目上右键，刷新就能看到刚刚拖进去的数据库的内容了。 ...
分类：
数据库 时间：
2018-04-18 21:24:33
阅读次数：
190
一、从数据库导出数据库或表文件： mysqldump -u用戶名 -p密码 -d 数据库名 表名 > 脚本名; 导出整个数据库结构和数据mysqldump -h localhost -uroot -p123456 database > e:\dump.sql 导出单个数据表结构和数据mysqldum ...
分类：
数据库 时间：
2018-04-08 00:29:55
阅读次数：
236
由于编码不一致导致的 虽然大部分导出是没有问题的 但是数据表中存储包含一些脚本(富文本内容)会出现该问题,强制指定编码即可解决。 mysql导入时指定编码： mysql -u root -p --default-character-set=utf8 或者在导出时后显式指定编码就不存在这个问题了： m ...
分类：
数据库 时间：
2018-03-19 16:42:42
阅读次数：
303
业务数据来自公司总部，后台数据设置是按天导出csv，但分析业务需要看整个时间趋势，excel已经不行了，只能上mysql，用sql语句查询。其实本来load data local infile 可以搞定，麻烦的是表头字段太多，而且可能会变化，不是很想每次都写脚本先创建表结构再导数据。有什么办法可以自 ...
分类：
数据库 时间：
2018-03-18 00:17:10
阅读次数：
730
