创建数据表的命令 php artisan make:migration create_users_table 执行这个迁移的命令, php artisan migrate 其实感觉就像简单的方法创建数据库 这边是laravel5.4的特性要改长度 改这三处就可以了 这个就是把圈中的表删除了再执行一遍 ...
分类:
其他好文 时间:
2017-12-23 17:23:24
阅读次数:
149
测试过程中需要一些随机数据,使用到了python中的string模块,记录一下 PS: 博主公司使用的手机号校验规则就是1开头,11位数字即可通过校验 ...
分类:
编程语言 时间:
2017-12-21 19:34:28
阅读次数:
121
一 关于Kettle Kettle是一款国外开源的ETL工具,纯java编写,数据抽取高效稳定的数据迁移工具。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流程的控制。 二 本项目中的ETL需求 本项目主要 ...
分类:
其他好文 时间:
2017-12-21 15:56:06
阅读次数:
149
大数据,已经成为了一个时代的代名词,当今的互联网属于大数据时代,大数据时代的到来,颠覆了以往对数据的惯性思考方式,要保证数据执行,软件质量,测试质量,数据使用场景等,都需要重新变换一个新的角度,对软件进行更全方面的思考。 之前大数据很少有测试,开发会觉得:测试环境又没有那么多数据,你怎么测?抛开大数 ...
分类:
其他好文 时间:
2017-12-21 11:51:53
阅读次数:
110
摘要 在实际项目中,大多都需要对业务逻辑以及操作数据库的逻辑进行分成操作,这个时候该如何进行数据的迁移呢? 步骤 上篇文章:EF Core数据迁移操作 比如,我们将数据上下文放在了Data层。 看一下BlogContext内容如下: 在appsetting中配置连接字符串 在StartUp启动类中, ...
分类:
其他好文 时间:
2017-12-19 15:09:45
阅读次数:
247
sqoop 数据迁移 1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统。 导出数据:从Hadoop的文件系统中导出数据到关系数据库。 2 工作机制 ...
分类:
其他好文 时间:
2017-12-19 01:28:31
阅读次数:
211
作用: 解决一开始数据库建立不合理造成的字段冗余,从而提取部分字段,数据迁移、拼接字符串的功能。 格式: concat(字段1,'间隔符',字段2....) concat_ws('间隔符',字段1,字段2) 数据准备: 操作示例: 只做字符串的拼接: 数据迁移(同时进行字符串拼接): ...
分类:
其他好文 时间:
2017-12-18 19:07:32
阅读次数:
139
1.使用K近邻算法改进约会网站的配对效果 1.1准备数据 处理后的数据效果为: 原始数据: 1.2测试算法,作为完整程序验证分类器 运行结果 1.3 利用K-近邻算法实现手写体识别 ...
分类:
编程语言 时间:
2017-12-17 18:23:52
阅读次数:
170
由于业务数据量日益增长,计算量非常庞大,传统的数仓已经无法满足计算需求了,所以现在基本上都是将数据放到hadoop平台去实现逻辑计算,那么就涉及到如何将oracle数仓的数据迁移到hadoop平台的问题。 这里就不得不提到一个很实用的工具——sqoop,它是一款开源的工具,主要用于实现关系型数据库与 ...
分类:
数据库 时间:
2017-12-17 18:09:30
阅读次数:
194
Redis键迁移 在使用Redis的过程中,很多时候我们会遇到需要进行键迁移的问题,需要将指定Redis中的指定数据迁移到其他Redis当中,键迁移有三种方法,我们来进行一一介绍。 一、 move命令由于在Redis内部进行数据迁移,Redis内部可以有多个数据库,彼此在 ...
分类:
其他好文 时间:
2017-12-16 14:49:45
阅读次数:
117