今天给大家带来两种关于testNG中的安装方式：1.在线安装（本人亲测有效！！！）2.离线安装 一、在线安装testNG插件的步骤： 1.给大家提供一个testNG在线的安装的地址：http://dl.bintray.com/testng-team/testng-eclipse-release/6. ...
分类：
系统相关 时间：
2020-05-09 13:04:50
阅读次数：
104
一、下载Homestead 1. 获取下载的地址 使用命令行直接安装的时候，下载 的时候，是在线下载的。文件在国外，所以，下载的速度非常慢。 我们输入 的时候，命令行会显示一个下载 的地址，记下他，然后，我们选择使用其他工具下载。 我这里记录的下载地址为 https://vagrantcloud.c ...
分类：
其他好文 时间：
2020-05-09 10:45:37
阅读次数：
213
二者对比 1.Hive 数据仓库：本质其实就相当于将hdfs中已经存储的文件在Mysql中做了一个双射关系，以方便用HQL去管理查询。 用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。 基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终 ...
分类：
其他好文 时间：
2020-05-09 01:23:51
阅读次数：
63
import django import os,sys base_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) sys.path.append(base_dir) os.environ.setdefault("DJ ...
分类：
其他好文 时间：
2020-05-08 16:18:27
阅读次数：
66
一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台，由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，
分类：
其他好文 时间：
2020-05-07 09:17:48
阅读次数：
76
Centos7安装FastDFS教程 离线安装包准备： 将相关的安装包上传到 /usr/local 目录 安装包下载 并解压到当前目录 1.安装 gcc yum install -y gcc gcc-c++ 2.安装 perl yum install -y perl 3.安装 libevent yu ...
分类：
其他好文 时间：
2020-05-06 13:48:32
阅读次数：
72
本文源码：GitHub·点这里||GitEE·点这里一、DataX工具简介1、设计理念DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当
分类：
其他好文 时间：
2020-05-06 10:30:40
阅读次数：
73
前言 目前仅在一家公司做过大数据相关，也不太清楚其他公司情况。东家这常用的大数据离线处理基本就是sqoop导入到hive中，然后使用spark或者hive计算出结果再导出到oracle中。很多情况下是把oracle中整个表或者某个时间条件的筛选出来的数据整个删掉，再把最新的这部分数据全部导数回到or ...
分类：
数据库 时间：
2020-05-05 21:59:35
阅读次数：
102
1.什么是 Angular？ Angular 是一个开发平台。它能帮你更轻松的构建 Web 应用。Angular 集声明式模板、依赖注入、端到端工具和一些最佳实践于一身，为你解决开发方面的各种挑战。Angular 为开发者提升构建 Web、手机或桌面应用的能力。Angular 由谷歌维护。目前有几个 ...
分类：
其他好文 时间：
2020-05-05 20:23:59
阅读次数：
66
Kafka适合离线和在线的消息消费,其消息保存在磁盘上。 Kafka以Topic为单位进行消息的归纳,Producers向Topic发送(Push)消息,Consumers会消费(Pull)预订了Topic的消息。 基本概念 消息队列中的基本概念尤为重要,当对基本概念有了深入的理解之后,消息队列的原 ...
分类：
其他好文 时间：
2020-05-05 20:05:38
阅读次数：
70
