今天学习了大数据的一些基本的概念。 什么是Hadoop： 大数据主要还是解决海量数据的存储和海量数据的分析计算。 大数据的特点：大量、高效、多样（结构化数据和非结构化数据）、低价值密度。 Hadoop的三大发行版本： Apache、cloundera、hortonworks。 当然现在clounde ...
分类：
其他好文 时间：
2021-07-09 17:52:26
阅读次数：
0
一个 Pg_dump SHELL 脚本 发表于 2010-11-23 | 分类于 PG备份与恢复 | 0 | 阅读次数: 518 最近有个处于开发阶段的项目需要DBA介入，希望DBA对这个项目的数据库进行备份。要到主机帐号后，先对数据库进行一翻熟悉，发现上面有虽然有9个库，但是数据量都不大，除了一个 ...
分类：
系统相关 时间：
2021-07-05 18:21:42
阅读次数：
0
问题描述： （1）使用Java API创建HDFS文件并写入内容的副本系数为3 （2）使用命令上传至HDFS中的文件副本数为1：举例[hadoop@hadoop000 software]$ hadoop fs -put jdk-8u91-linux-x64.tar.gz / 问题回答： （1）使用J ...
分类：
编程语言 时间：
2021-07-05 16:38:12
阅读次数：
0
检测Tomcat日志关键字异常 日常工作中经常会遇到Tomcat日志报特定的错误导致 Linux 服务器CPU暴涨，这时候需要重启应用才可以降下来 所以就需要写一个shell脚本，报出特定的错误就重启应用 shell脚本如下： [root@Mike-VM-Node-10_10_0_188 ~]# v ...
分类：
其他好文 时间：
2021-07-02 16:18:28
阅读次数：
0
运行 HDFS 命令，总是出现恼人的 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”... ...
分类：
其他好文 时间：
2021-07-02 16:04:09
阅读次数：
0
【推荐系统算法实战】 基于网页的 Notebook：Zeppelin 交互式数据分析 如果有一个工具，可以让你在同一个Web页面上写Shell代码，Python代码，Scala代码，你想要么？ 如果还可以执行PySpark代码和Spark代码呢？心动了吗？ 如果还可以写Hive-SQL，Spark- ...
分类：
编程语言 时间：
2021-07-02 15:35:46
阅读次数：
0
1.不能使用单引号 2.要对里面的双引号通过\进行转义 参考文章：https://www.cnblogs.com/iuskye/p/shell-json.html ...
分类：
Web程序 时间：
2021-07-02 15:30:00
阅读次数：
0
Sublime Text批量删除空白行 替换处理 CTRL+H 打开 replace 功能，勾选上左侧的 regular expression，并填写 find what栏: \s+$ （正则表达式） replace with栏: （这行留空） 接着点 replace all 修改保存时配置 点击菜 ...
分类：
其他好文 时间：
2021-07-01 16:49:01
阅读次数：
0
macOS安装Oh My Zsh macOS从Catalina开始将默认的shell变为了Zsh，可以安装Oh My Zsh让其更加好用。 安装命令 sh -c "$(curl -fsSL https://raw.githubusercontent.com/robbyrussell/oh-my-zs ...
分类：
系统相关 时间：
2021-07-01 16:48:07
阅读次数：
0
Ubuntu设置用户自动登录 方式一 安装时勾选用户自动登录 方式二 系统设置内设置开启用户自动登录 方式三 vim /etc/lightdm/lightdm.conf autologin-user=username ...
分类：
系统相关 时间：
2021-07-01 16:46:23
阅读次数：
0
