大数据技术之Shell 第1章 Shell概述 （1）编译型语言: 程序在执行之前需要个专门的编译过程，把程序编译成为机器语言文件，运行时不需要重新翻译，直接使用编译的结果就行了。程序执行效率高，依养编译器，跨平台性差些。如C、C++、java （2）解释型语言: 程序不需要编译，程序在运行时由解释 ...
分类：
系统相关 时间：
2020-07-02 21:29:35
阅读次数：
86
一、调用外部程序 1、为什么python被称为胶水语言：python可以粘合各种外部程序和各种语言的库，实现特定的功能。 2、os库里面的system函数，相当于打开操作系统的shell，敲入一个命令，比如打开msprint命令 打开windows下的画图工具。 3、os.system( ) #如果 ...
分类：
其他好文 时间：
2020-07-02 18:17:14
阅读次数：
59
相信很多人通过查找都可以知道: 查进程是：adb shell ps 杀进程是：adb shell kill pid 实不相瞒，有一段时间我也是这样用的。用过的人都知道执行完（adb shell ps）之后的数据量，有很多，再在这么多的进程里去找到我们想要的那一条进程，过程真的很痛苦！！！ 今天偶然一 ...
分类：
系统相关 时间：
2020-07-02 18:03:28
阅读次数：
85
Linux shell脚本，按顺序批量启动多个jar包，批量启动spring cloud的jar包 一. 手动一个一个启动的方式： nohup java -jar eurekaserver.jar > ../logs/eurekaserver.log 2>&1 & nohup java -jar c ...
分类：
编程语言 时间：
2020-07-02 16:52:39
阅读次数：
185
SPARK_MASTER_OPTS is not allowed to specify max heap(Xmx) memory settings (was -Xms512m -Xmx1024m -Dcom.sun.management.jmxremote=true -Dcom.sun.manage ...
分类：
其他好文 时间：
2020-07-02 16:40:58
阅读次数：
87
pandas、spark计算相关性系数速度对比 相关性计算有三种算法：pearson、spearman，kenall。 在pandas库中，对一个Dataframe，可以直接计算这三个算法的相关系数correlation，方法为：data.corr() 底层是依赖scipy库的算法。 为了提升计算速 ...
分类：
其他好文 时间：
2020-07-02 16:38:40
阅读次数：
126
算术运算 Shell允许在某些情况下对算术表达式进行求值，比如：let和declare 内置命令，(( ))复合命令和算术扩展。求值以固定宽度的整数进行，不检查溢出，尽管除以0 被困并标记为错误。运算符及其优先级，关联性和值与C语言相同。以下运算符列表分组为等优先级运算符级别。级别按降序排列优先。 ...
分类：
系统相关 时间：
2020-07-02 16:22:16
阅读次数：
70
postgreSQL的认证配置文件 pg_hba.conf 配置文件pg_hba.conf的位置 pg_hba.conf可以出现在许多其他地方，具体取决于Pg的安装方式。 通常情况下路径为 /etc/postgresql/[VERSION]/main/pg_hba.conf 通过shell命令获得 ...
分类：
数据库 时间：
2020-07-02 13:25:24
阅读次数：
164
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是spark专题的第七篇文章，我们一起看看spark的数据分析和处理。 过滤去重 在机器学习和数据分析当中，对于数据的了解和熟悉都是最基础的。所谓巧妇难为无米之炊，如果说把用数据构建一个模型或者是支撑一个复杂的上层业务比喻成做饭的话。那 ...
分类：
其他好文 时间：
2020-07-02 13:20:51
阅读次数：
67
一.关于解释器 （1）Linux提供的Shell解析器有： [root@iZwz9fdluqx20m1qe0ml4qZ shell_learning]# cat /etc/shells /bin/sh /bin/bash /sbin/nologin /usr/bin/sh /usr/bin/bash ...
分类：
系统相关 时间：
2020-07-01 23:54:07
阅读次数：
124
