在Hadoop集群里，有三种模式: 1、本地模式 2、伪分布模式 3、全分布模式 在Spark集群里，有四种模式： 1、local单机模式 结果xshell可见： ./bin/spark-submit --class org.apache.spark.examples.SparkPi --maste ...
分类：
其他好文 时间：
2016-11-23 10:10:39
阅读次数：
335
sparkContext创建还没完呢，紧接着前两天，我们继续探索。。作死。。。 紧接着前几天我们继续SparkContext的创建： 接下来从这里我们可以看到，spark开始加载hadoop的配置信息，第二张图中 new出来的Configuration正是hadoop的Configuration。同 ...
分类：
其他好文 时间：
2016-11-22 23:12:44
阅读次数：
229
端口是目前计算机与外界的通道，因而黑客一旦锁定目标计算机，便会扫描该计算机中已经开放的端口，从而得到更多的有用信息。扫描目标计算机端口一般使用SuperScan、X-Scan等。 一、端口扫描原理 扫描端口之前，用户必须了解端口扫描的原理。简单讲，其原理就是利用数据包来分析目标计算机的响应，从而得到 ...
分类：
其他好文 时间：
2016-11-12 23:13:18
阅读次数：
310
毕业三年多，回头想想走过的路，曲曲折折；写过的代码，零零散散；认识的人，形形色色。 出生于通信和机械，一年后半道出家，头脑发热选择了软件开发，刚开始时激情四射，像学生时代一样，自己给自己规划，自我督促，自我学习，短时间大致了解了开发的流程，也能一些简单的开发。然而，也许是对急于求成，没考虑好职业规划 ...
分类：
其他好文 时间：
2016-11-12 19:41:34
阅读次数：
164
用户画像的具体应用包括售前的精准营销，售中的个性化推荐以及售后的增值服务等。用户的标签纬度和应用是相互相城的关系，一面可以根据现有的标签纬度开发应用，另一方面可以通过应用需求扩展维度，两者互相促进。 我们在这里举的列子分为3类，第一类是售前的精准营销，比如电商客户和企业客户，需要经过精准营销，把站外 ...
分类：
其他好文 时间：
2016-11-11 07:33:46
阅读次数：
229
This article is an in-depth tutorial for using Kafka to move data from PostgreSQL to Hadoop HDFS via JDBC connections. Read this eGuide to discover th ...
分类：
数据库 时间：
2016-11-06 16:48:20
阅读次数：
268
通过spark的action操作函数：collect函数可以提取出所有rdd里的数据项！ ...
分类：
其他好文 时间：
2016-11-06 11:34:12
阅读次数：
170
ComputeSVD 构建一个4×5的矩阵M: M矩阵的奇异值分解后奇异矩阵s应为： 4 0 0 0 0 0 3 0 0 0 0 0 √5 0 0 0 0 0 0 0 我们将通过ComputeSVD函数进行验证. <一> 构造RowMatrix矩阵:M scala> val M = new RowM ...
分类：
其他好文 时间：
2016-11-04 01:14:11
阅读次数：
316
摘要 1.num-executors 2.executor-memory 3.executor-cores 4.driver-memory 5.spark.default.parallelism 6.spark.storage.memoryFraction 7... ...
分类：
其他好文 时间：
2016-11-04 01:13:27
阅读次数：
443
