SSD和内存数据库技术 自己的理解还是不是很对 SSD 提升的是 随机读 并没有对顺序写有多大的提升, 因为数据库采用的是redo的模式. 理论上写入 时是顺序写 所以 写并发的提升不会很大 但是会很大的提升读取的速度. 2016-04-26 10:57:47 dingdingfish 阅读数 76 ...
分类：
数据库 时间：
2019-11-30 09:47:37
阅读次数：
97
平台上执行复杂查询，OOM，根据日志提示的结局方法： -- SET spark.driver.memory=6/8G;【还是OOM】set spark.sql.autoBroadcastJoinThreshold=-1;【解决问题】 Exception in thread "broadcast-ex ...
分类：
数据库 时间：
2019-11-21 09:30:17
阅读次数：
98
什么事sparkSQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用, 它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快 1）易整合 2）统一的数据访问方式 3）兼容Hive 4）标准 ...
分类：
数据库 时间：
2019-11-20 21:54:37
阅读次数：
91
上一篇说到Spark的yarn client运行模式，它与yarn cluster模式的主要区别就是前者Driver是运行在客户端，后者Driver是运行在yarn集群中。yarn client模式一般用在交互式场景中，比如spark shell, spark sql等程序，但是该模式下运行在客户端 ...
分类：
其他好文 时间：
2019-11-18 22:14:29
阅读次数：
101
通过spark-sql、hive-sql、hue等提交select或者insert overwrite等sql到hive时，会产生该目录，用于临时存放执行结果，比如insert overwrite会将结果暂存到该目录下，待任务结束，将结果复制到hive表中。关于该目录的生成位置策略可参考该文章：ht ...
分类：
其他好文 时间：
2019-11-10 19:39:33
阅读次数：
271
cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.sql.execution.aggregate.SortAggregateExec.aggre ...
分类：
编程语言 时间：
2019-11-07 17:41:34
阅读次数：
113
package Eva.homework import org.apache.spark.sql.{Row, SparkSession} import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructTy... ...
分类：
其他好文 时间：
2019-10-23 22:01:27
阅读次数：
159
通过Ambari2.7.3安装HDP3.1.0成功之后，通过spark sql去查询hive表的数据发现竟然无法查询 HDP3.0 集成了hive 3.0和 spark 2.3，然而spark却读取不了hive表的数据，准确来说是内表的数据。 原因hive 3.0之后默认开启ACID功能，而且新建的 ...
分类：
其他好文 时间：
2019-10-14 12:09:25
阅读次数：
144
以前公司用的是spark-core，但是换工作后用的多是spark-sql。最近学习了很多spark-sql，在此做一个有spark经验的sparksql快速入门的教程。 JDK安装包 1.8版本：https://pan.baidu.com/s/1pLW3jyKv3N_FhQ7vvE4U2g SCA ...
分类：
数据库 时间：
2019-10-13 20:59:48
阅读次数：
154
写wiki感觉不太好，直接写个人博客。其中掺杂了太多个人理解，不保证正确性。但是感觉网上的都是官样文章，而且都是抄来抄去，真真叫没意思。新手村推荐一个极好的博客，最好是一边看能够一遍动手验证，看看scala的函数是怎样转化成不同的stage和task的，看看spark-sql是怎么划分的，理解比较深... ...
分类：
其他好文 时间：
2019-10-11 23:12:37
阅读次数：
110
