码迷,mamicode.com
首页 >  
搜索关键字:scala spark    ( 10387个结果
移动端常见问题(click 300ms延迟)
根本原因:double click 双击 移动端默认双击情况下会有方法效果,当你点击一次之后,移动端无法判断你是否下一次还会继续完成双击,因此存在300 ms 延迟 有一部分浏览器,比如chrome浏览器,当你在meta头设置width=device-width时,它会自动禁止300 ms的延迟 推 ...
分类:移动开发   时间:2020-03-17 14:18:49    阅读次数:98
命令查询职责分离模式CQRS
最近想用Scala来重构Java项目。Scala的灵活高效这里就不用说了,Java MVC一套架构确实有它优点。但是开发调试效率确实慢很多。所以准备使用DDD中的命令查询职责分离模式(Command Query Responsibility Segregation,CQRS)重构项目。 首先我们先介 ...
分类:其他好文   时间:2020-03-16 16:28:01    阅读次数:101
DataFrame简介(一)
1. DataFrame 本片将介绍Spark RDD的限制以及DataFrame(DF)如何克服这些限制,从如何创建DataFrame,到DF的各种特性,以及如何优化执行计划。最后还会介绍DF有哪些限制。 2. 什么是 Spark SQL DataFrame? 从Spark1.3.0版本开始,DF ...
分类:其他好文   时间:2020-03-16 12:56:06    阅读次数:95
centos7无cm安装hadoop+spark
配置内核参数后重启生效# echo 'vm.swappiness=10'>> /etc/sysctl.conf 安装JDK8# rpm -ivh jdk-8u211-linux-x64.rpm # vi /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_ ...
分类:其他好文   时间:2020-03-15 22:11:33    阅读次数:76
大数据学习之scala-环境搭建
scala 下载网站 https://www.scala-lang.org/download/ 安装scala要先安装java,并且配置java环境,官网也有说明 不过国内的网站下载不下来可以访问: http://downloads.typesafe.com/scala/2.13.0/scala-2 ...
分类:其他好文   时间:2020-03-15 19:16:15    阅读次数:74
Spark 累加器使用
1.使用foreach碰到了问题 没看过累加器的时候,写了这么个代码,发现map里头foreach完了还是0啊?咋回事啊? 1 def calNrOfEachDataMap(data:RDD[String],neededDataMap:Set[Map[Int,String]]): Map[Map[I ...
分类:其他好文   时间:2020-03-15 10:10:54    阅读次数:163
Spark- How to concatenate DataFrame columns
[toc] 使用 或`concat_ws() `SQL函数,可以将一个或多个列连接到Spark DataFrame上的单个列中。在文本中,将学习如何使用这些函数,还可以使用原始SQL通过Scala示例来连接列。 Preparing Data & DataFrame 注意,我们需要导入spark对象上 ...
分类:其他好文   时间:2020-03-14 23:54:22    阅读次数:61
pyspark读取textfile形成DataFrame以及查询表的属性信息
pyspark可用于读取textfile格式的hive表格。 1. 查看hive表的属性方法(在hive或者spark-sql命令行均可): 查询建表信息: show create table database_name.table_name; 查询表的属性信息 (可看到表的格式信息例如,Input ...
分类:其他好文   时间:2020-03-14 20:06:06    阅读次数:166
Spark编程--Kafka安装与配置 (Kafka版本 kafka_2.11_2.2.1)
1.安装scala 2.11.8 2.解压下载包 cd ~/下载 sudo tar -zxf kafka_2.11-0.10.1.0.tgz -C ~/app cd ~/app sudo mv kafka_2.11-0.10.1.0/ ./kafka sudo chown -R hadoop ./k ...
分类:其他好文   时间:2020-03-14 19:56:39    阅读次数:121
Spark编程--Spark SQL DataFrame
DataFrame与RDD的区别 ...
分类:数据库   时间:2020-03-14 11:06:09    阅读次数:69
10387条   上一页 1 ... 66 67 68 69 70 ... 1039 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!