今天给大家分享第四范式在推荐系统大规模特征工程与Spark基于LLVM优化方面的实践，主要包括以下四个主题。大规模推荐系统特征工程介绍SparkSQL与FESQL架构设计基于LLVM的Spark性能优化推荐系统与Spark优化总结大规模推荐系统特征工程介绍推荐系统在新闻推荐、搜索引擎、广告投放以及最新很火的短视频App中都有非常广阔的应用，可以说绝大部分互联网企业和传统企业都可以通过推荐系统来提升
分类：
数据库 时间：
2020-07-14 09:27:20
阅读次数：
72
Spark on K8S 的几种模式 Standalone：在 K8S 启动一个长期运行的集群，所有 Job 都通过 spark-submit 向这个集群提交 Kubernetes Native：通过 spark-submit 直接向 K8S 的 API Server 提交，申请到资源后启动 Pod ...
分类：
Web程序 时间：
2020-07-14 09:25:00
阅读次数：
89
首先创建好项目工程，如下图：完善pom.xml文件，具体为：（依据自己的spark版本做修改）<dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.11.
分类：
其他好文 时间：
2020-07-14 09:21:08
阅读次数：
78
Spark 源码解读（一）SparkContext的初始化之TaskScheduler的启动 TaskScheduler创建完成之后，需要调用start()方法才可以生效，SparkContext的代码如下： _taskScheduler.start() TaskScheduler在启动的时候，实际 ...
分类：
其他好文 时间：
2020-07-14 00:25:58
阅读次数：
81
数据算法 Hadoop Spark大数据处理技巧 ...
分类：
编程语言 时间：
2020-07-13 18:11:22
阅读次数：
80
tophua/spark-machine-learning-book Spark机器学习书代码 25 Jupyter Notebook Updated on 22 Dec 2017 zengxiaosen/eshop 电商+大数据+spark机器学习 11 Java Updated on 5 Dec ...
分类：
其他好文 时间：
2020-07-13 18:02:05
阅读次数：
74
水平有限，本文仅以流水账的方式 介绍自己 安装 三款软件 的过程。 环境Ubuntu on 虚拟机： $ cat /proc/version Linux version 4.15.0-54-generic (buildd@lgw01-amd64-014) (gcc version 7.4.0 \(U ...
分类：
其他好文 时间：
2020-07-13 13:14:44
阅读次数：
63
setsockopt()支持下列选项。其中“类型”表明optval所指数据的类型。 选项 类型 意义 SO_BROADCAST BOOL 允许套接口传送广播信息。 SO_DEBUG BOOL 记录调试信息。 SO_DONTLINER BOOL 不要因为数据未发送就阻塞关闭操作。设置本选项相当于将SO ...
分类：
系统相关 时间：
2020-07-13 12:03:36
阅读次数：
71
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark 解决办法： ...
https://github.com/hyunsun/documentations/wiki/ONOS-vRouter-with-OVS https://wiki.onosproject.org/display/ONOS/How+to+set+up+gateway+node+using+vRoute ...
分类：
其他好文 时间：
2020-07-11 23:11:30
阅读次数：
102
