今天给大家分享第四范式在推荐系统大规模特征工程与Spark基于LLVM优化方面的实践，主要包括以下四个主题。大规模推荐系统特征工程介绍SparkSQL与FESQL架构设计基于LLVM的Spark性能优化推荐系统与Spark优化总结大规模推荐系统特征工程介绍推荐系统在新闻推荐、搜索引擎、广告投放以及最新很火的短视频App中都有非常广阔的应用，可以说绝大部分互联网企业和传统企业都可以通过推荐系统来提升
分类：
数据库 时间：
2020-07-14 09:27:20
阅读次数：
72
SparkSQL在机器学习场景中应用第四范式已经在很多行业落地了上万个AI应用，比如在金融行业的反欺诈，媒体行业的新闻推荐，能源行业管道检测，而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用SparkSQL在特征变换主要有一下几类1.多表场景，用于表之间拼接操作，比如交易信息表去拼接账户表2.使用udf进行简单的特征变换，比如对时间戳进行hour函数处理3.使用时间窗口和udaf
分类：
数据库 时间：
2020-07-09 17:54:20
阅读次数：
99
1.运用场景 新闻推荐 2.创新点 基于内容的深度学习推荐模型，适合像新闻类具有高度时效性的推荐； 提出KCNN模块来联合学习新闻的语义层和知识层的表示； 用Attention模块对用户历史点击新闻对于当前候选新闻的影响程度进行建模。 3.算法原理 3.1 整体框架 3.2 DKN "DKN论文" ...
分类：
其他好文 时间：
2020-04-06 17:18:42
阅读次数：
51
目录结构 1，推荐系统的概率及部署 2，新闻推荐系统特点分析 3，协同过滤算法分析 4，系统评估与安全 一：推荐系统的概览及部署 首先明确一个概念，推荐系统是什么，或者说解决了什么样的一个问题。 新闻推荐系统解决的是咨询、用户和环境之间的关系，如图，通过对用户特征、环境特征、文章特征做综合分析，将最 ...
分类：
其他好文 时间：
2019-09-01 01:09:03
阅读次数：
197
# -*- coding:utf-8 -*-__version__ = '1.0.0.0'"""@brief : 基于新闻的内容推荐系统@details: 详细信息@author : zhphuang@date : 2019-08-07"""import jiebafrom pandas impor ...
分类：
编程语言 时间：
2019-08-07 13:17:07
阅读次数：
613
11月6日，第四范式主办的 “2018人工智能+新媒体论坛”在京召开。本次论坛聚集了众多资深媒体人士及AI行业代表，对人工智能与传媒技术相融合的创新案例进行了分享与研究。论坛上，针对目前媒体AI落地存在基础薄、应用难、门槛高等痛点问题，第四范式发布了全面赋能媒体的AI产品——先荐智能推荐系统（以下简称先荐），帮助媒体快速、精准匹配用户的阅读需求，提升媒体运营效率和价值。
分类：
其他好文 时间：
2018-11-08 23:27:38
阅读次数：
364
1、摘要： 提出了一种新的深度强化学习框架的新闻推荐。由于新闻特征和用户喜好的动态特性，在线个性化新闻推荐是一个极具挑战性的问题。 虽然已经提出了一些在线推荐模型来解决新闻推荐的动态特性，但是这些方法主要存在三个问题：①只尝试模拟当前的奖励（eg：点击率）②很少考虑使用除了点击 / 不点击标签之外的 ...
分类：
其他好文 时间：
2018-09-14 21:30:32
阅读次数：
316
https://blog.csdn.net/qq_32690999/article/details/77434381 因为开发了一个新闻推荐系统的模块，在推荐算法这一块涉及到了基于内容的推荐算法（Content-Based Recommendation），于是借此机会，基于自己看了网上各种资料后对该 ...
分类：
编程语言 时间：
2018-09-11 21:19:01
阅读次数：
503
因为开发了一个新闻推荐系统的模块，在推荐算法这一块涉及到了基于内容的推荐算法（Content Based Recommendation），于是借此机会，基于自己看了网上各种资料后对该分类方法的理解，用尽量清晰明了的语言，结合算法和自己开发推荐模块本身，记录下这些过程，供自己回顾，也供大家参考~ 目录 ...
分类：
编程语言 时间：
2018-07-07 15:56:54
阅读次数：
274
一、元素创建的三种方式 元素创建是为了提高用户的体验 1、第一种 缺陷：页面加载完毕时后，通过这种方式创建的元素会覆盖原有页面的所有内容 扩展：可以嵌入外部的代码（百度新闻代码为例） 2、第二种 案例1：点击按钮创建图片 案例2：点击按钮创建列表 3、第三种 步骤：创建 >追加（方法见后面） 案例1 ...
分类：
其他好文 时间：
2018-05-03 12:47:56
阅读次数：
207
