今天给大家分享第四范式在推荐系统大规模特征工程与Spark基于LLVM优化方面的实践，主要包括以下四个主题。大规模推荐系统特征工程介绍SparkSQL与FESQL架构设计基于LLVM的Spark性能优化推荐系统与Spark优化总结大规模推荐系统特征工程介绍推荐系统在新闻推荐、搜索引擎、广告投放以及最新很火的短视频App中都有非常广阔的应用，可以说绝大部分互联网企业和传统企业都可以通过推荐系统来提升
分类：
数据库 时间：
2020-07-14 09:27:20
阅读次数：
72
前言：在学习和使用MySQL的过程中，难免会遇到各种问题。不知道当你遇到相关问题时会怎么做，我在工作或写文章的过程中，遇到不懂或需要求证的问题时通常会去查阅官方文档。慢慢的，阅读文档也有了一些经验，本篇文章将手把手教你阅读MySQL官方文档，希望可以给到各位一点小收获。1.初识官方文档如果你还没有仔细的看过MySQL官方文档，可以跟着我一步步体验下哦。首先打开参考文档首页，这里以5.7版本为例，首
分类：
数据库 时间：
2020-07-14 09:27:54
阅读次数：
124
CentOS里用yum安装的mysql，没有自动创建mysql数据库，root账号的默认密码为空，如果要修改root账号的密码，需要从别的数据库把mysql数据库导过来，才能修改。方法1：用SETPASSWORD命令，我试了，这种方法可行，而且可以把密码设置为空，不需重启mysql服务 mysql-uroot--我试了，如果mysql本身有密码，执行这个命令进不去 mysql>SETPA
分类：
数据库 时间：
2020-07-14 10:40:03
阅读次数：
73
之前我们使用NLog记录日志到记事本的功能愉快的使用着，可是突然有一天领导要求统计一下报错的日志数量，茫茫记事本怎么破，于是写了个程序来读取记事本统计，这种原始的方式着实让人蛋疼，好在NLog提供了记录到数据库的功能，于是研究一番记录如下，首先把配置文件贴出来，默认位置是项目目录下的NLog.con ...
分类：
数据库 时间：
2020-07-14 13:04:10
阅读次数：
85
配置内容 SqlMapConfig.xml 中配置的内容和顺序 -properties（属性） --property -settings（全局配置参数） --setting -typeAliases（类型别名） --typeAliase --package -typeHandlers（类型处理器） ...
分类：
数据库 时间：
2020-07-14 13:08:22
阅读次数：
77
问题描述 2020年7月13日一大早收到告警，测试环境数据库CPU告警。 登录aws查看监控如下图 问题分析 出现这种cpu 100%的问题，都是因为sql性能问题导致的， 主要表现于 cpu 消耗过大，有慢sql造成、慢sql全表扫描，扫描数据库过大，内存排序，队列等等 并发现写入相对于查询来说比 ...
分类：
数据库 时间：
2020-07-14 13:09:21
阅读次数：
81
1. 前言：但数据库数据到达千万级别的时候，查询如果不按索引查就会非常慢，于是这里打算利用水平分表来优化一下查询，提高效率 2. 分表：取我当前表的某一列的前两个数字进行二级分表，将千万数据化分成十万。 -- 首先执行循环建表： create procedure sum1(a int) begin ...
分类：
数据库 时间：
2020-07-14 13:18:50
阅读次数：
90
开始安装 参考文档：https://www.jianshu.com/p/3eb1e178f51b （最后使用windows本地docker，wsl中代理，因为当前版本不支持，最新版本据说支持了，没有尝试过） docker常用命令 docker exec -it ecMysql bash 进入容器 d ...
分类：
数据库 时间：
2020-07-14 13:36:28
阅读次数：
122
mysql修改完配置文件之后，启动失败。一直显示startPending，各种尝试重无果。、 后来才发现是txt格式问题，修改配置文件直接保存就会变成utf-8。解决方法：文本格式另存为改成，ANSC保存。重启电脑就正常启动了。 参考了下面的这篇文章才发现的，记录一下问题的处理。 https://b ...
分类：
数据库 时间：
2020-07-14 13:41:18
阅读次数：
64
cat /usr/local/mongodb/etc/mongodb.conf############主库配置文件n内容#################dbpath = /data/mongodb/datalogpath = /usr/local/mongodb/logs/mongodb.logf ...
分类：
数据库 时间：
2020-07-14 13:44:38
阅读次数：
70
情景：因为不可能所有的属性都放在全局文件(SpringBoot项目使用一个全局的配置文件application.properties或者是application.yml)中 所以需要把一些跟springboot无关的东西放在其他文件，用 @PropertySource：加载指定的配置文件；直接用@P ...
分类：
数据库 时间：
2020-07-14 13:46:59
阅读次数：
162
1、设计良好的数据库结构，允许部分数据冗余，尽量避免 join 查询，提高效率。 2、选择合适的表字段数据类型和存储引擎，适当的添加索引。 3、MySQL 库主从读写分离。 4、找规律分表，减少单表中的数据量提高查询速度。 5、添加缓存机制，比如 memcached，apc 等。 6、不经常改动的页 ...
分类：
数据库 时间：
2020-07-14 13:47:54
阅读次数：
75
第一步： 第二步： 第三步：单击箭头位置快速全选 第四步：右键选择“将结果另存为” ...
分类：
数据库 时间：
2020-07-14 15:00:49
阅读次数：
93
DBCC CHECKIDENT(sysmenu, RESEED, 184) 设置sysmenu表的自增初始值为184 命令介绍： 在SQLServer输入数据时，碰到有主键ID需要维护时，可使用IDENT_CURRENT和CHECKIDENT命令来维护。 IDENT_CURRENT命令返回指定表或视 ...
分类：
数据库 时间：
2020-07-14 15:03:04
阅读次数：
159
想到是否包含，就想起来in，like查询了，先说一下这俩的区别，这是表字段和数据 Like查询 首先可能用的最多的LIKE 模糊查询，这样的数据不太精确，如果姓名有 “西贝小小凤1，西贝小小凤2” 这样的也会查出来，数据不太准确 select * from table where field lik ...
分类：
数据库 时间：
2020-07-14 15:04:08
阅读次数：
124
--sql语句的注意 : 1 以 ; 作为结束符 2 不区分大小写 --01 mysql 数据库的操作 -- 链接数据库 mysql -uroot -pmysql -- 不显示密码 mysql -uroot -p mysql -- 退出数据库 exit/quti/ctrl + d -- sql语句最 ...
分类：
数据库 时间：
2020-07-14 16:21:40
阅读次数：
74
查询SELECT * FROM table A WHERE ( A.the_date, A.exponent_code, A.exponent_value ) IN ( SELECT the_date, exponent_code, exponent_value FROM table GROUP B ...
分类：
数据库 时间：
2020-07-14 16:31:08
阅读次数：
90
-- 查询练习 -- 查询所有字段 -- select * from 表名; select * from students; -- 查询指定字段 -- select 列1,列2,... from 表名; select name,gender from students; -- 使用 as 给字段起别 ...
分类：
数据库 时间：
2020-07-14 16:47:06
阅读次数：
79
两阶段锁：在 InnoDB 事务中，行锁是在需要的时候才加上的，但并不是不需要了就立刻释放， 而是要等到事务结束时才释放。 建议：如果你的事务中需要锁多个行，要把最可能造成锁冲突、最可能影响并发度的锁尽量往后放。 死锁：当并发系统中不同线程出现循环资源依赖，涉及的线程都在等待别的线程释放资源时，就会 ...
分类：
数据库 时间：
2020-07-14 16:47:27
阅读次数：
73
线上某服务时不时报出如下异常（大约一天二十多次）：“Deadlock found when trying to get lock;”。 Oh, My God! 是死锁问题。尽管报错不多，对性能目前看来也无太大影响，但还是需要解决，保不齐哪天成为性能瓶颈。 为了更系统的分析问题，本文将从死锁检测、索引 ...
分类：
数据库 时间：
2020-07-14 16:49:46
阅读次数：
86
