1. 中英文平行语料预处理中文处理数据泛化，解决数据稀疏问题数字 $number日期 $date时间 $time网址等 $literal专有名词处理：如“东北大学信息学院”建议拆分为“东北大学”、“信息学院”，有助于抽取出更多翻译规则 英文大小写句尾结束符与最后单词用空格分开数据泛化处理 其他全角 ...
分类：
其他好文 时间：
2021-04-08 13:26:01
阅读次数：
0
一、前言 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)；目前我们使用CH作为实时数仓用于统计分析，在做性能优化的时候使用了 物化视图 这一特性作为优化手段，本文主要分享物化视图的特性与如何使用它来优化ClickHouse的查询性能。 二、概念 数据库中的 视图( ...
分类：
其他好文 时间：
2021-04-08 13:08:40
阅读次数：
0
// 统计数组中 相同值出现的次数 var ary = [1,2,1,1,1,2,3] let obj = {} for(let i = 0 ; i < ary.length; i++) { if(obj[ary[i]]){ //如果obj中有值， +1 （如果数组中有值 是0，注意true 和 f ...
分类：
编程语言 时间：
2021-04-07 11:17:33
阅读次数：
0
题目大意 给n个学生的邮箱地址和成绩 和成绩分界点g 名人堂人数k 统计总共发多少奖学金 按要求输出名人堂（成绩从大到小 一样成绩的话按字典序输出） 代码 #include<bits/stdc++.h> using namespace std; struct Node { string s; int ...
分类：
其他好文 时间：
2021-04-07 11:06:05
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-07 11:00:42
阅读次数：
0
一、词频统计： #1.读文本文件生成RDD lines #2.将一行一行的文本分割成单词 words flatmap() #3.全部转换为小写 lower() #4.去掉长度小于3的单词 filter() #5.去掉停用词 #6.转换成键值对 map() 7.统计词频 reduceByKey() 二 ...
分类：
其他好文 时间：
2021-04-07 10:49:31
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-07 10:40:25
阅读次数：
0
与现在相对热门的Clickhouse引擎相比，Druid对高并发的支持相对较好和稳定，但是Clickhouse在任务队列模式中的数据查询能力十分出色，但是对高并发支持不够友好，需要做好很多服务监控和预警。大数据组件中OLAP引擎的选型有很多，在数据的查询引擎层通常都具有两种或者以上的OLAP引擎，选... ...
分类：
其他好文 时间：
2021-04-07 10:30:18
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD 2.将文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分数 groupByKey() -- 按课程汇总全总学生和分数 1. 分解出字 ...
分类：
其他好文 时间：
2021-04-06 15:20:05
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 ...
分类：
其他好文 时间：
2021-04-06 15:15:03
阅读次数：
0
