码迷,mamicode.com
首页 > 其他好文 > 详细

大数据学习总结(1)任务描述

时间:2017-03-30 10:55:02      阅读:178      评论:0      收藏:0      [点我收藏+]

标签:数据模型   毫秒级   document   字段   检索   阿里   文本   需要   支持   

技术分享

 

技术分享

 

1、问题描述

单纯的大数据平台无法满足行业用户需要,无法在同类产品中凸显竞争力。

需要抽取业务共性,帮助用户构建满足需要的业务。

发展方向:数据集成+分析展现

 

2、业务痛点 

痛点:对所有文本皆有实时查询需求
难点:传统SQL使用WHERE子句匹配LIKE关键词,在庞大的数据字段中搜索某些想要的字,需遍历所有数据页或者索引页,查询效率底,

         当出现千万级以上数据时,耗时较高,无法满足实时要求
方案:使用全文检索方案,分布式架构,即使PB级量级也可做到毫秒级查询

 

 

3、任务目标:

开发一个建模工具+框架,和 Elastic Search的数据模型对接,

抽取业务语义模型,支持用户基于业务语义模型进行业务建模和运行业务。

 

4、验证场景:

a、客户画像

b、关系查询

c、搜索任务

 

5、参考资料:

阿里云的客户画像:

技术分享https://help.aliyun.com/document_detail/47990.html?spm=5176.doc47988.6.542.ksYfBu 

大数据学习总结(1)任务描述

标签:数据模型   毫秒级   document   字段   检索   阿里   文本   需要   支持   

原文地址:http://www.cnblogs.com/lexiaofei/p/6644351.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!