研究内容解读 面向多源、异构和跨模态复杂社会信息，研究语义融合、网络表征和动态演化的理论框架; 多源:多数据源爬取， 异构:不同数据结构，不同结构的结构化数据，结构化数据与文本数据 跨模态:模态是指数据的存在形式，比如文本、音频、图像、视频等文件格式。有些数据的存在形式不同，但都是描述同一事物或事件 ...
分类：
其他好文 时间：
2020-06-01 13:55:49
阅读次数：
112
证券公司每天产生的数据中80%以上是非结构化数据，持续的数据增长，证券服务向智能化、敏捷化、价值化方向发展，对后端存储提出了挑战。1、变革的动力：证券信息化升级以影像、图片、扫描件为主的非结构化数据激增，数据量从TB级向PB级跃进。每年新增大量应用，复杂性增加，海量文件的访问性能面临新挑战。机构内部业务繁杂，存在数据壁垒，需搭建统一数据平台，提高跨业务共享效率。技术演进推动应用的容器化部署，这要求
分类：
其他好文 时间：
2020-05-23 09:57:17
阅读次数：
56
MongoDB / ElasticSearch: 文档数据库一般用类JSON格式存储数据，存储的内容是文档型的 HBase: 按列存储数据的。最大特点是方便存储结构化和半结构化数据，方便做数据压缩，针对某一列或某几列的查询有非常大的I/O优势，适合于批量数据处理和即时查询。 Redis： 通过key ...
分类：
其他好文 时间：
2020-05-18 18:31:48
阅读次数：
59
JSON Lines文本文件格式的文档 本页描述JSON Lines文本格式，也称为换行符分隔的JSON。JSON Lines是一种方便的格式，用于存储可以一次处理一条记录的结构化数据。它与Unix样式的文本处理工具和Shell管道一起很好地工作。这是日志文件的绝佳格式。这也是在协作流程之间传递消息 ...
分类：
Web程序 时间：
2020-05-16 19:07:53
阅读次数：
87
1、官方文档 https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/spiders.html 2、Spider简介 Spider类定义了如何爬取某个（或某些）网站。包括爬取的动作（例如：是否跟进链接）以及如何从网页的内容中提取结构化数据（爬取it ...
分类：
其他好文 时间：
2020-05-11 21:47:07
阅读次数：
66
Pandas详解 Pandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。 1、安装包 pip install pandas 2、数据结构 Pandas有三大数据结构，Series、DataFrame以及Pan ...
分类：
其他好文 时间：
2020-05-09 00:32:44
阅读次数：
78
lucene 1.lucene是一个开放源代码的全文检索引擎工具包，它不是一个完整的全部检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。 2.非结构化数据查询方法：（1）.顺序扫描法 例子 windows的搜索 （2）.全文检索 部分信息建立索引 好比我们的字 ...
分类：
Web程序 时间：
2020-05-02 11:47:41
阅读次数：
80
互联网技术发展的近几年，数据灾备领域也发生了一些重大变革。与互联网的其他领域一样，云计算技术已***到业务的开发与应用。将云集成到备份和灾难恢复应用中，灵活的实现了传统灾备方式不具备的交付方式和功能。关于UCACHE企业级云灾备的一些功能实现：勒索病毒防护保护企业的核心数据免遭这类勒索软件加密或锁定降低企业生存风险。文件系统备份/恢复保护企业的非结构化数据，满足全量备份和增量备份要求。云平台备份/恢
分类：
其他好文 时间：
2020-04-22 09:52:22
阅读次数：
108
数据可视化是大数据技术得以展现价值的“最后一公里”，向用户呈现数据处理和分析的结果性数据，通过表和图的方式传递数据价值，并且支撑用户对结果性数据的灵活运用。大数据的基础数据可以是结构化数据，也可能是非结构化数据，是质量好的、由计算机系统采集的数据，也可能是手工维护的文本、表格数据，在经过数据处理和分析的环节后，纷杂的大数据得以整理、整合、清洗、计算，形成易于元数据描述的结果性小数据，信息密度得以极
分类：
其他好文 时间：
2020-04-17 18:41:50
阅读次数：
79
简述 前面从新回顾学习了Solr，正好也借此机会顺便学习一下Lucene。 一、什么是Lucene? 全文检索的一个实现方式，也是非结构化数据查询的方法。应用场景：在数据量大，数据结构不固定的时候，采用Lucene，比如百度、Google等搜索引擎，网站的站内搜索，电商平台的商品检索等。 二、Luc ...
分类：
Web程序 时间：
2020-04-08 10:11:04
阅读次数：
88
