码迷,mamicode.com
首页 >  
搜索关键字:hadoop 2.7.2 大数据 hdfs ha    ( 28781个结果
泛在感知中台建设方案
前言 工业互联网平台普遍面临的问题是: 1、在数据完成采集和展示之后,数据如何分析、如何挖掘、如何建模、如何将数据价值变现? 2、不同行业的技术原理、行业知识、基础工艺都不一样,如何建设跨行业跨领域的工业互联网平台? 泛在感知中台是跨行业跨领域的大数据处理中台,可以帮助企业提升平台能力,为企业提供丰 ...
分类:其他好文   时间:2021-05-24 13:32:33    阅读次数:0
Java集合框架-HashMap
目录 HashMap 1 HashMap引入 2 HashMa数据结构 1、HashMap概述 2、HashMap在JDK1.8以前数据结构和存储原理 3、JDK1.8后HashMap的数据结构 4、HashMap的属性 3 HashMap的源码分析 1、HashMap的层次关系与继承结构 2、Ha ...
分类:编程语言   时间:2021-05-24 12:19:03    阅读次数:0
搞懂什么是数据库事务
前言 事务(Transaction)是数据库学习中非常重要的一种概念,作为关系型数据库的核心组成,在数据安全方面有着非常重要的作用。 事务在各大数据库中都有非常广泛的应用,并且对于很多业务,例如电商、支付,是保证其可以正常运行的根基。 本文会逐步解析数据库事务的核心特性,以获得对事务更深的理解,主要 ...
分类:数据库   时间:2021-05-24 10:21:59    阅读次数:0
cube.js预聚合对于大数据量处理的问题
cube.js 的预聚合是一个很不错的功能,但是目前是有一些问题的,比如我们包含了大量的数据(几十完,上百万) 目前官方相关的解决方法 数据拆分 基于文件模式的文件处理(比如cubestore支持csv格式的) 基于stream模式的数据处理(目前官方也比较推荐的模式) 一些说明 目前方案都不太好, ...
分类:Web程序   时间:2021-05-24 09:57:40    阅读次数:0
小企业面对大数据如何破局,高并发与海量数据技术又如何操作?
公司的项目数据量有限,获取行业线上线下消费数据也困难,没有足够的数据量,如何应用大数据?如何在公司现有情况下接触实际的高并发大数据项目? 就是想实操一下高并发的架构设计或者参与互联网级别项目的开发,但又不想舍弃现在的工作? 中小企业如何想办法破局 大数据本身就特别容易形成技术垄断,让长尾的中小企业无 ...
分类:其他好文   时间:2021-05-24 09:54:03    阅读次数:0
(转)Spark与Map-Reduce区别对比
典型架构 很多的场景都是如上的,有web(包括无线、以前CS的模式、现在的BS模式等)、DB、cache、数据分析我就用了Hadoop了(代名词,或者泛指数据仓库了),另外就是一些传感器之类的,数据通道(有的简单如:jdbc等,有的比较复杂,保序不丢等),其中也简单列了一些中间件的软件。这张图组成了 ...
分类:其他好文   时间:2021-05-24 09:02:34    阅读次数:0
从RDD创建DataFrame
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() import pandas as pd import numpy as np arr = np.arange(6).reshape(-1 ...
分类:其他好文   时间:2021-05-24 08:54:40    阅读次数:0
常见未授权访问测试脚本
扫描以下常见未授权访问 redis、mongodb、memcached、elasticsearch、zookeeper、ftp、CouchDB、docker、Hadoop 安装 pip3 install -r requirements.txt -i https://mirrors.aliyun.co ...
分类:其他好文   时间:2021-05-24 08:32:18    阅读次数:0
团队冲刺阶段的要求2
项目预计第一阶段花费十天的时间,第二阶段粗略估计要花一个月,因为第二阶段所需要的技术,像 Hadoop,kafka之类的之前并没有接触过,而第一阶段的工作,css、JavaScript、HTML,echarts等 在之前的学习中已有涉猎。目前已经花费十天,还剩余一个月 产品状态:目前已实现获取当前热 ...
分类:其他好文   时间:2021-05-24 07:14:48    阅读次数:0
hadoop 启动dfs失败(but there is no HDFS_NAMENODE_USER defined)
https://blog.csdn.net/linuxvfast/article/details/93720931 在Hadoop安装目录下找到sbin文件夹 在里面修改四个文件 对于start-dfs.sh和stop-dfs.sh文件,添加下列参数: #!/usr/bin/env bash HDF ...
分类:其他好文   时间:2021-05-24 06:40:05    阅读次数:0
28781条   上一页 1 ... 7 8 9 10 11 ... 2879 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!