大数据技术开篇之Hadoop入门【hdfs】 学习都是从了解到熟悉的过程，而学习一项新的技术的时候都是从这个技术是什么？可以干什么？怎么用？如何优化？这几点开始。今天这篇文章分为两个部分。一、hadoop概述 二、hadoop核心技术之一的hdfs的讲解。 【hadoop概述】 一、hadoop是什 ...
分类：
其他好文 时间：
2020-04-07 20:10:19
阅读次数：
61
大数据之数据收集 数据收集是大数据的基础。散落在各处的数据，只有经过了数据收集，才会集中起来，提供了后续处理的可能。从大数据技术发展以来，出现了很多数据收集的技术框架，本文试图在若干流行的数据收集解决方案上加以叙述。 评估一个技术框架是否适合某个业务场景，通常需要考虑多个方面。 l 最基本的，考虑接 ...
分类：
其他好文 时间：
2020-04-02 18:10:32
阅读次数：
99
智慧农业涉及的新技术有很多，比如遥感技术、地理信息系统、GPS全球定位系统、物联网技术、5G高速无线通信、各种传感器技术，通过数据分析和数据挖掘为主的大数据技术以及机器视觉和深度学习的人工智能技术等。
分类：
其他好文 时间：
2020-03-25 10:27:49
阅读次数：
89
大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。下面整理了一些大数据分析能用到的工具，助力大家更好的应用大数据技术。 一、hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高 ...
分类：
其他好文 时间：
2020-03-14 18:32:36
阅读次数：
75
今天是2020年，3月14日，我拥有了属于自己的第一个博客，开心~ 我先介绍一下自己： 我叫宋承育，是一名大二的学生，专业是大数据技术与应用，也算是一个IT界的一个新人，目前掌握的知识有限，我会尽力把我会的东西总结到这里。 目前打算总结一下java的一些知识和算法的知识。初次见面，请多指教。 ...
分类：
其他好文 时间：
2020-03-14 11:06:35
阅读次数：
39
利用云计算、大数据技术，构建涵盖关系型数据库、分布式文件系统、NOSQL数据库、内存数据库等混合型数据资源中心，建立高安全、高可用、高扩展的智慧环保大数据中心数据架构，更好地解决未来5-10年大流量、高并发、高响应、高实时需求所带来的计算、存储、扩容、负载均衡等问题。 同时按照标准先行的思路，整合环 ...
分类：
其他好文 时间：
2020-03-13 15:58:44
阅读次数：
67
你有没有，想入门 Java、Python、Go、大数据、区块链等编程技术，而却无从入手？你有没有，为了提升自己，去花费很长时间，苦苦寻觅学习资源，而最终却寻而无获？ 自创建「一猿小讲」这个号，进行分享以来，有小伙伴问学习方法的，有小伙伴问开发工具的。 最近，时不时的又有新老朋友，索要学习资料，估计你 ...
分类：
编程语言 时间：
2020-03-11 10:35:51
阅读次数：
69
百度得到的解决方式都是说mysql通过jdbc链接的时候会进行测试’SET OPTION SQL_SELECT_LIMIT=DEFAULT’,但是5.6以后的版本弃用了set的方式。 我用的MySQL数据库是5.7.20版本因此对应5.1版本的jdbc， 错误提示：You have an error ...
分类：
数据库 时间：
2020-02-27 23:36:07
阅读次数：
105
1、datax简述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数 ...
分类：
其他好文 时间：
2020-02-27 20:52:31
阅读次数：
264
Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小(大数据库架构中这是是否考虑使用Spark的重要因素)。 1、Spark的核心是什么? RDD是Spark的基本抽象,是 ...
分类：
其他好文 时间：
2020-02-20 17:10:10
阅读次数：
121
