码迷,mamicode.com
首页 >  
搜索关键字:Python Spark    ( 141713个结果
Python连接PostGIS
Python访问PostGIS(建表、空间索引、分区表):https://www.cnblogs.com/likehua/p/3908323.html ...
分类:编程语言   时间:2021-06-07 20:29:14    阅读次数:0
09 spark连接mysql数据库
1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/ ...
分类:数据库   时间:2021-06-07 20:10:49    阅读次数:0
python读取自定义xml文件
一、定义xml文件内容,既然是自定义则所有的根节点随便写 使用xml.dom.minidom三方模块对xml文件进行解析 from xml.dom.minidom import parse def getIP(machineNum): #读取xml文件 domTree = parse("./conf ...
分类:编程语言   时间:2021-06-07 20:09:27    阅读次数:0
01 Spark架构与运行流程
1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障,在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类:其他好文   时间:2021-06-07 20:05:58    阅读次数:0
Spark RDD编程
1. 准备文本文件: 从文件创建RDD lines=sc.textFile(): 筛选出含某个单词的行 lines.filter(),lambda 参数:条件表达式: 2. 生成单词的列表: 从列表创建RDD words=sc.parallelize(): 筛选出长度大于2 的单词 words.fi ...
分类:其他好文   时间:2021-06-07 20:04:33    阅读次数:0
计算机视觉——基于BOW的图像检索
基于BOW的图像检索 一,图像检索概述 矢量空间模型 K-means算法 Bag of features原理 二,python实现过程 代码 结果分析 一,图像检索概述 基于文本的图像检索方法始于上世纪70年代,它利用文本标注的方式对图像中的内容进行描述,从而为每幅图像形成描述这幅图像内容的关键词, ...
分类:其他好文   时间:2021-06-07 20:00:02    阅读次数:0
08学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于95分的学生人数? Tom选修了几门课?每 ...
分类:数据库   时间:2021-06-07 19:58:41    阅读次数:0
python接口自动化之json请求体
python requests做接口自动化的时候,有get ,post等请求方法, 那么我们的请求体的参数书写的时候有三种格式(xml的暂时没碰到,就不计算在内) params,data,json。 什么情况下使用这三种格式呢? 其实以前我在使用jmeter做接口测试的时候,经常碰到不同的请求体格式 ...
分类:编程语言   时间:2021-06-07 19:58:09    阅读次数:0
python3面试题-一个包含n个整数的数组a,判断a中是否存在三个元素,a,b,c,使得a+b+c=0
面试题 一个包含n个整数的数组a,判断a中是否存在三个元素,a,b,c,使得a+b+c=0? 找出所有和为0并且不重复的三元组。不可包含重复的三元组。 如;a=[-1,0,1,2,-1,-4] 输出:[[-1,-1,2],[-1,0,1]] 如:a=[] 输出[] 如:a=[1,2] 输出[] 思考 ...
分类:编程语言   时间:2021-06-06 19:48:51    阅读次数:0
【Python OO其二】设计模式之工厂模式(举例说明)
工厂模式 工厂模式中的“工厂”实际上就是把类看成制造某种模板的工具(工厂),由这个类生成的实例除了本身自有的属性外,还可以通过指定的方式产出具有不同属性的同一类实例 比如:有一个面包房,它提供面包制作服务,在面包做好之后,你可以选择撒上不同的调味料,从而得到不同的面包。但这些食物仍属于面包这个范畴。 ...
分类:编程语言   时间:2021-06-06 19:42:01    阅读次数:0
141713条   上一页 1 ... 34 35 36 37 38 ... 14172 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!