测试思路:首先,创建网络数据源数据发送器(程序一);其次,创建spark接收数据程序(程序二);接着,将程序一打包,放在服务器上执行。这里有三个参数分别是:所要发送的数据文件,通过哪个端口号发送,每隔多少毫秒发送一次数据;最后,运行spark程序,这里每隔5秒处理一次..
分类:
其他好文 时间:
2015-05-31 18:45:44
阅读次数:
194
测试思路:首先,使用上篇文章的程序一发送网络数据;其次,运行spark程序,观察效果。说明:1.这里使用到了更新函数;2.使用检查点来保证状态。sparkStreaming
importorg.apache.log4j.{LoggerLevel}
importorg.apache.spark.streaming.{SecondsStreamingContext}
importorg...
分类:
其他好文 时间:
2015-05-31 18:47:41
阅读次数:
121
背景知识:EPEL源ExtraPackagesforEnterpriseLinux(企业版Linux附加软件包)(以下简称
EPEL)是一个由特别兴趣小组创建、维护并管理的,针对红帽企业版Linux(RHEL)及其衍生发行版(比如CentOS、
ScientificLinux)的一个高质量附加软件包项目。EPEL的软件包通常不会与企业版Linux..
分类:
其他好文 时间:
2015-05-31 18:47:42
阅读次数:
313
测试思路:首先,使用网络数据发送程序发送数据;然后,运行spark程序;观察效果。说明:1.这里也需要设置检查点目录2.这里有四个参数:前两个分别是监听的端口和每隔多少毫秒接收一次数据;第三个参数是接收前多少毫秒的数据;(详细请参见window具体含义)第四个参数是每隔多..
分类:
其他好文 时间:
2015-05-31 18:45:23
阅读次数:
115
Kalilinuxconfig:kalilinux默认是gnome的桌面,但个人更习惯kde桌面。配置kde桌面过程。1.修改软件源vi/etc/apt/source.list#官方源##官方源最近访问都会有些问题,个人建议用aliyun的源debhttp://http.kali.org/kalikalimainnon-freecontribdeb-srchttp://http.kali.org/kalik..
分类:
其他好文 时间:
2015-05-31 18:47:09
阅读次数:
270
在使用sparkMLlib时,有时候需要使用到一些基础的矩阵(向量),例如:全零矩阵,全一矩阵;以及矩阵之间的运算操作。这里整理了一些常用的矩阵操作方法:矩阵:packageutilsimportjava.util.Random/***密集矩阵,用于封装模型参数*/classDenseMatrix(rowNum:Int,columnNum:Int..
分类:
其他好文 时间:
2015-05-31 18:45:34
阅读次数:
125
Kalilinux脚本自动启动:公司比较多用Redhat,所以习惯使用/etc/rc.local写开机自动运行的脚本,今天配了台Debian,要写自动运行脚本,稍有不同,写下来存档Debian定义了多个运行级别脚本,分别存放在/etc/rc0.d至/etc/rc6.d中,默认级别为5.要增加开机自动运行脚本的方法如下..
分类:
其他好文 时间:
2015-05-31 18:45:41
阅读次数:
1270
Kalilinuxgooglechrome安装。官网下载deb包。http://www.google.cn/intl/zh-CN/chrome/browser/desktop/index.htmlroot执行:dpkg-igoogle-chrome-stable_current_amd64.debKalilinuxgooglechrome中文乱码问题。1.安装wqy-zenhei字体apt-getinstallttf-wqy-zenhei2.修改系统字..
分类:
其他好文 时间:
2015-05-31 18:45:31
阅读次数:
194
1.HttpRequest对象HttpRequest对象包含当前请求URL的一些信息:有关request的其它信息:request.META是一个Python字典,包含了所有本次HTTP请求的Header信息,这个字典中几个常见的键值有键值作用HTTP_REFERER进站前链接网页,如果有的话HTTP_USER_AGENT用户浏览器的user-agent..
分类:
其他好文 时间:
2015-05-31 18:46:27
阅读次数:
212
再过几天,李一男电动踏板车即将揭开全部神秘面纱,这款备受瞩目的电动踏板车在一展身姿的同时,也将接受客观世界的拷问和洗礼。对于李一男来说,这场发布会不仅是其个人回归大众视野的宣告,但同时也是一场新革命的开端。抛开李一男本身的光环之外,这款电动车的诸多创新和突..
分类:
其他好文 时间:
2015-05-31 18:46:06
阅读次数:
155
表记录的基本操作查看selectselect字段名列表from数据库名.表名;select字段名列表from数据库名.表名where条件表达式;*字段名1,字段名2,字段名N条件的表示方式:使用where引导,适用于更新、删除、查询等场合,符合条件的记录才被操作1.数值比较等于:=不等于:!=大于、大于..
分类:
其他好文 时间:
2015-05-31 18:43:36
阅读次数:
123
1.遇到一个奇怪的情况。本地yum源,rpm包存在,但是yum安装时提示无法找到对应的包。解决办法:cd/home/mediayuminstallcreaterepo#重建yum仓库将安装光盘挂载到/media目录下执行mount/dev/cdrom/mediacreaterepo-g/media/repodata/5819e9580b5a81a9eec9e2c6e91fc9992a7ccadaa3..
分类:
其他好文 时间:
2015-05-31 18:42:27
阅读次数:
109
一、前言在openstack中配置networking服务都是一段困惑的经历。本指南提供一步步说明如何配置Networking(neutron)和传统的网络服务(nova-network)。如果你不确定使用哪种,建议尝试neutron,因为它提供了相当数量的功能和灵活性,包括各种新兴产品的插件来支持虚拟网络。二..
分类:
其他好文 时间:
2015-05-31 18:41:15
阅读次数:
238
bootstrap的历史2011年,twitter的“一小撮”工程师为了提高他们内部的分析和管理能力,用业余时间为他们的产品构建了一套易用、优雅、灵活、可扩展的前端工具集--BootStrap。Bootstrap由MARKOTTO和JacobThornton所设计和建立,在github上开源之后,迅速成为该站上最多人watch&..
分类:
其他好文 时间:
2015-05-31 18:40:11
阅读次数:
164
1.创建普通用户账号(这里提示预防误操作)创建用户useradddzzxtbl添加密码Passwdzzxtbl快速命令:ehco“123456”|passwd–stdinzzxtbl&&history–c不用窗体交互2.安装yum源的配置Cd/etc/yum.repos.d/这里备份原有的yum源bin/mvCentOS-Base.repoCentOS-Base.repo.old下..
分类:
其他好文 时间:
2015-05-31 18:40:11
阅读次数:
1351
又一个毕业季:一个女运维学生写给老男孩老师的感谢信!亲爱的老男孩老师,我是老男孩linux运维班2X期您的学生XXX。我写这一封信的目的,一是,感谢老男孩教育对我学习上的培养和鼓励,二也是给自己在老男孩培训的这段时间做的一个完整的总结。培训前的状态2014年对于我来说终..
分类:
其他好文 时间:
2015-05-31 18:39:44
阅读次数:
414
一、简介openstack仪表盘,又叫做Horizon。它是一个web界面,使管理员和用户能管理各种openstack的资源和服务;通过openstackAPIs基于网络和openstack云计算控制器交互实现。二、系统需求(可以直接忽略,只要前面的服务没有问题)在安装openstack仪表盘之前,你必须符合以下系..
分类:
其他好文 时间:
2015-05-31 18:40:40
阅读次数:
171