从控制台我们可以看见有两个DataNode，此时我们点击“Live Nodes”查看一下其信息：
从控制台中看到了我们的两个Datanode节点SparkWorker1和SparkWorker2，这正是我们预期中的！
第三步：启动yarn集群
使用jps命令可以发现SparkMaster机器上启动了ResourceManager进程：
而在Spa...
分类：
其他好文 时间：
2014-10-21 10:24:25
阅读次数：
230
目前对于前端工程师而言，如果只针对浏览器编写代码，那么很简单，只需要在页面的script脚本中引入所用js就可以了。
但是某些情况下，我们可能需要在服务端也跑一套类似的逻辑代码，考虑如下这些情景（以node作为后端为例）：
1.spa的应用，需要同时支持服务端直出页面以及客户端pjax拉...
分类：
其他好文 时间：
2014-10-21 00:44:33
阅读次数：
242
数据库文件型： select * from sys.dm_db_file_space_usage; go --返回数据库中每个文件的空间使用信息。 任务空间使用情况： select * from sys.dm_db_task_spa...
分类：
数据库 时间：
2014-10-20 19:29:16
阅读次数：
221
略微了解Spark源代码的人应该都知道SparkContext，作为整个Project的程序入口，其重要性不言而喻，很多大牛也在源代码分析的文章中对其做了非常多相关的深入分析和解读。这里，结合自己前段时间的阅读体会，与大家共同讨论学习一下Spark的入口对象—天堂之门—SparkContex。Spa...
分类：
Web程序 时间：
2014-10-16 20:33:13
阅读次数：
271
Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而Apache Spa...
分类：
编程语言 时间：
2014-10-13 14:23:49
阅读次数：
258
在过去几年，Apache Spark的采用以惊人的速度增加着，通常被作为MapReduce后继，可以支撑数千节点规模的集群部署。在内存中数 据处理上，Apache Spark比MapReduce更加高效已经得到广泛认识；但是当数据量远超内存容量时，我们也听到了一些机构在Spark使用 上的困扰。因此，我们与Spark社区一起，投入了大量的精力做Spark稳定性、扩展性、性能等方面的提升。既然Spa...
分类：
编程语言 时间：
2014-10-13 07:52:29
阅读次数：
214
为了在IDEA中编写scala，今天安装配置学习了IDEA集成开发环境。IDEA确实很优秀，学会之后，用起来很顺手。关于如何搭建scala和IDEA开发环境，请看文末的参考资料。用Scala和Java实现WordCount，其中Java实现的JavaWordCount是spark自带的例子（$SPA...
分类：
编程语言 时间：
2014-10-10 23:51:34
阅读次数：
528
时代在进步，原本前端只是用来简单的数据显示以及提交数据到后端处理逻辑的地方，而随着SPA的发展，前端的逻辑也越来越是庞大，恰巧，今天看微博的时候，发现一个概念讨论的比较多，就是 Web Components，顺藤摸瓜，做了一些了解，发现 Polymer 这样一个或许是未来的东东，至少有一点，ch.....
分类：
Web程序 时间：
2014-10-01 12:11:11
阅读次数：
435
BEGINNING SHAREPOINT® 2013 DEVELOPMENT 第8章节--配送SP2013Apps 总结
SP商店提供开发人员和ISVs权限访问潜在地世界各地成百上千的SPA客户和用户，创建组件的全球市场，插件和整条业务apps线。商店是前所未有的渠道，将可重用和可重新售卖的组建送到客户手里。...
分类：
移动开发 时间：
2014-09-29 22:20:31
阅读次数：
160
BEGINNING SHAREPOINT® 2013 DEVELOPMENT 第7章节--打包并部署SP2013 Apps 总结
VS2012结合SP2013提供了健壮且易于理解的一系列SPA应用程序的开发工具。无论你是否决定创建SP-hosted、Provider-hosted或者Autohosted的应用程序，在VS中可用的选项和发布工具都使得打包和发布你的应用程序包变得直接...
分类：
移动开发 时间：
2014-09-29 21:59:01
阅读次数：
169
