工作快3年了，整体对自己的知识体系梳理一下： 做过的工作： 服务端工程师和数据开发工程师 接触过的技术两大类： 服务端后台： java、spring、mysql、redis、消息中间价、nio 数据分析： python、Gp、spark、hadoop、hive。 总体的感觉是自己涉猎的内容还比较多， ...
分类：
其他好文 时间：
2017-03-05 16:28:23
阅读次数：
173
Uncle Tom's Inherited Land* Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 3445 Accepted Submiss ...
分类：
其他好文 时间：
2017-03-05 12:30:28
阅读次数：
176
本課主題 大数据性能调优的本质 Spark 性能调优要点分析 Spark 资源使用原理流程 Spark 资源调优最佳实战 引言 我们谈大数据性能调优，到底在谈什么，它的本质是什么，以及 Spark 在性能调优部份的要点，这两点让直式进入性能调优都是一个至关重要的问题，它的本质限制了我们调优到底要达到 ...
分类：
其他好文 时间：
2017-02-25 00:57:36
阅读次数：
257
1、分配更多的资源 1.1 分配的资源有：executor、cup per executor、memory per executor、driver memory 1.2 如何分配：在spark-submit提交时设置相应的参数 1.3 调节到多大（原则：能使用的资源有多大，就尽量调节到最大的大小） ...
分类：
其他好文 时间：
2017-02-23 15:49:45
阅读次数：
356
找web安全扫描器的时候发现了netsparker4.0，是2015年的新版，最大的亮点就是安全扫描的自动化程度更高了！安全测试时你不再需要录制登录信息，同时其还支持双因素认证。界面看起来很高大上，于是网上下载了个破解版体验了一下 初体验 界面很简单明了，设置下url 然后就可以快速使用默认方式进行 ...
分类：
Web程序 时间：
2017-02-19 11:04:49
阅读次数：
257
1.购物篮的定义 2.适用场景 3.相关概念 4.步骤 5.编程实现 6.步骤 ...
分类：
其他好文 时间：
2017-02-12 15:47:28
阅读次数：
222
川普就是领着一群工业革命时代的棺材瓤子，发动了一次资本主义复辟，面对互联网不过是一次新的砸机器运动。 美国的红脖子（泛指美国普通劳动者）既不学习，也不接受互联网，下班上酒馆喝一晚上，周末喝啤酒看球赛。在美国搞制造业，美元还猛升值，东西卖给谁？美国人自己都不愿意买。当初美国人愿意买美国货就没有我们了。 ...
分类：
其他好文 时间：
2017-01-30 10:35:33
阅读次数：
198
1.spark与Hive结合起来 前提:当你spark的版本是1.6.1的时候,你的Hive版本要1.2.1,用别的版本会有问题 我们在做的时候,Hive的版本很简单,我们只需要解压缩,告诉他Hive的源数据在哪里即可 1.首先我们进入/conf/hive-site.xml文件,进行修改jdbc的配 ...
分类：
其他好文 时间：
2017-01-13 22:41:16
阅读次数：
233
链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/ ...
分类：
Web程序 时间：
2017-01-12 08:42:33
阅读次数：
359
电脑已经装了anaconda python，然后下载了spark2.1.0。因为版本太新，所以网上和书上的一些内容已经不再适用。比如关于如何使用IPython和Jupyter，教程给出的方法是用如下语句打开Spark即可进入IPython或者IPython Notebook： 然鹅运行以上语句后我得 ...
分类：
其他好文 时间：
2017-01-05 00:50:19
阅读次数：
826
