蒙特卡洛（Monte Carlo）方法以概率统计理论为基础的数值计算方法，在处理一些复杂的问题时成效显著。基于蒙特卡洛思想的采样方法在机器学习中占有非常重要的位置。像Reject Sampling, Importance Sampling，以及MCMC等等都是机器学习中非常重要，但又很不容易理解和掌握的方法，本文就从Inverse CDF法开始介绍蒙特卡洛采样法中非常重要的拒绝采样和ARS方法。...
分类：
其他好文 时间：
2016-05-18 19:03:42
阅读次数：
2681
之前一直说要分析拉勾网的数据就去学了爬虫，现在终于把分析结果带来了，想知道现在什么方向比较火，自己的方向的前（钱）途怎么样吗？一起来看看吧...
分类：
其他好文 时间：
2016-05-18 19:02:57
阅读次数：
150
不久前，师弟问了我一个问题：“师兄，我要控制一个机器人在仿真环境下运动，需要学什么，或者从哪里入手呢？“
这个问题不是那么好回答，urdf——tf——Gazebo——ros_control——MoveIt，这是我在十多天后才能给出的一个答案。那么之前我是怎么做仿真的呢？
1. 借助Arbotix舵机接口来仿真
之前是在学习《ros by example volume 2 》的时候，接触到...
分类：
其他好文 时间：
2016-05-18 19:03:08
阅读次数：
1060
本文为In-memory Computing with SAP HANA on Lenovo X6 Systems第七章Business continuity and resiliency for SAP HANA的读书笔记。 Overview of business continuity options业务连续性有不同的级别，采用何种级别取决于需求
Developing a business...
分类：
其他好文 时间：
2016-05-18 19:00:07
阅读次数：
193
返回目录
上一篇：决策树
1. 简单理论介绍
1.1 贝叶斯定理
了解贝叶斯定理之前，需要先了解下条件概率。P(A|B)表示在事件B已经发生的条件下事件A发生的概率：
P(A|B)=P(AB) P(B)daf
afdfd
假如我们已经知道了P(A|B)，但是现在我们想要求P(B|A)，也就是在事件A发生的条件下事件B发生的概率，这时...
分类：
其他好文 时间：
2016-05-18 19:02:25
阅读次数：
137
Map Task内部实现
在Task运行过程分析2中提到，MapTask分为4种，分别是Job-setup Task、Job-cleanup Task、Task-cleanup Task和Map Task。其中，Job-setup Task和Job-cleanup Task分别是作业运行时启动的第一个任务和最后一个任务，主要工作分别是进行一些作业初始化和收尾工作，比如创建和删除作业临时输出目录；而...
分类：
其他好文 时间：
2016-05-18 19:01:47
阅读次数：
209
本文介绍了初创公司如何利用AWS，来设计快、多、好、省的技术架构；快：针对业务需要可以快速获得资源与服务；多：拥有丰富的云服务可供选择，能不自己做就不自己做；好：强调扩展性和高可用，既不要在一开始被“钱”束缚住，又需要良好的用户体验（能用是最基本的用户需求）；省：可以弹性伸缩，并按需付费是最好的节省...
分类：
其他好文 时间：
2016-05-18 19:00:22
阅读次数：
163
1. BlockManager的注册和初始化
2. BlockManager里面的重要函数详细介绍
一：BlockManager初始化
1. BlockManager的实例对象调用initializes的时候才能正常工作。
启动initializes方法又两个作用：BlockTransferService(网络通信)，ShuffleClient/**
* Initializ...
分类：
其他好文 时间：
2016-05-18 19:01:18
阅读次数：
198
调优概述
大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基...
分类：
其他好文 时间：
2016-05-18 18:59:14
阅读次数：
148
在设计模式中，适配器模式（英语：adapter pattern）有时候也称包装样式或者包装(wrapper)。将一个类的接口转接成用户所期待的。一个适配使得因接口不兼容而不能在一起工作的类工作在一起，做法是将类自己的接口包裹在一个已存在的类中。----WIKIPEDIA
个人理解
适配器模式：将两个不一致或者说无法直接使用的类或者接口通过适配器模式进行兼容，使得他们可以在一块使用。适配...
分类：
其他好文 时间：
2016-05-18 18:58:17
阅读次数：
135
title
ul{
list-style:none;
}
.first{
font-size:16px;
}
.second{
font-size:14px;
}
.third{
font-size:12px;
}
.fourth{
font-size:10px;
}
16px
14px
12p...
分类：
其他好文 时间：
2016-05-18 19:00:25
阅读次数：
126
Hive体系结构（一）架构与基本组成
Hive体系结构（二）Hive的执行原理、与关系型数据库的比较
Hive体系结构（三）元数据库与基本操作
Hive体系结构（四）注意事项与扩展特性
1. 使用HIVE注意点
字符集
Hadoop和Hive都是用UTF-8编码的，所以, 所有中文必须是UTF-8编码, 才能正常使用。
备注：中文数据load到表里面,，如果字符集不同，很有可能...
分类：
其他好文 时间：
2016-05-18 18:58:53
阅读次数：
259
一：Spark Streaming Job生成深度思考
1. 做大数据例如Hadoop,Spark等，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就是做流处理的感觉，一切不是流处理，或者与流处理无关的数据都将是没有价值的数据，以前做批处理的时候其实也是隐形的在做流处理。
2. JobGenerator构造的时候有一个核心的参数是jobScheduler,...
分类：
其他好文 时间：
2016-05-18 18:59:03
阅读次数：
236
调优概述
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。
数据倾斜发生时的现象
1、绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个tas...
分类：
其他好文 时间：
2016-05-18 18:58:03
阅读次数：
221
Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 CodisProxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务....
分类：
其他好文 时间：
2016-05-18 18:57:20
阅读次数：
238
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。
然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现不出Spa...
分类：
其他好文 时间：
2016-05-18 18:58:10
阅读次数：
209
前言 如果你是在校大学生，而且还对网络攻防比较感兴趣的话，相信你最开始尝试渗透的莫过于所在院校的学生管理系统。因为一般来说这样的系统往往比较薄弱，拿来练手那是再合适不过的了。作为本系列的第一篇文章，我将会利用暴力破解的方式，尝试对某高校的研究生管理系统的学生密码进行破解。由于这个管理系统的网站属于该高校的内网资源，外网是无法访问的，因此大家就不要尝试按照文中的内容来对文中出现的网址进行...
分类：
其他好文 时间：
2016-05-18 18:57:31
阅读次数：
206
