【Spark内存模型】 Spark在一个executor中的内存分为3块：storage内存、execution内存、other内存。 1. storage内存：存储broadcast，cache，persist数据的地方。 2. execution内存：执行内存，join、aggregate、ma ...
分类：
其他好文 时间：
2019-03-18 01:15:47
阅读次数：
156
出现错误：E tensorflow/stream_executor/cuda/cuda_event.cc:48] Error polling for event status: failed to query event: CUDA_ERROR_LAUNCH_FAILED: unspecified ...
分类：
其他好文 时间：
2019-03-14 16:30:25
阅读次数：
1459
打印结果 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647504849 线程安全示例 打印结果 12345678910111213141516171819202122232425 ...
分类：
编程语言 时间：
2019-03-12 09:13:55
阅读次数：
289
前面已经说过了怎么获取Connection，这次看下内置的insert和update是怎么实现的。 insert和update最后都会调用update(String statement, Object parameter)方法，如图1： 图1 Executor在DefaultSqlSession生成 ...
分类：
其他好文 时间：
2019-03-04 18:48:35
阅读次数：
219
这里对几个常见的的名词进行介绍 Executor 这是个接口，只声明了一个方法—— Executors 然后是Executors类，这个可以看作是个公共类，它提供了许多强大有用的获取线程池的static方法： 1.public static ExecutorService newFixedThrea ...
分类：
其他好文 时间：
2019-02-28 16:40:48
阅读次数：
193
当spark跑在yarn上时 单个executor执行时，数据量过大时会导致executor的memory不足而使得rdd 最后lost，最终导致任务执行失败 其中会抛出如图异常信息 如图中异常所示 对应解决方法可以加上对应的参数调优(这个配置可以在总的处理数据量在几百TB或者1~3PB级别的数据处 ...
分类：
其他好文 时间：
2019-02-28 15:01:13
阅读次数：
656
Runnable是个接口，使用很简单： 1. 实现该接口并重写run方法 2. 利用该类的对象创建线程 3. 线程启动时就会自动调用该对象的run方法 通常在开发中结合ExecutorService使用,将任务的提交与任务的执行解耦开,同时也能更好地利用Executor提供的各种特性 Executo ...
分类：
编程语言 时间：
2019-02-25 15:15:51
阅读次数：
229
Spark运行模式 一：Spark 运行架构介绍 相关术语概念详解： Application：指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多节点上运行的Executor代码。 Driver：Spark中的Driver就是运行Application的main()函 ...
分类：
其他好文 时间：
2019-02-23 10:48:52
阅读次数：
205
""""import osimport time#fork只用于linux中pid = os.fork()print("hello")if pid == 0: print("子进程{},父进程是{}".format(os.getpid(),os.getppid()))else: print("父进程 ...
分类：
编程语言 时间：
2019-02-23 01:26:32
阅读次数：
228
线程是属于进程的，线程运行在进程空间内，同一进程所产生的线程共享同一内存空间，当进程退出时该进程所产生的线程都会被强制退出并清除。进程是资源分配的最小单位，线程是CPU调度的最小单位，每一个进程中至少有一个线程，线程可与属于同一进程的其它线程共享进程所拥有的全部资源，但是其本身基本上不拥有系统资源，只拥有一点在运行中必不可少的信息(如程序计数器、一组寄存器和栈)。Threading模块提供线程相关
分类：
编程语言 时间：
2019-02-17 14:17:26
阅读次数：
186
