rabbitmq 重复确认导致消息丢失 背景 rabbitmq 在应用场景中,大多采用工作队列 work-queue的模式。 在一个常见的工作队列模式中,消费者 worker 将不断的轮询从队列中拉取最新消息,当队列负载压力增大时允许添加多个worker 进行处理。然而执行一个任务可能需要相当的时长 ...
分类:
其他好文 时间:
2016-11-22 09:39:29
阅读次数:
385
大数据计算BUG处理:程序修改前资源情况:Driver:1台Worker:2台程序提交申请内存资源:1G内存内存分配情况:1.20%用于程序运行2.20%用于Shuffle3.60%用于RDD缓存单条TweetBean大小:3k1.内存溢出原因:因为程序会把所有的TweetBean查询出来并且合并(union),该操作在内存中进行..
分类:
其他好文 时间:
2016-11-21 23:53:55
阅读次数:
290
安装环境如下: 操作系统:CentOs 6.6 Hadoop 版本:CDH-5.3.0 Spark 版本:1.2 集群5个节点 node01-05 node01-03 为worker node04、node05为master spark HA 必须要zookeepr来做协同服务,做master主备切 ...
分类:
其他好文 时间:
2016-11-19 07:38:15
阅读次数:
1225
全局区:usernginxnginx;#nginx的用户,和用户组worker_processes1;#工作进程个数等于逻辑cpu个数error_loglogs/error.lognotice;#错误日志的存放路径,及等级[debug|info|warn|error|crit]pidlogs/nginx.pid;worker_rlimit_nofile204800;#指定进程可以打开的最大描述符这个指令是..
分类:
其他好文 时间:
2016-11-18 19:34:26
阅读次数:
194
nginx配置文件里面需要注意的一些参数 worker_processes 8 nginx要开启的进程数 一般等于cpu的总核数 其实一般情况下开4个或8个就可 我开2个 以了 多了没有太多用每个nginx进程消耗的内存10兆的模样 worker_cpu_affinity仅适用于Linux,使用该选 ...
分类:
其他好文 时间:
2016-11-18 18:34:33
阅读次数:
161
LNMP搭建起来后,安装DISUZ操作记录[root@LNMP~]#mkdir/data/dis[root@LNMPdis]#wgethttp://download.comsenz.com/DiscuzX/3.2/Discuz_X3.2_SC_GBK.zip[root@LNMP~]#vim/usr/local/nginx/conf/nginx.conf#清空nginx.conf,写入以下内容usernobodynobody;worker_processes2;erro..
分类:
Web程序 时间:
2016-11-18 07:50:11
阅读次数:
229
最近写的程序中需要在DataGridView中使用下拉选择的功能,首选方案是列的ColumnType属性 使用EditingControlShowing事件, if (e.Control is ComboBox){ int iColumn = dgvWorkerList.CurrentCell.Co ...
场景: 线程池在面试时候经常会碰到,在工作中用的场景更多,所以很有必要弄清楚。 1 简介 Java自1.5以来加入了处理一批线程的方法,也就是java并发包里的Executor。本文主要介绍ExecutorService的用法,Runable和Callable的用法以及ExecutorComplet ...
分类:
编程语言 时间:
2016-11-16 01:48:02
阅读次数:
156
ubuntu中彻底删除nginx 1.先执行一下命令: 1.1 删除nginx,–purge包括配置文件 1 sudo apt-get --purge remove nginx 1.2 自动移除全部不使用的软件包 1 sudo apt-get autoremove 1.3 罗列出与nginx相关的软 ...
分类:
系统相关 时间:
2016-11-14 17:27:13
阅读次数:
182