今天MR的数据源很可能出现了问题，正常每天对方服务器会推过来2.1TB数据，今天只有1.6TB。 过来是gz压缩包，FTP的方式推送，进来之后我这边的程序进行解析，并存入HDFS。 对端的工程师只能看到压缩包目录的大小，看不到压缩前文件总大小，商量了一下，觉得不好对比数据一致性，想排查数据量问题，没 ...
分类：
其他好文 时间：
2020-07-17 09:40:37
阅读次数：
123
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 程序里面打开文件数达到上限，系统一般默认数量是1024，（用ulimit -a可以看到）vi /etc/security/limits.conf 添加 ：sof ...
分类：
其他好文 时间：
2020-07-15 12:46:25
阅读次数：
86
POJ2279 Mr. Young's Picture Permutations 有N个学生合影，站成左对齐的k排，每行分别有N1,N2…NK个人，第一排站最后，第k排站之前。学生身高依次是1…N。在合影时候要求每一排从左到右递减，每一列从后面到前也递减，一共有多少总方案 Input 输入每组测试数 ...
分类：
其他好文 时间：
2020-07-11 12:37:35
阅读次数：
71
map数量 计算向数据移动，map计算框架移动到Block map和Block不是一一对应，map与逻辑片（split）一一对应。原因：单个块可能过大，map处理时间长。所以block逻辑分块，多来几个map reduce数量 按理说reduce应该和key数量一样，但是可能存在不同key对应的数据 ...
分类：
其他好文 时间：
2020-07-07 17:43:22
阅读次数：
85
笔者分析mr.baidu.com/xxx这样的短网址链接后，抓包了一些百度参数后，得出如下方法，可以简单利用如下代码去生成调用方法，流程清晰可见，具体可以去百度开放接口平台去申请，也可以用一下代码调用。GEThttp://www.app10086cn.com/?messageHost:xxx.baidu.comConnection:keep-aliveAccept:text/javascript,
分类：
Web程序 时间：
2020-07-07 09:36:31
阅读次数：
497
下图是仪放采集肌电信号的电路。在测试的时候，如果直接从信号发生器输出1MV250HZ的信号出来，后面经放大后的数值正常放大，但是由于标准的要求，信号发生器的输出信号（1V250HZ）需要经过非平衡电路衰减（1000倍）后再进入仪放，这样放大后的数据就偏大了，而且不稳定，经分析，是工频信号耦合进去了，从仪放前端能去掉工频信号吗？怎么来提高仪放的CMRR呢？