简介 文本分类任务根据给定一条文本的内容，判断该文本所属的类别，是自然语言处理领域的一项重要的基础任务。具体的，本任务是对文本quey进行分类，任务流程如下： 运行 训练： sh ＋x train.sh 预测： python infer.py 输入／输出 输入样本： label text（分词后） ...
分类：
其他好文 时间：
2017-08-06 20:46:37
阅读次数：
516
（一）HA下配置spark 1，spark版本型号：spark-2.1.0-bin-hadoop2.7 2，解压，修改配置环境变量 3，修改spark-env.sh文件 4，修改slaves文件 5，分发及启动 各个节点jps情况： [root@ha1 spark-2.1.0]# jps 2464 ...
分类：
其他好文 时间：
2017-08-06 20:45:14
阅读次数：
209
宏观上： 1.技术广度方面至少要精通多门开源技术吧，研究过struts\spring等的源码。2.项目经验方面从头到尾跟过几个大项目，头是指需求阶段，包括需求调研。尾是指上线交付之后，包括维护阶段。3.架构经验方面有过分布式系统的架构和开发经验。对于跨系统的结构优化，数据存储的性能指标等有丰富经验。 ...
分类：
编程语言 时间：
2017-08-06 20:38:38
阅读次数：
163
（图片from http://www.cnblogs.com/zhangchaoyang/articles/2624882.html） 假设x是二维的，那么上述公式为： =cov（x0，x1），是x1和x0的协方差。 单高斯分布 假设特征x是一维（仅仅考虑点的x坐标）的，高斯分布是：（from这篇博 ...
分类：
其他好文 时间：
2017-08-06 18:10:56
阅读次数：
179
目前架构，因为网站上有很多<img src=""/>,这将频繁的请求服务器，当图片比较多的时候，可以考虑创建图片服务器 图片服务器搭建 ...
分类：
其他好文 时间：
2017-08-06 17:05:23
阅读次数：
192
分区健选择 数据应该怎样拆分，依照什么纬度来拆分 节点路由 应用程序写死/客户端(TDDL,cobar-client)/中间层(cobar-server) 固定分配/动态分配/混合 分片数据均衡 某些分片訪问比較频繁，跟业务类型相关 全局唯一键生成器 专门的应用接口 跨节点排序/分组/表关联 应用程 ...
分类：
数据库 时间：
2017-08-06 16:52:47
阅读次数：
167
1.Redis的简单了解 Redis是一种高性能的分布式NoSql数据库，持久存储，高并发，数据类型丰富，通过现场申请内存空间，同时可以配置虚拟内存。五种数据类型：string（字符串，这种格式和memcache是一致的）、hash（哈希）、list（列表，包括队列和栈）、set（集合）、zset（ ...
分类：
其他好文 时间：
2017-08-06 15:09:58
阅读次数：
159
接着前面的Zookeeper部署之后，现在可以学习HBase了。 HBase是基于Hadoop的开源分布式数据库，它以Google的BigTable为原型，设计并实现了具有高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统，它是基于列而不是基于行的模式，适合存储非结构化数据。 体系结构：H ...
分类：
其他好文 时间：
2017-08-06 15:09:07
阅读次数：
272
1.首先将捕获的异常写到Redis的队列中 2.然后单独开启一个线程对捕获的数据写到文件中去 3.关于上面的代码的思考 对于每一个错误，IIS所在的服务器都会启动一个线程，这对程序服务器压力还是很大的，所以可以考虑使用Redis的分布式，将上面的处理代码单独放到一台异常处理服务器上，可以是一个控制台 ...
分类：
其他好文 时间：
2017-08-06 14:14:27
阅读次数：
205
