一、倒排索引 A、建立前会进行normalization，也就是说对各个单词进行相应的处理（时态、大小写、同义词等），以提升后面搜索时候搜到相关文档的概率 二、分词器 A、character filter：分词之前进行预处理，过滤html标签，&转换成and等等 B、tokenizer：分词 C、t ...
分类：
其他好文 时间：
2019-12-30 19:45:10
阅读次数：
94
最近在爬一个网站，然后爬到详情页的时候发现，目标内容是用pdf在线预览的
比如如下网站：
https://camelot-py.readthedocs.io/en/master/_static/pdf/foo.pdf
根据我的分析发现，这样的在线预览pd... ...
分类：
编程语言 时间：
2019-12-30 14:17:24
阅读次数：
518
1.危害 攻击者可以利用该漏洞下载git文件夹里的所有内容。如果文件夹内有敏感信息比如站点源码、数据库账户密码等，攻击者可能直接控制服务器。 2.利用 使用工具GitHack GitHack.py http://www.openssl.org/.git/ 3.防御 及时删除.git文件夹 发布页面时 ...
分类：
其他好文 时间：
2019-12-30 11:55:52
阅读次数：
78
第一步: 前期分析 1.商品详情页包括轮播图,详情,富文本 2.对于轮播图这种有多个值的外键, 应该再另外设计一个serializer表 3.写代码, 代码很简单 goods.views.py # RetrieveModelMixin的功能是帮我们完成url的配置, /goods/id, 通过输入i ...
分类：
其他好文 时间：
2019-12-29 10:53:55
阅读次数：
72
1）Source中使用拦截器 kafka_key.sources.sources1.interceptors = i1kafka_key.sources.sources1.interceptors.i1.type = com.bigdata.flume.MyInterceptor$Builder k ...
分类：
Web程序 时间：
2019-12-28 22:35:37
阅读次数：
181
新部署一个服务时，除了服务本身，还有它启动依赖的配置文件也要一并发布到目标主机。配置文件从哪里来？如何发送到目标主机？修改后如何同步？ 我们可以在页面提供上传或新增功能，为每个服务保存一份默认的配置文件包，新部署时将此包的内容写入etcd，由主机上的守护进程去同步，后续的修改也只是更新etcd里的内 ...
分类：
其他好文 时间：
2019-12-28 19:22:24
阅读次数：
75
永久更改镜像源 在 “C:\Users\用户名” 文件夹下，添加pip文件夹，文件夹内新建pip.ini文件，内容为： [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple 参考https://www.cnblogs.com/we ...
分类：
其他好文 时间：
2019-12-28 16:17:25
阅读次数：
645
一、概述 训练语料来源：维基媒体 https://dumps.wikimedia.org/backup index.html 汉语数据 用word2vec训练词向量，并用所学得的词向量，计算 pku_sim_test.txt 文件中每行两个词间的余弦距离作为两词相似度，并输出到文件中。 二、数据准备 ...
分类：
编程语言 时间：
2019-12-27 23:35:37
阅读次数：
278
hdfs的设计前提和目标： 1.认为硬件错误是常态而不是异常 2.流式数据访问，注重批处理和高吞吐量，而不是低延迟 3.大规模数据集 4.一次写入多次读取的文件访问模式 5.移动计算比移动数据更加划算 6.异构软硬件平台间的可移植性 namenode： 作用 1.存储文件和目录的元数据（元数据放在内 ...
分类：
其他好文 时间：
2019-12-27 21:40:48
阅读次数：
93
上一篇里介绍了Job和Trigger的常用方法，这一节将介绍Calendar，它的作用是排除特定的日期时间。 Calendar的常用类 DailyCalendar 排除每天某个时间段任务的执行 例子： var sche = StdSchedulerFactory.GetDefaultSchedule ...
分类：
Web程序 时间：
2019-12-27 13:10:37
阅读次数：
80
