码迷,mamicode.com
首页 > 其他好文 > 详细

基于爬虫的小湖知识图谱系统测试心得

时间:2019-01-05 20:37:23      阅读:160      评论:0      收藏:0      [点我收藏+]

标签:程序   方便   导致   分网   基于   知识图谱   没有   传递   黑盒测试   

我在本次项目中负责的主要部分就是编写爬虫程序,然后将爬取到的程序传递给数据库。所以我本次的测试也是偏重在这方面的。

测试目的就主要是测试出程序依旧存在的不足之处,并以文档的形式记录下来,方便接下来的开发者了解项目历史。

因为没有找到关于爬虫程序的测试工具,所以这次的测试是以黑盒测试的方法,也就是直接运行爬虫程序,对比结果来测试的。

通过测试,我发现了爬虫程序依旧存在的两项不足。

1、爬虫虽然设计成了可以爬取大半的文本格式,但是因为网站文本格式太过繁杂的原因,还是有部分的文本无法爬取,这就导致了部分网页上的信息不能保存到数据库。

2、爬虫没有做词义识别,所以有些无用的信息也被爬取下来,保存 进了数据库。

 

通过这次的测试,除了发现了程序存在的不足之外,我还对我们的项目有了一个更加直观的了解。

 

基于爬虫的小湖知识图谱系统测试心得

标签:程序   方便   导致   分网   基于   知识图谱   没有   传递   黑盒测试   

原文地址:https://www.cnblogs.com/madongcheng/p/10225935.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!