码迷,mamicode.com
首页 > Web开发 > 详细

web页面和本地数据对比问题

时间:2019-05-23 21:07:08      阅读:191      评论:0      收藏:0      [点我收藏+]

标签:需要   str   import   file   span   遇到   open   ksh   差集   

缘起

最近工作上出现了遇到了几个类似的问题:页面上有值,excel里有值,需要比较二者是否一致。小麻烦有:
1.对于页面上的值,有时是页面表格里的一列或几列,无法直接勾选并复制出来。即便复制出来,也很不整齐。
2.数据多,只以肉眼比较,让人怀疑人生。

对策

记录下自己目前的解决方案:
1.用Chrome的开发者工具,在network一页中,查看POST的内容,得到json字符串。
也可以用Chrome插件xpath finder找到某一条记录的xpath,再改动xpath,让其定位整列,这样在插件内部就可以直接复制到想要的值
2.用python读入excel特定列的内容,与从页面上取到的值比较。

记录

1.

a.

技术图片

获得的json字符串未必规整,可以在notepad++中去掉反斜杠。想要查看,可以在一些网站处理,看起来更舒服些(如http://jsonprettyprint.com/

b.

对想要获取的列,选取一个元素,查看其xpath地址,贴到xpath helper中,修改高一级节点,就能定位整列。

技术图片

技术图片

 

2.

用pyton读取excel里的值,只需要使用openpyxl库即可。比较数据差异,可使用python的集合对象,既可去重,又可求差集,可谓简便。

import json
from openpyxl import load_workbook

def process(filename, column):
    info_list = []
    workbook = load_workbook(filename)
    worksheet = workbook.active
    for i in range(2, worksheet.max_row+1):
        info_list.append(worksheet.cell(row=i, column=column).value)
    return info_list

# json字符串
raw_str = ‘‘‘
{\"mate\":{\"success\":true,\"message\":\"00001\",\"status\":200},\"data\":{\"ItemInfo\":{\"PG1\":[{\"PG1\":\"256\"},{\"PG1\":\"456\"}],\"PG2\":[{\"PG2\":\"257\"},{\"PG2\":\"732\"}]}}}
‘‘‘

# 转为pyhton对象
o = json.loads(raw_str)

# 取到想要的信息
pg1 = o[data][ItemInfo][PG1]
pg2 = o[data][ItemInfo][PG2]
pg1_list = []
pg2_list = []
for i in pg1:
    pg1_list.append(i[PG1])
for j in pg2:
    pg2_list.append(j[PG2])

ex_pg1 = process(rC:\Users\username\Desktop\pg.xlsx, 2)
ex_pg2 = process(rC:\Users\username\Desktop\pg.xlsx, 3)

# 利用集合,既可以去重,也可以求其差集,见其区别
pg1_diff = set(ex_pg1) - set(pg11)
pg2_diff = set(ex_pg2) - set(pg22)
print(pg1_diff, pg2_diff)

 

web页面和本地数据对比问题

标签:需要   str   import   file   span   遇到   open   ksh   差集   

原文地址:https://www.cnblogs.com/yifeixu/p/10910446.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!