码迷,mamicode.com
首页 > 编程语言 > 详细

python +ip2region IP库地址文件实现秒级查询1万不同ip归属地址

时间:2018-06-02 19:06:24      阅读:614      评论:0      收藏:0      [点我收藏+]

标签:python +ip2region

一、服务器环境介绍:

服务器硬件:4核4g内存
服务器系统:centos6.9 x86_64位最小化安装

二、环境安装

参考地址:https://github.com/lionsoul2014/ip2region
直接下载包到服务器上的/root目录下
wget https://github.com/lionsoul2014/ip2region/archive/master.zip
unzip解压
unzip master.zip
到此准备工作基本完成

以下都是github.com官网上的说明,我这边复制在自己的博文里了

  1. 99.9%准确率,定时更新:
    数据聚合了一些知名ip到地名查询提供商的数据,这些是他们官方的的准确率,经测试着实比纯真啥的准确多了。
    每次聚合一下数据需要1-2天,会不定时更新。

  2. 标准化的数据格式:
    每条ip数据段都固定了格式:城市Id|国家|区域|省份|城市|ISP

只有中国的数据精确到了城市,其他国家只能定位到国家,后前的选项全部是0,已经包含了全部你能查到的大大小小的国家。 (请忽略前面的城市Id,个人项目需求)

  1. 体积小:
    生成的数据库文件ip2region.db只有1.5M(1.2版本前是3.5M)

  2. 多查询客户端的支持,0.0x毫秒级别的查询
    已经集成的客户端有:java, C#, php, c, python,nodejs,php扩展(支持linux, php5, php7版本已支持),golang。

提供了两种查询算法,响应时间如下:
客户端/binary算法/b-tree算法/Memory算法:
c#/0.x毫秒/0.x毫秒/0.x毫秒
java/0.x毫秒/0.x毫秒/0.1x毫秒 (使用RandomAccessFile)
php/0.x毫秒/0.1x毫秒/0.1x毫秒
c/0.0x毫秒/0.0x毫秒/0.00x毫秒(b-tree算法基本稳定在0.02x毫秒级别)
python/0.x毫秒/0.1x毫秒/未知
任何客户端b-tree都比binary算法快,当然Memory算法固然是最快的!

maven仓库地址:

<dependency>
    <groupId>org.lionsoul</groupId>
    <artifactId>ip2region</artifactId>
    <version>1.4</version>
</dependency>
nuget安装命令

Install-Package IP2Region

5. 测试程序:
c#:

cd IP2Region_ConsoleTest
dotnet run
example result:
请输入IP地址:
36.149.160.55
java:

cd binding/java
ant all
java -jar ip2region-{version}.jar ./data/ip2region.db
php:

php binding/php/testSearcher.php ./data/ip2region.db
c:

cd binding/c/
gcc -g -O2 testSearcher.c ip2region.c
./a.out ../../data/ip2region.db
python:

python binding/python/testSearcher.py ./data/ip2region.db
均会看到如下界面:

initializing  B-tree ... 
+----------------------------------+
| ip2region test script            |
| Author: chenxin619315@gmail.com  |
| Type ‘quit‘ to exit program      |
+----------------------------------+
p2region>> 101.105.35.57
2163|中国|华南|广东省|深圳市|鹏博士 in 0.02295 millseconds
输入ip地址开始测试,第一次会稍微有点慢,在运行命令后面接入binary,memory来尝试其他算法,建议使用b-tree算法,速度和并发需求的可以使用memory算法。

具体集成请参考不同客户端的测试源码。

6.如何生成ip2region.db文件
从ip2region 1.2.2版本开始里面提交了一个dbMaker-{version}.jar的可以执行jar文件,用它来完成这个工作:

1, 确保你安装好了java环境(不玩Java的童鞋就自己谷歌找找拉,临时用一用,几分钟的事情)
2, cd到ip2region的根目录,然后运行如下命令:
java -jar dbMaker-{version}.jar -src 文本数据文件 -region 地域csv文件 [-dst 生成的ip2region.db文件的目录]

#文本数据文件:db文件的原始文本数据文件路径,自带的ip2region.db文件就是/data/ip.merge.txt生成而来的,你可以换成自己的或者更改/data/ip.merge.txt重新生成
#地域csv文件:该文件目的是方便配置ip2region进行数据关系的存储,得到的数据包含一个city_id,这个直接使用/data/origin/global_region.csv文件即可
#ip2region.db文件的目录:是可选参数,没有指定的话会在当前目录生成一份./data/ip2region.db文件
3, 获取生成的ip2region.db文件覆盖原来的ip2region.db文件即可
4, 默认的ip2region.db文件生成命令:
cd ip2region项目根目录
java -jar dbMaker-1.2.2.jar -src ./data/ip.merge.txt -region ./data/global_region.csv
#会看到一大片的输出

三、演示

以下是我采用的php和Python语言进行的实际测试演示:
php演示测试:

[root@git-server ~]# cd /root/ip2region-master
[root@git-server ip2region-master]# ls
binding  CHANGES.md  data  dbMaker-1.2.2.jar  LICENSE.md  README.md
[root@git-server ip2region-master]# cd binding/
[root@git-server binding]# ls
c  c#  c_mmap  golang  java  nodejs  php  php_extension  python  python3
[root@git-server binding]# cd php
[root@git-server php]# ls
Ip2Region.class.php  testSeacher.php
[root@git-server php]# php testSeacher.php /opt/ip2region-master/data/ip2region.db 
initializing  B-tree ... 
+----------------------------------+
| ip2region test script            |
| Author: chenxin619315@gmail.com  |
| Type ‘quit‘ to exit program      |
+----------------------------------+
ip2region>> 211.144.7.32
0|中国|0|北京|北京|联通 in 2.38013 millseconds
ip2region>> 124.207.48.234 
0|中国|0|北京|北京|鹏博士 in 0.12134 millseconds
ip2region>> 

Python演示:

[root@git-server python3]# python3 testSearcher.py /opt/ip2region-master/data/ip2region.db
initializing b-tree...
+----------------------------------+
| ip2region test program           |
| Author: chenxin619315@gmail.com. |
| Type ‘quit‘ or ‘exit‘ to exit program      |
+----------------------------------+
ip2region>> 66.249.82.86
0|台湾|0|台湾|0|0 in 1.554199 millseconds
ip2region>> 101.108.251.187
0|泰国|0|曼谷|曼谷|TOT in 0.149414 millseconds
ip2region>> 

四、实际应用:

采用python脚本,来查询一个存有1017万个不同IP的文本文件中的ip归属地
以下结合原作者的testSearcher.py Python脚本,来获取这存有1017万个不同IP的归属地址。此Python脚本简单修改如下:

[root@git-server python3]# cat /root/ip2region-master/binding/python3/searcher.py 
#-*- coding:utf-8 -*-
"""
" ip2region python seacher client module
"
" Autho: koma<komazhang@foxmail.com>
" Date : 2015-11-06
"""
import struct, sys, os, time
from ip2Region import Ip2Region

def testSearch():
    """
    " ip2region test function
    """
    llen = len(sys.argv)

    if llen < 3:
        print ("Usage: python testSearcher.py [ip2region db file] [alrogrithm]")
        print ("Algorithm: binary or b-tree")
        return 0

    dbFile    = sys.argv[1]
    method    = 1
    algorithm = "b-tree"
    search_file = sys.argv[2]

    if (not os.path.isfile(dbFile)) or (not os.path.exists(dbFile)):
        print ("[Error]: Specified db file is not exists.")
        return 0
    if (not os.path.isfile(search_file)) or (not os.path.exists(search_file)):
        print("查询文件不存在")
        return 0

    if llen > 3:
        algorithm = sys.argv[3]
        if algorithm == "binary":
            method = 2
        elif algorithm == "memory":
            method = 3

    searcher = Ip2Region(dbFile);
    with open(search_file,"rt") as f:
        for line in f:
            line = line.strip()
            #print(line)
            if line == "":
                print("[Error]: Invalid ip address.")
                continue

            if line == "quit" or line == "exit":
                print("[Info]: Thanks for your use, Bye.")
                break

            if not searcher.isip(line):
                print("[Error]: Invalid ip address.")
                continue

            #sTime = time.time() * 1000
            if method == 1:
                data = searcher.btreeSearch(line)
            elif method == 2:
                data = searcher.binarySearch(line)
            else:
                data = searcher.memorySearch(line)
            #eTime = time.time() * 1000

            if isinstance(data, dict):
                #print("%s in %f millseconds" % (data["city_id"], data["region"].decode(‘utf-8‘), eTime - sTime))
                #print( "%s" % (data["region"].decode(‘utf-8‘)))
                print("%s|%s" % (line, data["region"].decode(‘utf-8‘)))
            else:
                print("[Error]: ", data)
    searcher.close()

if __name__ == "__main__":
    testSearch()

测试如下:

[root@git-server python3]# cd /root/ip2region-master
[root@git-server ip2region-master]# time python3 ./binding/python3/searcher.py ./data/ip2region.db  /root/unip_guishu >/opt/ipdizhi.txt
real    15m54.394s
user    14m47.138s
sys 0m56.876s
[root@git-server ip2region-master]# tail -10 /opt/ipdizhi.txt 
99.97.22.46|美国|0|0|0|美国电话电报
99.97.26.40|美国|0|0|0|美国电话电报
99.97.29.64|美国|0|0|0|美国电话电报
99.97.30.121|美国|0|0|0|美国电话电报
99.98.238.52|美国|0|南卡罗来纳|0|美国电话电报
99.98.254.160|美国|0|加利福尼亚|0|美国电话电报
99.99.218.167|美国|0|德克萨斯|休斯顿|美国电话电报
99.99.232.239|美国|0|德克萨斯|0|美国电话电报
99.99.37.198|美国|0|加利福尼亚|0|美国电话电报
99.99.55.172|美国|0|俄亥俄|0|美国电话电报

总结:当然这个查询的时间和服务器的硬件有很大的关系,后来我在一台CPU为16核心的上测试,查询结果可以达到秒级10万不同ip的归属地查询结果

python +ip2region IP库地址文件实现秒级查询1万不同ip归属地址

标签:python +ip2region

原文地址:http://blog.51cto.com/wujianwei/2123493

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!