场景

在开发中，对用户数据进行分析时，需要根据IP转化用户地区。常见解决访问2类：
1. 使用在线接口，进行请求查询 ,性能存在问题
2. 使用本地IP库，性能相对高，但是需要维护

方案

基于https://github.com/WisdomFusion/qqwry.dat，第三方的离线的IP库进行IP解析

问题

在使用springboot整合qqwy时，主要遇到两个问题：
1. 文件打包问题，使用maven打包时，默认是不支持.dat后缀文件打包到classpath中的
2. 文件读取的路径标准问题，在jar文件中，路径判断是!/的形式，而不是一般系统中/或者\，基于这样的情况使用流解决

不多说，上代码

package com.whcczk.model.utils;

import cn.hutool.core.util.StrUtil;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.springframework.core.io.ClassPathResource;
import org.springframework.core.io.Resource;
import org.springframework.stereotype.Component;

import java.io.*;
import java.nio.ByteOrder;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;

/**
 * 用于读取QQWry.dat 的 IP库信息，存在IP数据不及时问题，需要关注 IP库
 * git 地址： https://github.com/wisdomfusion/qqwry.dat
 * 参考博文： https://blog.csdn.net/yjqyyjw/article/details/51027370
 * 作者:Mr.T
 * 时间:2021-06-23
 */
/**
 * * 用来读取QQwry.dat文件，以根据ip获得好友位置，QQwry.dat的格式是
 * 一. 文件头，共8字节
 * 1. 第一个起始IP的绝对偏移， 4字节
 * 2. 最后一个起始IP的绝对偏移， 4字节
 * 二. "结束地址/国家/区域"记录区 四字节ip地址后跟的每一条记录分成两个部分
 * 1. 国家记录
 * 2.地区记录 但是地区记录是不一定有的。
 * 三.而且国家记录和地区记录都有两种形式
 * 1. 以0结束的字符串
 * 2. 4个字节，一个字节可能为0x1或0x2
 * a.为0x1时，表示在绝对偏移后还跟着一个区域的记录，注意是绝对偏移之后，而不是这四个字节之后
 * b. 为0x2时，表示在绝对偏移后没有区域记录
 * 不管为0x1还是0x2，后三个字节都是实际国家名的文件内绝对偏移
 * 如果是地区记录，0x1和0x2的含义不明，但是如果出现这两个字节，也肯定是跟着3个字节偏移，如果不是 则为0结尾字符串
 * 四.起始地址/结束地址偏移"记录区
 * 1. 每条记录7字节，按照起始地址从小到大排列
 * a. 起始IP地址，4字节
 * b. 结束ip地址的绝对偏移，3字节
 *
 * 注意，这个文件里的ip地址和所有的偏移量均采用little-endian格式，而java是采用 big-endian格式的，要注意转换
 *
 */
@Component
public class IPSeekerUtil {



    private static Log log = LogFactory.getLog(IPSeekerUtil.class);

    private static final int IP_RECORD_LENGTH = 7;
    private static final byte AREA_FOLLOWED = 0x01;
    private static final byte NO_AREA = 0x2;

    private MappedByteBuffer buffer; // 内存映射文件,提高IO 读取效率

    private HashMap<String, IPLocation> cache = new HashMap<String, IPLocation>(); // 用来做为cache，查询一个ip时首先查看cache，以减少不必要的重复查找

    private int ipBegin;
    private int ipEnd;

    @SuppressWarnings("resource")
    public IPSeekerUtil() throws Exception {
        File file = getFileFromClassPath("classpath:qqwry.dat.yml");
        buffer = new RandomAccessFile(file, "r").getChannel().map(
                FileChannel.MapMode.READ_ONLY, 0, file.length());

        if (buffer.order().toString().equals(ByteOrder.BIG_ENDIAN.toString())) {
            buffer.order(ByteOrder.LITTLE_ENDIAN);
        }

        ipBegin = readInt(0);
        ipEnd = readInt(4);

        if (ipBegin == -1 || ipEnd == -1) {
            throw new IOException("IP地址信息文件格式有错误，IP显示功能将无法使用");
        }
        log.debug("使用IP地址库:" + file.getAbsolutePath());
    }

    /**
     * 给定一个ip 得到一个 ip地址信息
     *
     * @param ip
     * @return
     */
    public String getAddressArea(String ip) {
        return getCountry(ip) + " " + getArea(ip);
    }

    /**
     * 根据IP得到国家名
     *
     * @param ip
     *            IP的字符串形式
     * @return 国家名字符串
     */
    public String getCountry(String ip) {
        IPLocation cache = getIpLocation(ip);
        return cache.getCountry();
    }

    /**
     * 根据IP得到地区名
     *
     * @param ip
     *            IP的字符串形式
     * @return 地区名字符串
     */
    public String getArea(String ip) {
        IPLocation cache = getIpLocation(ip);
        return cache.getArea();
    }

    /**
     * 获得一个IP地址信息
     *
     * @param ip
     * @return
     */
    public IPLocation getIpLocation(String ip) {
        IPLocation ipLocation = null;
        try {
            if (cache.get(ip) != null) {
                return cache.get(ip);
            }
            ipLocation = getIPLocation(getIpByteArrayFromString(ip));
            if (ipLocation != null) {
                cache.put(ip, ipLocation);
            }
        } catch (Exception e) {
            log.error(e);
        }
        if (ipLocation == null) {
            ipLocation = new IPLocation();
            ipLocation.setCountry("未知国家");
            ipLocation.setArea("未知地区");
        }
        return ipLocation;
    }

    /**
     * 给定一个地点的不完全名字，得到一系列包含s子串的IP范围记录
     *
     * @param s
     *            地点子串
     * @return 包含IPEntry类型的List
     */
    public List<IPEntry> getIPEntries(String s) {
        List<IPEntry> ret = new ArrayList<IPEntry>();
        byte[] b4 = new byte[4];
        int endOffset = ipEnd + 4;
        for (int offset = ipBegin + 4; offset <= endOffset; offset += IP_RECORD_LENGTH) {
            // 读取结束IP偏移
            int temp = readInt3(offset);
            // 如果temp不等于-1，读取IP的地点信息
            if (temp != -1) {
                IPLocation loc = getIPLocation(temp);
                // 判断是否这个地点里面包含了s子串，如果包含了，添加这个记录到List中，如果没有，继续
                if (loc.country.indexOf(s) != -1 || loc.area.indexOf(s) != -1) {
                    IPEntry entry = new IPEntry();
                    entry.country = loc.country;
                    entry.area = loc.area;
                    // 得到起始IP
                    readIP(offset - 4, b4);
                    entry.beginIp = getIpStringFromBytes(b4);
                    // 得到结束IP
                    readIP(temp, b4);
                    entry.endIp = getIpStringFromBytes(b4);
                    // 添加该记录
                    ret.add(entry);
                }
            }
        }
        return ret;
    }

    /**
     * 根据ip搜索ip信息文件，得到IPLocation结构，所搜索的ip参数从类成员ip中得到
     *
     * @param ip
     *            要查询的IP
     * @return IPLocation结构
     */
    private IPLocation getIPLocation(byte[] ip) {
        IPLocation info = null;
        int offset = locateIP(ip);
        if (offset != -1) {
            info = getIPLocation(offset);
        }
        return info;
    }

    /**
     * 获取IP的地址
     * @param ip
     * @return
     */
    public  String getAddress(String ip){
        String address = getAddressArea(ip);
        if (StrUtil.isBlank(address)){
            return "";
        }
        return address.split(" ")[0];
    }
    // -----------------以下为内部方法

    /**
     * 读取4个字节
     *
     * @param offset
     * @return
     */
    private int readInt(int offset) {
        buffer.position(offset);
        return buffer.getInt();
    }

    private int readInt3(int offset) {
        buffer.position(offset);
        return buffer.getInt() & 0x00FFFFFF;
    }

    /**
     * 从内存映射文件的offset位置得到一个0结尾字符串
     *
     * @param offset
     * @return
     */
    private String readString(int offset) {
        try {
            byte[] buf = new byte[100];
            buffer.position(offset);
            int i;
            for (i = 0, buf[i] = buffer.get(); buf[i] != 0; buf[++i] = buffer
                    .get()) {
            }
            if (i != 0) {
                return getString(buf, 0, i, "GBK");
            }
        } catch (IllegalArgumentException e) {
            log.error(e);
        }
        return "";
    }

    /**
     * 从offset位置读取四个字节的ip地址放入ip数组中，读取后的ip为big-endian格式，但是
     * 文件中是little-endian形式，将会进行转换
     *
     * @param offset
     * @param ip
     */
    private void readIP(int offset, byte[] ip) {
        buffer.position(offset);
        buffer.get(ip);
        byte temp = ip[0];
        ip[0] = ip[3];
        ip[3] = temp;
        temp = ip[1];
        ip[1] = ip[2];
        ip[2] = temp;
    }

    /**
     * 把类成员ip和beginIp比较，注意这个beginIp是big-endian的
     *
     * @param ip
     *            要查询的IP
     * @param beginIp
     *            和被查询IP相比较的IP
     * @return 相等返回0，ip大于beginIp则返回1，小于返回-1。
     */
    private int compareIP(byte[] ip, byte[] beginIp) {
        for (int i = 0; i < 4; i++) {
            int r = compareByte(ip[i], beginIp[i]);
            if (r != 0) {
                return r;
            }
        }
        return 0;
    }

    /**
     * 把两个byte当作无符号数进行比较
     *
     * @param b1
     * @param b2
     * @return 若b1大于b2则返回1，相等返回0，小于返回-1
     */
    private int compareByte(byte b1, byte b2) {
        if ((b1 & 0xFF) > (b2 & 0xFF)) // 比较是否大于
        {
            return 1;
        } else if ((b1 ^ b2) == 0)// 判断是否相等
        {
            return 0;
        } else {
            return -1;
        }
    }

    /**
     * 这个方法将根据ip的内容，定位到包含这个ip国家地区的记录处，返回一个绝对偏移 方法使用二分法查找。
     *
     * @param ip
     *            要查询的IP
     * @return 如果找到了，返回结束IP的偏移，如果没有找到，返回-1
     */
    private int locateIP(byte[] ip) {
        int m = 0;
        int r;
        byte[] b4 = new byte[4];
        // 比较第一个ip项
        readIP(ipBegin, b4);
        r = compareIP(ip, b4);
        if (r == 0) {
            return ipBegin;
        } else if (r < 0) {
            return -1;
        }
        // 开始二分搜索
        for (int i = ipBegin, j = ipEnd; i < j;) {
            m = getMiddleOffset(i, j);
            readIP(m, b4);
            r = compareIP(ip, b4);
            // log.debug(Utils.getIpStringFromBytes(b));
            if (r > 0) {
                i = m;
            } else if (r < 0) {
                if (m == j) {
                    j -= IP_RECORD_LENGTH;
                    m = j;
                } else {
                    j = m;
                }
            } else {
                return readInt3(m + 4);
            }
        }
        // 如果循环结束了，那么i和j必定是相等的，这个记录为最可能的记录，但是并非
        // 肯定就是，还要检查一下，如果是，就返回结束地址区的绝对偏移
        m = readInt3(m + 4);
        readIP(m, b4);
        r = compareIP(ip, b4);
        if (r <= 0) {
            return m;
        } else {
            return -1;
        }
    }

    /**
     * 得到begin偏移和end偏移中间位置记录的偏移
     *
     * @param begin
     * @param end
     * @return
     */
    private int getMiddleOffset(int begin, int end) {
        int records = (end - begin) / IP_RECORD_LENGTH;
        records >>= 1;
        if (records == 0) {
            records = 1;
        }
        return begin + records * IP_RECORD_LENGTH;
    }

    /**
     * @param offset
     * @return
     */
    private IPLocation getIPLocation(int offset) {
        IPLocation loc = new IPLocation();
        // 跳过4字节ip
        buffer.position(offset + 4);
        // 读取第一个字节判断是否标志字节
        byte b = buffer.get();
        if (b == AREA_FOLLOWED) {
            // 读取国家偏移
            int countryOffset = readInt3();
            // 跳转至偏移处
            buffer.position(countryOffset);
            // 再检查一次标志字节，因为这个时候这个地方仍然可能是个重定向
            b = buffer.get();
            if (b == NO_AREA) {
                loc.country = readString(readInt3());
                buffer.position(countryOffset + 4);
            } else {
                loc.country = readString(countryOffset);
            }
            // 读取地区标志
            loc.area = readArea(buffer.position());
        } else if (b == NO_AREA) {
            loc.country = readString(readInt3());
            loc.area = readArea(offset + 8);
        } else {
            loc.country = readString(buffer.position() - 1);
            loc.area = readArea(buffer.position());
        }
        return loc;
    }

    /**
     * @param offset
     * @return
     */
    private String readArea(int offset) {
        buffer.position(offset);
        byte b = buffer.get();
        if (b == 0x01 || b == 0x02) {
            int areaOffset = readInt3();
            if (areaOffset == 0) {
                return "未知地区";
            } else {
                return readString(areaOffset);
            }
        } else {
            return readString(offset);
        }
    }

    /**
     * 从内存映射文件的当前位置开始的3个字节读取一个int
     *
     * @return
     */
    private int readInt3() {
        return buffer.getInt() & 0x00FFFFFF;
    }

    /**
     * 从ip的字符串形式得到字节数组形式
     *
     * @param ip
     *            字符串形式的ip
     * @return 字节数组形式的ip
     */
    private static byte[] getIpByteArrayFromString(String ip) throws Exception {
        byte[] ret = new byte[4];
        java.util.StringTokenizer st = new java.util.StringTokenizer(ip, ".");
        try {
            ret[0] = (byte) (Integer.parseInt(st.nextToken()) & 0xFF);
            ret[1] = (byte) (Integer.parseInt(st.nextToken()) & 0xFF);
            ret[2] = (byte) (Integer.parseInt(st.nextToken()) & 0xFF);
            ret[3] = (byte) (Integer.parseInt(st.nextToken()) & 0xFF);
        } catch (Exception e) {
            throw e;
        }
        return ret;
    }

    /**
     * 根据某种编码方式将字节数组转换成字符串
     *
     * @param b
     *            字节数组
     * @param offset
     *            要转换的起始位置
     * @param len
     *            要转换的长度
     * @param encoding
     *            编码方式
     * @return 如果encoding不支持，返回一个缺省编码的字符串
     */
    private static String getString(byte[] b, int offset, int len,
                                    String encoding) {
        try {
            return new String(b, offset, len, encoding);
        } catch (UnsupportedEncodingException e) {
            return new String(b, offset, len);
        }
    }

    /**
     * @param ip
     *            ip的字节数组形式
     * @return 字符串形式的ip
     */
    private static String getIpStringFromBytes(byte[] ip) {
        StringBuffer sb = new StringBuffer();
        sb.append(ip[0] & 0xFF);
        sb.append('.');
        sb.append(ip[1] & 0xFF);
        sb.append('.');
        sb.append(ip[2] & 0xFF);
        sb.append('.');
        sb.append(ip[3] & 0xFF);
        return sb.toString();
    }


    public class IPLocation {
        private String country;// 所在国家
        private String area;// 所在地区

        public IPLocation() {
        }

        public IPLocation(String country, String area) {
            this.country = country;
            this.area = area;
        }

        public IPLocation getCopy() {
            return new IPLocation(country, area);
        }

        public String getArea() {
            return " CZ88.NET".equals(area) ? "" : area;
        }

        public void setArea(String area) {
            this.area = area;
        }

        public String getCountry() {
            return " CZ88.NET".equals(country) ? "" : country;
        }

        public void setCountry(String country) {
            this.country = country;
        }
    }

    /**
     * * 一条IP范围记录，不仅包括国家和区域，也包括起始IP和结束IP *
     *
     */
    public class IPEntry {
        public String beginIp;
        public String endIp;
        public String country;
        public String area;

        /**
         * 构造函数
         */
        public IPEntry() {
        }

        @Override
        public String toString() {
            return new StringBuilder(this.area).append(";")
                    .append(this.country).append(";").append("IP范围:")
                    .append(beginIp).append("-").append(endIp).toString();
        }
    }


    public static File getFileFromClassPath(String path){
        File targetFile = new File(path);
        if(!targetFile.exists()){
            if(targetFile.getParent()!=null){
                File parent=new File(targetFile.getParent());
                if(!parent.exists()){
                    parent.mkdirs();
                }
            }
            InputStream initialStream=null;
            OutputStream outStream =null;
            try {
                Resource resource=new ClassPathResource(path);
                //注意通过getInputStream，不能用getFile
                initialStream=resource.getInputStream();
                byte[] buffer = new byte[initialStream.available()];
                initialStream.read(buffer);
                outStream = new FileOutputStream(targetFile);
                outStream.write(buffer);
            } catch (IOException e) {
                log.error("getFileFromClassPath 失败",e);
            } finally {
                if (initialStream != null) {
                    try {
                        initialStream.close(); // 关闭流
                    } catch (IOException e) {
                        log.debug("inputStream close IOException:" + e.getMessage());
                    }
                }
                if (outStream != null) {
                    try {
                        outStream.close(); // 关闭流
                    } catch (IOException e) {
                        log.debug("outStream close IOException:" + e.getMessage());
                    }
                }
            }
        }
        return targetFile;
    }

}