基于geohash的周边地理位置搜索

作者: Daniel_adu | 来源:发表于2017-03-08 20:44 被阅读1518次

1.场景

随着智能手机和传感器技术的发展，LBS（Location based service）类的应用也逐渐多了起来。几乎每一个软件或多或少都要牵扯上点位置的事。这篇文章主要来讲解下怎么快速的搜寻某个位置点周边的数据。
将问题模型化就是，给一组数据，每个数据包括了这个数据的位置信息（经纬度）和其他信息，给一个搜寻点（经度和纬度）和搜寻范围（radius），在最少的计算和时间内将在搜寻点的搜寻范围内的数据找出来。
List<Data> findData(List<Data> datas,int radius)

2.目前的解决方案

（1）圆形区域一一匹配搜索。

将list中的数据一个一个同搜索位置进行距离计算。几乎没有人这样用，每一个数据都需要进行开根号操作，数据量大的时候不可想象。

1f.jpg

（2）先对数据库中的经度（longitude）和纬度（latitude）添加B+树索引，然后搜索以radius的两倍为边长的正方形，如下图：

2.jpg

圆形搜索需要进行距离计算，而正方形搜索只需要进行经度和纬度的一个比较就行，因此在效率上大大提高。最后一步就是对正方形内的数据一一进行距离计算，输出距离在radius之内的数据。

（3）使用目前现成的拥有地理位置搜索的数据库，比如mongoDB，HBase等等。

（4）使用geohash数据结构，见下面介绍

2.geohash介绍

转载自GeoHash核心原理解析

（1）感性认识GeoHash

首先来点感性认识，http://openlocation.org/geohash/geohash-js/ 提供了在地图上显示geohash编码的功能。

1）GeoHash将二维的经纬度转换成字符串，比如下图展示了北京9个区域的GeoHash字符串，分别是WX4ER，WX4G2、WX4G3等等，每一个字符串代表了某一矩形区域。也就是说，这个矩形区域内所有的点（经纬度坐标）都共享相同的GeoHash字符串，这样既可以保护隐私（只表示大概区域位置而不是具体的点），又比较容易做缓存，比如左上角这个区域内的用户不断发送位置信息请求餐馆数据，由于这些用户的GeoHash字符串都是WX4ER，所以可以把WX4ER当作key，把该区域的餐馆信息当作value来进行缓存，而如果不使用GeoHash的话，由于区域内的用户传来的经纬度是各不相同的，很难做缓存。

3.png

2）字符串越长，表示的范围越精确。如图所示，5位的编码能表示10平方千米范围的矩形区域，而6位编码能表示更精细的区域（约0.34平方千米）

4.png

3）字符串相似的表示距离相近（特殊情况后文阐述），这样可以利用字符串的前缀匹配来查询附近的POI信息。如下两个图所示，一个在城区，一个在郊区，城区的GeoHash字符串之间比较相似，郊区的字符串之间也比较相似，而城区和郊区的GeoHash字符串相似程度要低些。

城区

郊区

通过上面的介绍我们知道了GeoHash就是一种将经纬度转换成字符串的方法，并且使得在大部分情况下，字符串前缀匹配越多的距离越近，回到我们的案例，根据所在位置查询来查询附近餐馆时，只需要将所在位置经纬度转换成GeoHash字符串，并与各个餐馆的GeoHash字符串进行前缀匹配，匹配越多的距离越近。

（2）GeoHash算法的步骤

下面以北海公园为例介绍GeoHash算法的计算步骤

7.png

2.1. 根据经纬度计算GeoHash二进制编码
地球纬度区间是[-90,90]，北海公园的纬度是39.928167，可以通过下面算法对纬度39.928167进行逼近编码:
1）区间[-90,90]进行二分为[-90,0),[0,90]，称为左右区间，可以确定39.928167属于右区间[0,90]，给标记为1；
2）接着将区间[0,90]进行二分为 [0,45),[45,90]，可以确定39.928167属于左区间 [0,45)，给标记为0；
3）递归上述过程39.928167总是属于某个区间[a,b]。随着每次迭代区间[a,b]总在缩小，并越来越逼近39.928167；
4）如果给定的纬度x（39.928167）属于左区间，则记录0，如果属于右区间则记录1，这样随着算法的进行会产生一个序列1011100，序列的长度跟给定的区间划分次数有关。
根据纬度算编码

bit	min	mid	max
1	-90.000	0.000	90.000
0	0.000	45.000	90.000
1	0.000	22.500	45.000
1	22.500	33.750	45.000
1	33.7500	39.375	45.000
0	39.375	42.188	45.000
0	39.375	40.7815	42.188
0	39.375	40.07825	40.7815
1	39.375	39.726625	40.07825
1	39.726625	39.9024375	40.07825

同理，地球经度区间是[-180,180]，可以对经度116.389550进行编码。
根据经度算编码

|bit|min|mid|max|
|-|-|-|
|1|-180|0.000|180|
|1|0.000|90|180|
|0|90|135|180|
|1|90|112.5|135|
|0|112.5|123.75|135|
|0|112.5|118.125|123.75|
|1|112.5|115.3125|118.125|
|0|115.3125|116.71875|118.125|
|1|115.3125|116.015625|116.71875|
|1|116.015625|116.3671875|116.71875|

2.2. 组码
通过上述计算，纬度产生的编码为10111 00011，经度产生的编码为11010 01011。偶数位放经度，奇数位放纬度，把2串编码组合生成新串：11100 11101 00100 01111。
最后使用用0-9、b-z（去掉a, i, l, o）这32个字母进行base32编码，首先将11100 11101 00100 01111转成十进制，对应着28、29、4、15，十进制对应的编码就是wx4g。同理，将编码转换成经纬度的解码算法与之相反，具体不再赘述。

8.png

（3）GeoHash Base32编码长度与精度

下表摘自维基百科：http://en.wikipedia.org/wiki/Geohash
可以看出，当geohash base32编码长度为8时，精度在19米左右，而当编码长度为9时，精度在2米左右，编码长度需要根据数据情况进行选择。

9.png

（4）GeoHash算法

上文讲了GeoHash的计算步骤，仅仅说明是什么而没有说明为什么？为什么分别给经度和维度编码？为什么需要将经纬度两串编码交叉组合成一串编码？本节试图回答这一问题。
如图所示，我们将二进制编码的结果填写到空间中，当将空间划分为四块时候，编码的顺序分别是左下角00，左上角01，右下脚10，右上角11，也就是类似于Z的曲线，当我们递归的将各个块分解成更小的子块时，编码的顺序是自相似的（分形），每一个子快也形成Z曲线，这种类型的曲线被称为Peano空间填充曲线。
这种类型的空间填充曲线的优点是将二维空间转换成一维曲线（事实上是分形维），对大部分而言，编码相似的距离也相近，但Peano空间填充曲线最大的缺点就是突变性，有些编码相邻但距离却相差很远，比如0111与1000，编码是相邻的，但距离相差很大。

10.png

除Peano空间填充曲线外，还有很多空间填充曲线，如图所示，其中效果公认较好是Hilbert空间填充曲线，相较于Peano曲线而言，Hilbert曲线没有较大的突变。为什么GeoHash不选择Hilbert空间填充曲线呢？可能是Peano曲线思路以及计算上比较简单吧，事实上，Peano曲线就是一种四叉树线性编码方式。

11.png

（5）使用注意点

1）由于GeoHash是将区域划分为一个个规则矩形，并对每个矩形进行编码，这样在查询附近POI信息时会导致以下问题，比如红色的点是我们的位置，绿色的两个点分别是附近的两个餐馆，但是在查询的时候会发现距离较远餐馆的GeoHash编码与我们一样（因为在同一个GeoHash区域块上），而较近餐馆的GeoHash编码与我们不一致。这个问题往往产生在边界处。

12.png

解决的思路很简单，我们查询时，除了使用定位点的GeoHash编码进行匹配外，还使用周围8个区域的GeoHash编码，这样可以避免这个问题。
2）我们已经知道现有的GeoHash算法使用的是Peano空间填充曲线，这种曲线会产生突变，造成了编码虽然相似但距离可能相差很大的问题，因此在查询附近餐馆时候，首先筛选GeoHash编码相似的POI点，然后进行实际距离计算。

3.实践操作

本文使用asp.net core作为后台，不管什么语言什么后台，大致的思路是一样的

（1）在数据库的表中加一列，geohash，并且加上hash索引。使用如下方法得到geohash的值：

  public static String Encode(double latitude, double longitude, int precision = 12)
        {
            bool even = true;
            int bit = 0;
            int ch = 0;
            string geohash = "";

            double[] lat = { -90.0, 90.0 };
            double[] lon = { -180.0, 180.0 };

            if (precision < 1 || precision > 20) precision = 12;

            while (geohash.Length < precision)
            {
                double mid;

                if (even)
                {
                    mid = (lon[0] + lon[1]) / 2;
                    if (longitude > mid)
                    {
                        ch |= Bits[bit];
                        lon[0] = mid;
                    }
                    else
                        lon[1] = mid;
                }
                else
                {
                    mid = (lat[0] + lat[1]) / 2;
                    if (latitude > mid)
                    {
                        ch |= Bits[bit];
                        lat[0] = mid;
                    }
                    else
                        lat[1] = mid;
                }

                even = !even;
                if (bit < 4)
                    bit++;
                else
                {
                    geohash += Base32[ch];
                    bit = 0;
                    ch = 0;
                }
            }
            return geohash;
        }

上式中的precision指的是geohash的编码长度，长度越长经度越高。
得到每一个数据之后的geohash后将它插入到数据库的表中去。

（2）这时候有两个输入值，经纬度和radius范围值。

同样，首先通过范围值获取到geohash的有效位数，geohash的前面几位相同就代表了之间的距离在一定范围之内。具体查看上面的[
GeoHash Base32编码长度与精度]


 public static int getEffectDigitNumber(int radius)
        {
            int result = 0;
            if (radius <= 0) result = 0;
            else if (radius < 1) result = 10;
            else if (radius < 5) result = 9;
            else if (radius < 20) result = 8;
            else if (radius < 77) result = 7;
            else if (radius < 610) result = 6;
            else if (radius < 2400) result = 5;
            else if (radius < 20000) result = 4;
            else if (radius < 78000) result = 3;
            else if (radius < 630000) result = 2;
            else result = 0;
            return result;
        }

这是我写的经度和位数对应表

（3）计算目标位置的geohash值，同上面的数据库产生geohash算法一致。

（4）为了避免边界点产生的误差，我们取出周围8个的geohash。怎么取就要看选择的曲线了。这里选择

Peano曲线。可以通过以下方法得到一个点geohash周围的8个相邻点的geohash。


        public enum Direction

        {

            Top = 0,

            Right = 1,

            Bottom = 2,

            Left = 3

        }

        private const string Base32 = "0123456789bcdefghjkmnpqrstuvwxyz";

        private static readonly int[] Bits = new[] { 16, 8, 4, 2, 1 };

        private static readonly string[][] Neighbors = {

            new[]

                {

                    "p0r21436x8zb9dcf5h7kjnmqesgutwvy", // Top

                    "bc01fg45238967deuvhjyznpkmstqrwx", // Right

                    "14365h7k9dcfesgujnmqp0r2twvyx8zb", // Bottom

                    "238967debc01fg45kmstqrwxuvhjyznp", // Left

                },

            new[]

                {

                    "bc01fg45238967deuvhjyznpkmstqrwx", // Top

                    "p0r21436x8zb9dcf5h7kjnmqesgutwvy", // Right

                    "238967debc01fg45kmstqrwxuvhjyznp", // Bottom

                    "14365h7k9dcfesgujnmqp0r2twvyx8zb", // Left

                }

        };

        private static readonly string[][] Borders = {

            new[] {"prxz", "bcfguvyz", "028b", "0145hjnp"},

            new[] {"bcfguvyz", "prxz", "0145hjnp", "028b"}

        };

        public static String CalculateAdjacent(String hash, Direction direction)

        {

            hash = hash.ToLower();

            char lastChr = hash[hash.Length - 1];

            int type = hash.Length % 2;

            var dir = (int)direction;

            string nHash = hash.Substring(0, hash.Length - 1);

            if (Borders[type][dir].IndexOf(lastChr) != -1)

            {

                nHash = CalculateAdjacent(nHash, (Direction)dir);

            }

            return nHash + Base32[Neighbors[type][dir].IndexOf(lastChr)];

        }

得到周围的点：


     public static HashSet<string> getGeoSearchSet(string geohash,int effectDigitNumber)
        {
            HashSet<string> searchStringSet = new HashSet<string>();

            string tophash = Geohash.CalculateAdjacent(geohash, Geohash.Direction.Top);
            string toplefthash = Geohash.CalculateAdjacent(tophash, Geohash.Direction.Left);
            string toprighthash = Geohash.CalculateAdjacent(tophash, Geohash.Direction.Right);
            string bottomhash = Geohash.CalculateAdjacent(geohash, Geohash.Direction.Bottom);
            string bottomlefthash = Geohash.CalculateAdjacent(bottomhash, Geohash.Direction.Left);
            string bottomrighthash = Geohash.CalculateAdjacent(bottomhash, Geohash.Direction.Right);
            string lefthash = Geohash.CalculateAdjacent(geohash, Geohash.Direction.Left);
            string righthash = Geohash.CalculateAdjacent(geohash, Geohash.Direction.Right);

            searchStringSet.Add(tophash.Substring(0, effectDigitNumber));
            searchStringSet.Add(geohash.Substring(0, effectDigitNumber));
            searchStringSet.Add(toplefthash.Substring(0, effectDigitNumber));
            searchStringSet.Add(toprighthash.Substring(0, effectDigitNumber));
            searchStringSet.Add(lefthash.Substring(0, effectDigitNumber));
            searchStringSet.Add(righthash.Substring(0, effectDigitNumber));
            searchStringSet.Add(bottomlefthash.Substring(0, effectDigitNumber));
            searchStringSet.Add(bottomrighthash.Substring(0, effectDigitNumber));
            searchStringSet.Add(bottomrighthash.Substring(0, effectDigitNumber));

            return searchStringSet;
        }

使用HashSet去除重复的元素，毕竟临近的geohash有大概率重复。

（5）得到周围点之后遍历 searchStringSet中的geohash值就能从数据库中取数据了。


  List<Data> DataList = new List<Data>();

            foreach (string searchstring in searchStringSet)
            {
                var result = _dataContext.DataDB.AsNoTracking().Where(u => u.geohash.StartsWith(searchstring) && u.name.Contains(nearbyQuery.keywords)).ToList();
                if (result != null)
                {
                    DataList.AddRange(result);
                }
            }

            List<Data> DataListNoRepeat =DataList.Distinct().ToList();

直接遍历数据库，然后将结果存在List中，最后剔除掉重复的数据。

（6）好了，到这里为止已经获取了一个正方形周边的数据，这个正方形的边长要大于radius的两倍。因此需要使用传统方法对搜索结果一一作距离清洗。

    List<TData> DataListFinal = new List<Data>();
            foreach (Data Datatemp in DataListNoRepeat)
            {
                int dis;
                if ((dis = getDistance(Datatemp.latitude,Datatemp.longitude, nearbyQuery.latitude, nearbyQuery.longitude)) < nearbyQuery.radius)
                {
                    DataListFinal.Add(Datatemp);
                }
            }

            return DataListFinal;

这样就获得了最终的想要的额结果DataListFinal。