「笔记」结合redis的地图点位聚合方案

如果不懂地图聚合点,可以先看这个文章,了解各个算法:地图兴趣点聚合算法的探索与实践

作为giser可能首先会考虑直接用 openlayers 或 cesium 实现点位聚合,但是面对庞大数据,显然 openlayers 和 cesium 都太吃性能了。
简单介绍一下方案:将经纬度根据不同地图层级切割成一个个独立的小格子,类似以上链接中的这个图,不过实现过程跟他讲的不一样。反正结果就是每个格子的点聚合到一起。

框架:redis 存储基础点和聚合点,go 将基础点算成聚合点,web 显示点位。

redis

点(经纬度)存在数据库中的,全取出来利用redis做聚合运算,因为 redis 的读/写性能远超数据库。
首先要了解 redis 的数据类型命令语句,看官网就可以了。
这里需要用到两个redis服务器,为了区分,一个叫 infoRes,一个叫 geoRes。infoRes 中存基础点和聚合点的所有详细信息,数据类型用的是 Hash,geoRes 根据不同层级存聚合点位置,另外基础点也存在这里面。具体用法继续看 Go。

Go

点位计算存储
  1. 从数据库里取出点后要把无效的经纬度筛掉,比如空的、不符合经纬度范围的等等。
  2. 获取地图层级数组。
  3. 每个层级下,分批获取 geoRes 中的基础点,主要是拿到每个点的 key。
  4. 拿 key 去 infoRes 去拿每个点的详细信息。
  5. 根据当前层级、经纬度,得出当前点所在格子的序列号 clusterKey。
  6. 这一步就在算聚合点的位置和数量了,有相同 clusterKey 的算一个格子,数量加起来,经纬度要根据数量比例算。
    代码有简化,仅供参考
buffer := make(map[string]*clusterPoint)
for i:= 0; ; i++ {
      // 分批获取 geoRes 中的基础点,主要是拿到每个点的 key
      arr, _ := redis.String(geoRes.Do("ZREVRANGEBYSCORE", "marker", "+inf", "-inf", "limit", i*1000, 1000 ))
      if arr == nil || len(arr) == 0 {
          break
      }

      for _, temp := range arr {
          // 拿 key 去 infoRes 去拿每个点的详细信息
          info, _ := redis.Strings(infoRes.Do("HGETALL", key))
          dic := make(map[string]string, len(info)/2)
          for i := 0; i < len(info); i = i + 2 {
               dic[info[i]] = info[i+2]
          }
          // 根据层级、经纬度序列化一个聚合缓存 clusterKey,表示哪个格子
          clusterKey := encodeClusterKey(dic["lng"], dic["lat"], currentZoom)
         
          item := buffer[clusterKey]
          if item == nil {
                  item = &clusterPoint{}
                  ……
                  item.num, _ = strconv.Atoi(dic["num"])
                  item.clusterKey = clusterKey
                  item.lng, _ := strconv.ParseFloat(dic["lng"], 64)
                  item.lat, _ := strconv.ParseFloat(dic["lat"], 64)
                  ……
                  buffer[clusterKey] = item
          }
          // 数量加起来,经纬度要根据数量比例算
          item.lng = (item.lng * float64(item.num) + lng) / float64(item.num + 1)
          item.lat = (item.lat * float64(item.num) + lat) / float64(item.num + 1)
          item.num++
      }
}
// 聚合点存入 geoRes
for key, value := range buffer {
        // 根据 clusterKey 算出一个格子的标准点,这个点只是参考位置
        centerLng, centerLat := encodeClusterKey(value.clusterKey)
        // 根据自己的需要弄个新的 key 出来,作为 redis geo 的 member,把 clusterKey 放进去
        tempKey := ……
        // 分层级往 geoRes 存聚合点位
        _, err := geoRes.Do("GEOADD", fmt.Sprintf("cluster%d", currentZoom), centerLng, centerLat, tempKey)
        // 往 infoRes 存点位具体信息
        _, err = infoRes.Do("HMSET", tempKey, ……)
}
获取点位
  1. 前端传来地图层级、视图中心点的经纬度、视图范围
  2. 拿到聚合点后不能直接给前端,要优化点的位置,避免点位重叠
tempArr, _ := redis.Strings(geoRes.Do("GEORADIUS", fmt.Sprintf("cluster%d", currentZoom), lng, lat, distance, "m"))
for i:= 0; i < len(tempArr); i++ {
         info, _ := redis.Strings(infoRes.Do("HGETALL", tempArr[i]))
          dic := make(map[string]string, len(info)/2)
          for i := 0; i < len(info); i = i + 2 {
               dic[info[i]] = info[i+2]
          }
         item = &clusterPoint{}
         ……
         item.num, _ := strconv.Atoi(dic["num"])
         item.lng, _ := strconv.ParseFloat(dic["lng"], 64)
         item.lat, _ := strconv.ParseFloat(dic["lat"], 64)
         ……
}

web

前端不能每次都靠后台传值刷新,毕竟点太多了,每次都全量刷新肯定需要一定时间加载,用户体验也很不好。所以前端需要缓存一份点位数据,每次获得新数据时先比较缓存,比较相同的聚合点,如果其中数量没变就不更新,数量变了就删掉重新渲染。

大概就是这样的思路,原创文章,转载请注明出处。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容