轨迹数据处理

由于GPS精度以及系统误差等原因,造成gps轨迹数据像狗啃一样,不是那么规则,且大多数点无法落在道路上,因此这篇文章主要是对GPS轨迹数据进行处理。

  1. 原始数据为csv格式数据,具体怎么将csv数据转化为空间数据就不多赘述。以下为gps数据表格,此处已简化数据规模,表中只有一条轨迹,便于计算。
CREATE TABLE "public"."gps_data" (
"gid" int4 DEFAULT nextval('gps_data_gid_seq'::regclass) NOT NULL,
"date" date,
"time" varchar(254) COLLATE "default",
"latitude" numeric,
"longitude" numeric,
"altitude" numeric,
"speed" numeric,
"course" int4,
"type" int4,
"distance" numeric,
"essential" int4,
"geom" "public"."geometry",
CONSTRAINT "gps_data_pkey" PRIMARY KEY ("gid")
)
WITH (OIDS=FALSE)
;
ALTER TABLE "public"."gps_data" OWNER TO "postgres";
CREATE INDEX "gps_data_geom_idx" ON "public"."gps_data" USING gist ("geom");

以下是数据库表中数据。


image

gps轨迹数据可视化显示如下图:可以看到数据很多锯齿,且未在落在道路还是上。


image
  1. 数据处理流程
    (http://upload-images.jianshu.io/upload_images/8667322-f963c6add8a66bc6.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

  2. 数据去重方法,将经纬度相同的点去除。此处采用了窗口函数,简化了算法。因为此处意淫了一些其他的方法,一次有一些多余的数据与参数,但是目前未实现,但也不作删除,说不定,哪天灵感迸发,想到了解决方案。以下是数据去除的脚本。

delete from gps_data_clean;
DO LANGUAGE plpgsql $$ 
DECLARE  
rec record ; 
declare speed float;
BEGIN
for rec in select *,j.prelength/pretime  prespeed, j.nextlength/nexttime nextspeed from (SELECT
    k.gid,
    k.lagtime,
    extract(epoch FROM (K . TIME :: TIME - K .lagtime)) preTime,
    k.time,
    extract(epoch FROM (K .leadtime - K . TIME :: TIME)) nextTime,
    k.leadtime,
    k.laggeom,
    st_distance(st_transform(k.laggeom, 3857), st_transform(k.geom, 3857)) preLength,
    k.geom,
    st_distance(st_transform(k.geom, 3857), st_transform(k.leadgeom, 3857)) nextLength,
    k.leadgeom
FROM
    (
        SELECT
            gid,
            LAG (TIME) OVER (PARTITION BY DATE ORDER BY TIME) :: TIME AS lagTime,  --窗口函数上一条记录
            time, 
            LEAD (TIME) OVER (PARTITION BY DATE ORDER BY TIME) :: TIME AS leadTime,--窗口函数下一条记录
            geom ,
            LAG (geom) OVER (PARTITION BY DATE ORDER BY TIME) AS lagGeom,
            LEAD (geom) OVER (PARTITION BY DATE ORDER BY TIME) AS leadGeom
        FROM
            gps_data
    ) K) j loop
speed:=(rec.nextspeed+rec.prespeed)/2;

if  speed!=0 then 
 --raise notice '正在处理geom:%',rec;
INSERT INTO "public"."gps_data_clean" ("time","geom") VALUES (rec.time,rec.geom);
else 
raise notice '正在处理geom:%',speed;
end if;
end loop;
END ; $$;

从效果看去除了100个重复点,为之后的计算做铺垫,效果图如下


image

4.数据平滑采用高斯滤波进行平滑,直接上代码:

--平滑轨迹
CREATE
OR REPLACE FUNCTION GetSmoothGpsPt () RETURNS void AS $$
DECLARE vSmoothSpan integer;
declare rec  record;
declare tempRec record;
declare Wi float;
declare Wx float;
declare Wy float;
declare Wa float;
declare sumWX float;
declare sumWY float;
declare sumWA float;
declare sumW float;
declare Latitude float;
declare Longitude float;
declare TimeGap integer;
declare angle float;
BEGIN
vSmoothSpan := 30 ; 
for rec in select *,ST_Azimuth(LAG (geom) OVER (PARTITION BY DATE ORDER BY TIME),LEAD (geom) OVER (PARTITION BY DATE ORDER BY TIME))/(2 * pi()) * 360 angle from gps_data_clean order by time loop
sumWX:= 0; sumWY:= 0; sumWA:= 0;sumW:=0;
--高斯滤波,已Gps点位前后三十秒的数据进行加权平滑
for tempRec in select  *,ST_Azimuth(LAG (geom) OVER (PARTITION BY DATE ORDER BY TIME),LEAD (geom) OVER (PARTITION BY DATE ORDER BY TIME))/(2 * pi()) * 360 angle from gps_data_clean t where t.time::time BETWEEN rec.time::time- interval '30 S' and  rec.time::time+ '30 S' loop
--raise notice '正在处理Longitude:%',tempRec.angle;
TimeGap:=extract(epoch FROM (rec.TIME :: TIME - tempRec.TIME :: TIME ));
Wi:=exp((-1) * TimeGap * TimeGap / (2 * vSmoothSpan * vSmoothSpan));
Wx:= Wi * st_x(tempRec.geom);
Wy:= Wi * st_y(tempRec.geom);
Wa:=Wi*coalesce(tempRec.angle,0);
sumWX = sumWX+Wx;
sumWY = sumWY+Wy;
sumWA=sumWA+Wa;

sumW=sumW+ Wi;
end loop;
Longitude:= sumWX / sumW;
Latitude:= sumWY / sumW;
angle:=sumWA/sumW;

--raise notice '正在处理angle:%',sumWA;
--raise notice '正在处理Longitude:%,Latitude:%,angle:%',Longitude,Latitude,tempRec.angle;
--raise notice '正在处理geom:%',st_astext(ST_GeomFromText('POINT('||Longitude||' '||Latitude||')',4326));
--平滑后的数据入库
INSERT INTO "public"."gps_data_smooth" ("date","time","geom","angle") VALUES ( rec.date,rec.time,ST_GeomFromText('POINT('||Longitude||' '||Latitude||')',4326),angle);
end loop; 
END ; $$ LANGUAGE plpgsql;

select GetSmoothGpsPt();

以下是平滑后的数据,可以看到比原始数据明显少了很多锯齿,效果还是可以的。


image
  1. 最后将平滑后的数据,匹配到道路上去,目前之做到简单匹配,有些地方匹配结果是错误的,但是目前没有想到好的方法。以下是匹配代码:
delete from gps_data_modify;
--select t.geom from gps_data t order by t.time
DO LANGUAGE plpgsql $$ 
DECLARE 
tempRec record ; 
road record ; 
gpsPoint record ; 
rec record ; 
geom geometry ; 
geomArr geometry []; 
point_array geometry []; 
lastPoint geometry ;
angle float;
BEGIN
    --轨迹点连成线
FOR rec IN 
SELECT * FROM   gps_data_smooth ORDER BY TIME loop 
        geomArr := ARRAY [ rec.geom ]; 
        point_array := array_append(point_array, rec.geom) ;
END loop ; --以50米范围生成缓冲区,并计算与缓冲区有相交的道路
    --点落在道路上
FOR gpsPoint IN 
SELECT * FROM gps_data_smooth loop 
raise notice '正在处理gid:%',   '----------------------------------' ;
 --计算离Gps点位最近的道路,并计算垂点,将垂点入库
 FOR tempRec IN 
SELECT *    FROM
            (
                SELECT
                    *,ST_Length (
                        st_transform (
                            ST_ShortestLine (gpsPoint.geom, T .geom),
                            3857
                        )
                    ) min_length,
                    ST_ShortestLine (gpsPoint.geom, T .geom) line
                FROM
                    tianjin_road T
                WHERE
                    ST_Intersects (
                        st_transform (
                            ST_Buffer (
                                st_transform (
                                    ST_MakeLine (point_array),
                                    3857
                                ),
                                40
                            ),
                            4326
                        ),
                        T .geom
                    )
            ) K
        ORDER BY
            K .min_length
        LIMIT 1 loop 


    INSERT INTO "public"."tianjin_road_copy" ("length", "geom")
        VALUES
            (
                ST_Length (
                    st_transform (tempRec.line, 3857)
                ),
                tempRec.line
            ) ; 
lastPoint = ST_ClosestPoint (tempRec.geom, gpsPoint.geom) ; 
angle=ST_Azimuth(gpsPoint.geom,lastPoint);
raise notice '正在处理angle:%',abs(angle/(2 * pi()) * 360-gpsPoint.angle);
--数据入库
INSERT INTO "public"."gps_data_modify" ("date", "time", "geom")
        VALUES
            (
                gpsPoint. DATE,
                gpsPoint. TIME,
                lastPoint
            ) ; 
--raise notice '正在处理gid:%',tempRec.min_length ;
        END loop ;
        END loop ;
        END ; $$;

以下数匹配的结果图,可以看到能匹配到道路上去,但是由于精度不是那么可靠,切在转弯处的数据匹配也是明显的错误,但是目前没找到好的解决方案。(Ps:目前欲采用轨迹的角度和道路的角度进行计算,但是目前效果不佳,持续改进中)


image

总结:

  • 用PG进行数据数据处理很方便,尤其是在批量处理上,能够灵活组装函数。
  • 很多函数用的不是很熟,处理函数的报错过程中花费太多时间。
  • 算法还较为简单,需要持续改进。
  • PG so funny!
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,319评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,801评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,567评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,156评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,019评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,090评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,500评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,192评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,474评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,566评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,338评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,212评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,572评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,890评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,169评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,478评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,661评论 2 335

推荐阅读更多精彩内容