视音频数据处理入门:UDP-RTP协议解析

原作者雷霄骅,于前几日去世,可惜,愿一路走好。
本文介绍网络协议数据的处理程序。网络协议数据在视频播放器中的位置如下所示。


原理

MPEG-TS封装格式数据打包为RTP/UDP协议然后发送出去的流程如下图所示。图中首先每7个MPEG-TS Packet打包为一个RTP,然后每个RTP再打包为一个UDP。其中打包RTP的方法就是在MPEG-TS数据前面加上RTP Header,而打包UDP的方法就是在RTP数据前面加上UDP Header。



有关MPEG-TS、RTP、UDP的知识不再详细介绍,可以参考相关的文档了解其中的细节信息。本文记录的程序是一个收取流媒体的程序,因此本文程序的流程和上述发送MPEG-TS的流程正好是相反的。该程序可以通过Socket编程收取UDP包,解析其中的RTP包的信息,然后再解析RTP包中MPEG-TS Packet的信息。

代码

整个程序位于simplest_udp_parser()函数中,如下所示

#include <stdio.h>  
#include <winsock2.h>  
  
#pragma comment(lib, "ws2_32.lib")   
  
#pragma pack(1)  
  
/* 
 * [memo] FFmpeg stream Command: 
 * ffmpeg -re -i sintel.ts -f mpegts udp://127.0.0.1:8880 
 * ffmpeg -re -i sintel.ts -f rtp_mpegts udp://127.0.0.1:8880 
 */  
  
typedef struct RTP_FIXED_HEADER{  
    /* byte 0 */  
    unsigned char csrc_len:4;       /* expect 0 */  
    unsigned char extension:1;      /* expect 1 */  
    unsigned char padding:1;        /* expect 0 */  
    unsigned char version:2;        /* expect 2 */  
    /* byte 1 */  
    unsigned char payload:7;  
    unsigned char marker:1;        /* expect 1 */  
    /* bytes 2, 3 */  
    unsigned short seq_no;              
    /* bytes 4-7 */  
    unsigned  long timestamp;          
    /* bytes 8-11 */  
    unsigned long ssrc;            /* stream number is used here. */  
} RTP_FIXED_HEADER;  
  
typedef struct MPEGTS_FIXED_HEADER {  
    unsigned sync_byte: 8;   
    unsigned transport_error_indicator: 1;   
    unsigned payload_unit_start_indicator: 1;  
    unsigned transport_priority: 1;   
    unsigned PID: 13;  
    unsigned scrambling_control: 2;  
    unsigned adaptation_field_exist: 2;  
    unsigned continuity_counter: 4;  
} MPEGTS_FIXED_HEADER;  
  
  
  
int simplest_udp_parser(int port)  
{  
    WSADATA wsaData;  
    WORD sockVersion = MAKEWORD(2,2);  
    int cnt=0;  
  
    //FILE *myout=fopen("output_log.txt","wb+");  
    FILE *myout=stdout;  
  
    FILE *fp1=fopen("output_dump.ts","wb+");  
  
    if(WSAStartup(sockVersion, &wsaData) != 0){  
        return 0;  
    }  
  
    SOCKET serSocket = socket(AF_INET, SOCK_DGRAM, IPPROTO_UDP);   
    if(serSocket == INVALID_SOCKET){  
        printf("socket error !");  
        return 0;  
    }  
  
    sockaddr_in serAddr;  
    serAddr.sin_family = AF_INET;  
    serAddr.sin_port = htons(port);  
    serAddr.sin_addr.S_un.S_addr = INADDR_ANY;  
    if(bind(serSocket, (sockaddr *)&serAddr, sizeof(serAddr)) == SOCKET_ERROR){  
        printf("bind error !");  
        closesocket(serSocket);  
        return 0;  
    }  
  
    sockaddr_in remoteAddr;  
    int nAddrLen = sizeof(remoteAddr);   
  
    //How to parse?  
    int parse_rtp=1;  
    int parse_mpegts=1;  
  
    printf("Listening on port %d\n",port);  
  
    char recvData[10000];    
    while (1){  
  
        int pktsize = recvfrom(serSocket, recvData, 10000, 0, (sockaddr *)&remoteAddr, &nAddrLen);  
        if (pktsize > 0){  
            //printf("Addr:%s\r\n",inet_ntoa(remoteAddr.sin_addr));  
            //printf("packet size:%d\r\n",pktsize);  
            //Parse RTP  
            //  
            if(parse_rtp!=0){  
                char payload_str[10]={0};  
                RTP_FIXED_HEADER rtp_header;  
                int rtp_header_size=sizeof(RTP_FIXED_HEADER);  
                //RTP Header  
                memcpy((void *)&rtp_header,recvData,rtp_header_size);  
  
                //RFC3551  
                char payload=rtp_header.payload;  
                switch(payload){  
                case 0:  
                case 1:  
                case 2:  
                case 3:  
                case 4:  
                case 5:  
                case 6:  
                case 7:  
                case 8:  
                case 9:  
                case 10:  
                case 11:  
                case 12:  
                case 13:  
                case 14:  
                case 15:  
                case 16:  
                case 17:  
                case 18: sprintf(payload_str,"Audio");break;  
                case 31: sprintf(payload_str,"H.261");break;  
                case 32: sprintf(payload_str,"MPV");break;  
                case 33: sprintf(payload_str,"MP2T");break;  
                case 34: sprintf(payload_str,"H.263");break;  
                case 96: sprintf(payload_str,"H.264");break;  
                default:sprintf(payload_str,"other");break;  
                }  
  
                unsigned int timestamp=ntohl(rtp_header.timestamp);  
                unsigned int seq_no=ntohs(rtp_header.seq_no);  
  
                fprintf(myout,"[RTP Pkt] %5d| %5s| %10u| %5d| %5d|\n",cnt,payload_str,timestamp,seq_no,pktsize);  
  
                //RTP Data  
                char *rtp_data=recvData+rtp_header_size;  
                int rtp_data_size=pktsize-rtp_header_size;  
                fwrite(rtp_data,rtp_data_size,1,fp1);  
  
                //Parse MPEGTS  
                if(parse_mpegts!=0&&payload==33){  
                    MPEGTS_FIXED_HEADER mpegts_header;  
                    for(int i=0;i<rtp_data_size;i=i+188){  
                        if(rtp_data[i]!=0x47)  
                            break;  
                        //MPEGTS Header  
                        //memcpy((void *)&mpegts_header,rtp_data+i,sizeof(MPEGTS_FIXED_HEADER));  
                        fprintf(myout,"   [MPEGTS Pkt]\n");  
                    }  
                }  
  
            }else{  
                fprintf(myout,"[UDP Pkt] %5d| %5d|\n",cnt,pktsize);  
                fwrite(recvData,pktsize,1,fp1);  
            }  
  
            cnt++;  
        }  
    }  
    closesocket(serSocket);   
    WSACleanup();  
    fclose(fp1);  
  
    return 0;  
}  
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,132评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,802评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,566评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,858评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,867评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,695评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,064评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,705评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,915评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,432评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,041评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2 343

推荐阅读更多精彩内容