python实现解析oui.txt并抽取MAC前缀及组织名称

做无线抓包时就曾经设想过显示MAC地址所属组织的名称,一直在研究如何根据MAC查询对应的名称。今天无意看到网上有相关文章,里面有介绍,使用C语言实现。本文使用python来实现。

oui.txt文件可以在官网地址http://standards-oui.ieee.org/oui/oui.txt下载,该文件包含了MAC地址前缀(前MAC地址前三字节,下文直接使用“MAC地址”)、组织名称(即公司名称)、公司地址、国家等信息。截至目前,一共有2万多个记录。本文要做的,只是提取出MAC地址和对应的组织名称,再重新整理,以方便程序查询。

先看一下文件内容:

00-CD-FE  (hex) Apple, Inc.

00CDFE    (base 16) Apple, Inc.

1 Infinite Loop

Cupertino  CA  95014

US

第一部分为“xx-xx-xx”形式的MAC地址和名称;第二部分类似,但省略掉“-”;第三部分是公司地址信息(含国家,行数较多)。文中选择第二部分,因为可以直接将如“00CDFE”字符串转换成十六进制使用。

提取MAC地址的设计思路很简单,如下:

1、逐行读取oui.txt,利用正则表达式查找上文所说的“第二部分”内容。并放到list中。

2、将list内容排序,方便使用二分查找算法,提高速度。

3、将MAC地址转换成十六进制存储(非字符串,这样省一点空间),组织信息还是用字符串存储。

4、写到文件中。其中头部信息表示着记录的数目。数据部分即为MAC地址和组织信息。组织信息前一字节表示该信息长度。

涉及到的python知识点:

1、正则表达式:re.findall(r"^[A-F0-9].[A-F0-9].[A-F0-9].+$", l)

2、字符串转换成数值:int(mac, 16)

3、字符串转成二进制写入文件:

f1 = open(BIN_FILE, "wb")

format='%ds' % len(org)

byte=struct.pack('i',mac_int) + struct.pack(format,str.encode(org))

f1.write(byte)

4、UTF8编码:

reload(sys)

sys.setdefaultencoding('utf8')

完整代码如下:

#!/usr/bin/python

# encoding: utf-8

# 解析oui.txt文件 Powred by Late Lee

# 注:文件编码格式为utf-8,oui.txt也必须保证是uft-8

# 如果使用python3.4版本,则不需要调用 sys.setdefaultencoding('utf8')

# 生成bin文件格式:头部共8字节:前4字节表示一共有多少条记录,后面4字节表示最大组织名称长度为多少。数据部:MAC地址及组织名称。

# 耗时2秒完成

import os

import re

import struct

import sys

OUI_FILE = "oui.txt"

TXT_FILE = "oui_txt.txt"

BIN_FILE = "oui.bin"

##################################

def write_file():

line=0

list =[]

try:

f = open(OUI_FILE, 'r')

while True:

l = f.readline()

if l == '': # end

break

line += 1

l = l.strip('\n') # not need \n

#print("#%d %s" % (line, l))

ret = re.findall(r"^[A-F0-9].[A-F0-9].[A-F0-9].+$", l) # eg 9C8E99

if len(ret) != 0:

mac = l[:6]

mac_int = int(mac, 16) # string to int number

org = l[22:]

org.strip()

test = mac+" "+org

list.append(test) # add to list

list.sort()

f.close()

except:

raise

line = 0

try:

f1 = open(BIN_FILE, "wb")

f2 = open(TXT_FILE, "w")

f1.write("0000")

for i in range(0, len(list)):

#print("%d %s" % (i, list[i]))

line += 1

mac = list[i][:6]

mac_int = int(mac, 16) # string to int number

org = list[i][7:]

format='%ds' % len(org) # how many bytes in org

org_byte = struct.pack(format,str.encode(org))

org_len = len(org)

byte=struct.pack('i',mac_int) + struct.pack('b',org_len) + struct.pack(format,str.encode(org)) # to byte

#print("333#%d 0x%x %d-->%s %s" % (i, mac_int, mac_int, org, org_byte))

f1.write(byte) # binary

test = mac + " " + org + "\n"

f2.write(test) # text

print("total number: %d max name len: %d" % (line, org_len))

f1.seek(0, 0)

byte=struct.pack('i',line)

f1.write(byte)

f1.close()

f2.close()

except:

raise

if __name__ == '__main__':

reload(sys)

sys.setdefaultencoding('utf8')

write_file()

至此,就完成了MAC信息的提取。最终的二进制文件存储22982条记录,空间只有600KB左右。文本形式的如下:

000000 XEROX CORPORATION

000001 XEROX CORPORATION

000002 XEROX CORPORATION

000003 XEROX CORPORATION

。。。

FCFC48 Apple, Inc.

FCFE77 Hitachi Reftechno, Inc.

FCFEC2 Invensys Controls UK Limited

FCFFAA IEEE Registration Authority

文本仅描述一种方法。存储可以使用定长和变长方式。如下:

1、使用定长存储组织信息,这样无需处理长度不一的组织名称,方便编码。但以牺牲空间为代价,比如使用100字节存储名称,则生成的文件大小由600KB上涨到2MB多。

2、如果要节省空间,可以在每条记录中存储组织名称长度信息,然后在代码中根据此长度动态分配组织名称长度。编码相对复杂一点点。笔者喜欢这个方法。

参考资料:

1、OUI文件:http://standards-oui.ieee.org/oui/oui.txt

2、http://www.cnblogs.com/Anker/archive/2013/12/22/3486344.html

李迟 2017.1.14 周六 凌晨

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,319评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,801评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,567评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,156评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,019评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,090评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,500评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,192评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,474评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,566评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,338评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,212评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,572评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,890评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,169评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,478评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,661评论 2 335

推荐阅读更多精彩内容