Mac/iOS操作系统之MachO(1)

通用二进制格式

苹果在OSX/iOS中推出了非常创新的“通用二进制(Universal Binary)”这一概念,这个格式的基本思想是提供一个能够在任意架构上执行的完全可移植的二进制格式。不过实际上,“通用”二进制格式只不过是其支持的各种架构的二进制文件的打包文件。我们可以做个小实验来验证下。

daiyichao@daiyichaodeMacBook-Pro-2 doc % file /bin/ls
/bin/ls: Mach-O universal binary with 2 architectures: [x86_64:Mach-O 64-bit executable x86_64] [arm64e:Mach-O 64-bit executable arm64e]
/bin/ls (for architecture x86_64):      Mach-O 64-bit executable x86_64
/bin/ls (for architecture arm64e):      Mach-O 64-bit executable arm64e

上面的执行可以看到,/bin/ls 这个二进制文件,实际上是包含了两个架构的可可执行文件,我们简单的可以认为他就是把两个架构的可执行文件打包在了一起。

作为一个iOS开发那么我们在iOS的二进制文件中在做一次实验

daiyichao@daiyichaodeMacBook-Pro-2 A % file NKCoreModel
NKCoreModel: Mach-O universal binary with 4 architectures: [arm_v7:current ar archive] [arm_v7s] [x86_64] [arm64]
NKCoreModel (for architecture armv7):   current ar archive
NKCoreModel (for architecture armv7s):  current ar archive
NKCoreModel (for architecture x86_64):  current ar archive
NKCoreModel (for architecture arm64):   current ar archive

上面我们拿NKCoreModel来测试发现,这个库里面包含了四个架构,所以这个通用二进制格式,其实就是把各种架构的二进制文件有规则的整合在来一起。

PS: 所以通用二进制,也会被叫做胖二进制fat binary,很形象是不是。还有个更有趣的是我们对这个二进制文件操作的工具叫做lipo(脂肪)

接下来我们研究一下他是怎么有效的整合在一起的。

通用二进制文件的格式定义

其实这个文件就在<mach-o/fat.h>

struct fat_header {
    uint32_t    magic;      /* FAT_MAGIC or FAT_MAGIC_64 */ 
    uint32_t    nfat_arch;  /* number of structs that follow */
};

struct fat_arch {
    cpu_type_t  cputype;    /* cpu specifier (int) */
    cpu_subtype_t   cpusubtype; /* machine specifier (int) */
    uint32_t    offset;     /* file offset to this object file */
    uint32_t    size;       /* size of this object file */
    uint32_t    align;      /* alignment as a power of 2 */
};
struct fat_arch_64 {
    cpu_type_t  cputype;    /* cpu specifier (int) */
    cpu_subtype_t   cpusubtype; /* machine specifier (int) */
    uint64_t    offset;     /* file offset to this object file */
    uint64_t    size;       /* size of this object file */
    uint32_t    align;      /* alignment as a power of 2 */
    uint32_t    reserved;   /* reserved */
};
  • magic: 魔数,这里的值是的 FAT_MAGIC/FAT_MAGIC_64,因为很多库还没有支持到FAT_MAGIC_64,所以我们大多数看到的还是0xcafebabe
  • nfat_arch: 架构数量
  • cputype: cpu类型
  • cpusubtype: 机器标识符
  • offset: 这个架构的二进制代码在整个通用二进制文件中的offset
  • align: 对齐边界,Mac: 32位系统是12,64位系统是14, iOS: 32位系统是2,64位操作系统是3

这边我猜测可能是移动设备之前设计之初的内存很受限,因为对齐是有空间消耗的,所以对齐的单位经可能的小,而且因为PC当时机械硬盘(扇区概念)比较多,而移动设备主要是固态硬盘(并不需要针对扇区优化)。

  • reserved: 64位专用,保留字
daiyichao@daiyichaodeMacBook-Pro-2 doc % lipo -detailed_info /bin/cp
Fat header in: /bin/cp
fat_magic 0xcafebabe
nfat_arch 2
architecture x86_64
    cputype CPU_TYPE_X86_64
    cpusubtype CPU_SUBTYPE_X86_64_ALL
    capabilities 0x0
    offset 16384
    size 41712
    align 2^14 (16384)
architecture arm64e
    cputype CPU_TYPE_ARM64
    cpusubtype CPU_SUBTYPE_ARM64E
    capabilities PTR_AUTH_VERSION USERSPACE 0
    offset 65536
    size 57728
    align 2^14 (16384)

daiyichao@daiyichaodeMacBook-Pro-2 A % lipo -detailed_info  NKCoreModel
Fat header in: NKCoreModel
fat_magic 0xcafebabe
nfat_arch 4
architecture armv7
    cputype CPU_TYPE_ARM
    cpusubtype CPU_SUBTYPE_ARM_V7
    capabilities 0x0
    offset 88
    size 1353080
    align 2^2 (4)
architecture armv7s
    cputype CPU_TYPE_ARM
    cpusubtype CPU_SUBTYPE_ARM_V7S
    capabilities 0x0
    offset 1353168
    size 1354608
    align 2^2 (4)
architecture x86_64
    cputype CPU_TYPE_X86_64
    cpusubtype CPU_SUBTYPE_X86_64_ALL
    capabilities 0x0
    offset 2707776
    size 544344
    align 2^3 (8)
architecture arm64
    cputype CPU_TYPE_ARM64
    cpusubtype CPU_SUBTYPE_ARM64_ALL
    capabilities 0x0
    offset 3252120
    size 1505848
    align 2^3 (8)

我们可以看到MAC下面lipo工具读取到了2个架构:x86_64/arm64e,这两个架构是通过cputype+cpusubtype分析出来的,详情可以查看<mach-o/arch.h>文件,其实就是一些if/else/swift判断,这里就不展开了。

extern const NXArchInfo *NXGetArchInfoFromCpuType(cpu_type_t cputype,
                          cpu_subtype_t cpusubtype);

然后我们发现next arch offset != last offset + size,这里就涉及到对齐了,对齐的作用主要是就是让硬盘读取速度变快,这里也不展开了。所以真正的next arch offset = ceil(last offset + size) / align * align

mach-o格式

前面我们介绍了各个架构二进制内容怎么在文件中的排列,那么各个架构中的详细内容是怎么排列的呢?

UN*X基本上标准化了一个通用的可移植的二进制格式,这个格式的名字其实大家应该看到过很多次ELF(Executable and Library),我想看到这个全称估计大家知道他是什么意思了。OSX/iOS维护了自己的一套二进制格式: Mach-Object(简写 Mach-O)。

定义在<mach-o/load.h>

struct mach_header {
    uint32_t    magic;      /* mach magic number identifier */
    cpu_type_t  cputype;    /* cpu specifier */
    cpu_subtype_t   cpusubtype; /* machine specifier */
    uint32_t    filetype;   /* type of file */
    uint32_t    ncmds;      /* number of load commands */
    uint32_t    sizeofcmds; /* the size of all the load commands */
    uint32_t    flags;      /* flags */
};
#define MH_MAGIC    0xfeedface  /* the mach magic number */
#define MH_CIGAM    0xcefaedfe  /* NXSwapInt(MH_MAGIC) */

struct mach_header_64 {
    uint32_t    magic;      /* mach magic number identifier */
    cpu_type_t  cputype;    /* cpu specifier */
    cpu_subtype_t   cpusubtype; /* machine specifier */
    uint32_t    filetype;   /* type of file */
    uint32_t    ncmds;      /* number of load commands */
    uint32_t    sizeofcmds; /* the size of all the load commands */
    uint32_t    flags;      /* flags */
    uint32_t    reserved;   /* reserved */
};
#define MH_MAGIC_64 0xfeedfacf /* the 64-bit mach magic number */
#define MH_CIGAM_64 0xcffaedfe /* NXSwapInt(MH_MAGIC_64) */

  • magic: 魔数,0xfeedface表示32位,0xfeedfacf表示64位
  • cputype/cpusubtype: CPU类型/子类型,定义在<mach/machine.h>,和通用二进制中的定义是移植的
  • filetype: 文件类型(executable/library等)
  • ncmds/sizeofcmds:用于加载器的加载命令的条数和大小
  • flags:动态链接器的标志
  • reserved: 保留字

从上面的定义我们可以很容易的发现,同一种二进制格式可以用作多种用途(executable/library等),在<mach-o/load.h>中有定义文件类型,我们就关注一下iOS开发中的比较常用的几个文件类型吧

文件类型 用途 备注
MH_OBJECT 0x1 可以重定位的目标文件,编译器的中间产物,内核扩展文件 我们把.c文件编译之后得到的.o就是
MH_EXECUTE 0x2 可执行文件 可执行的文件,例如/usr/bin里面的文件们
MH_DYLIB 0x6 动态库 /usr/lib 中的的库文件,以及框架中的二进制文件
MH_DYLINKER 0x7 动态链接器 dyld
MH_BUNDLE 0x8 不是独立的二进制文件,包含了所有的信息,而且需要加载到其他二进制才可以执行,通过NSBundle来加载的
MH_DSYM 0x6 辅助的符号文件以及调试信息 我们的dsym文件就是
  • MH_OBJECT
daiyichao@daiyichaodeMacBook-Pro-2 x86_64 % otool -arch x86_64 -h AppDelegate.o
AppDelegate.o:
Mach header
      magic  cputype cpusubtype  caps    filetype ncmds sizeofcmds      flags
 0xfeedfacf 16777223          3  0x00           1    43       4424 0x00002000
  • NH_EXECUTE
daiyichao@daiyichaodeMacBook-Pro-2 doc % otool -arch arm64e -h /bin/cp
/bin/cp:
Mach header
      magic  cputype cpusubtype  caps    filetype ncmds sizeofcmds      flags
 0xfeedfacf 16777228          2  0x80           2    17       1544 0x00200085
  • MH_DYLIB
daiyichao@daiyichaodeMacBook-Pro-2 doc % otool -arch arm64e -h /usr/lib/libgmalloc.dylib
/usr/lib/libgmalloc.dylib:
Mach header
      magic  cputype cpusubtype  caps    filetype ncmds sizeofcmds      flags
 0xfeedfacf 16777228          2  0x80           6    17       1728 0x02100085
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342

推荐阅读更多精彩内容