Mach-O文件及其加载过程

1. 概述

在Mac的开发中, 有没有想过当我们点击可执行文件之后,Mac究竟做了什么事情才让我们的程序运行起来?操作系统启动一个程序时, 内核会为程序创建一个进程空间,并且会为进程创建一个主线程。主线程会执行各种初始化操作,完成后才开始执行我们在程序中定义的main函数。也就是说main函数并不是主线程最开始执行的函数,在main函数之前其实还发生了很多的事情。

我们称每个映射到内存空间中的可执行文件以及动态库文件的副本为image(镜像)。系统内核所加载的可执行程序以依赖的动态库是符合苹果操作系统ABI规则的 Mach-O 格式的二进制数据,这些数据要被加载到内存中,对应的代码才能被执行以及变量才能被访问。

注意:当所有的image加载完毕后,内核会为进程创建一个主线程,并将这些image在内存中的地址作为参数压入用户态的堆栈中,把dyld中的_dyld_start函数作为主线程执行的入口函数。这时内核将控制权交给用户,系统由内核态转换为用户态。dyld来实现加载和初始化可执行文件、动态库的逻辑。

main函数之前的动作

对于应用层开发人员或者普通的用户而言, 其实无需知道的这么详细;但是对于内核开发人员而言, 如果能了解这一系列的过程, 那么将增强我们的内核的开发功底。

2. 准备工作

1)可以下载 XNU内核源代码以及dyld源代码
2)Xcode、vim 或者其他什么浏览源代码的工具,下载 MachOView 工具。

在分析加载过程的时候, 需要涉及到内核和应用层两个部分。Mac的内核经过多次的发展, 目前这部分被称作XNU。具体为什么叫这个名字, 大家可以去搜索一下。在最初开始设计XNU的时候, Apple是打算设计一个微内核, 也就是将最重要的事情放在内核里面并且内核只负责仲裁而非逻辑处理。 这个内核也就是在Mac OS 9上面使用的内核,但是这个产品是一个效率底下系统。因此当乔布斯回归以后对内核进行了大改, 在内核部分引入了FreeBSD的部分, 这个产品就是我们现在在使用的Mac OSX的内核XNU。

3. Mach-O 文件的结构

Mach-O 文件的格式

Mach-O 文件在结构上分为三部分:
1)文件头
2)命令区域
3)数据区域(包括数据, 代码等等)

3.1 文件头

Mach-O 文件Header定义包含了32bit和64bit两部分,定义如下:

// struct mach_header(_64)
//代码来自:${XNU_ROOT}/EXTERNAL_HEADER/mach-o/loader.h

struct mach_header {
  uint32_t    magic;      
  cpu_type_t  cputype;    
  cpu_subtype_t   cpusubtype; 
  uint32_t    filetype;   
  uint32_t    ncmds;      
  uint32_t    sizeofcmds; 
  uint32_t    flags;      
};

struct mach_header_64 {
  uint32_t    magic;      
  cpu_type_t  cputype;    
  cpu_subtype_t   cpusubtype; 
  uint32_t    filetype;   
  uint32_t    ncmds;      
  uint32_t    sizeofcmds; 
  uint32_t    flags;      
  uint32_t    reserved;   
};

字段的含义如下(下面是以64bit的头部说明的):

命令 含义 说明
magic 魔数字 主要用来区分当前Mach-O所支持的CPU架构(当前只有32bit和64bit)。
cputype CPU类型 主要的CPU类型(32/64bit), 以及其他的属性。
cpusubtype CPU子类型 cpu具体的类型。
filetype 文件类型 文件类型比较多,比如MH_EXECUTE代表可执行文件。
ncmds 命令个数 也就是下一个segment中得segment的数量。
sizeofcmd 第三个部分的大小 None。
flags 当前Mach-O的属性 比较常见的属性包括MH_PIE(当前文件执行ASLR)等。

3.2 命令区域

这是 Mach-O 文件中最重要的部分,我们从上面的Mach-O结构图中可以看到, 所谓的segment其实是数据区域的一个索引,每个segment都在数据区域对应了一段自己的区域,我们需要做的就是找到这些部分并执行他们。Segment的结构定义如下:

// struct load_command
// 代码来自:${XNU_ROOT}/EXTERNAL_HEADER
struct load_command {
  uint32_t cmd;       /* type of load command */
  uint32_t cmdsize;   /* total size of command in bytes */
};

其中,cmd代表当前段的类型,cmdsize当前段的大小。 下面我们列出一部分cmd命令, 以下并不是命令的全部,只是这些命令在内核加载过程中被调用。

命令 十六进制 作用
LC_SEGMENT LC_SEGMENT_64 0x01/0x19 将这些段加载到对应的进程空间上去(区分32位和64位)
LC_LOAD_DYLINKER 0x0E 加载dyld, 值得注意的是,每个Mach-O文件只能有一个段
LC_UUID 0x1B 将UUID这个值保存到执行进程的上下文中,同样每个Mach-O文件只能有一个段
LC_THREAD 0x04 开启一个Mach线程, 但是不分配栈(这个不常见)
LC_UNIXTHREAD 0x05 开启一个UNIX线程,其实最主要的用途是告诉加载器当前主函数的位置.
这条命令在10.8之后被LC_MAIN取代。
LC_MAIN 0x80000028 在10.8之后代替LC_UNIXTHREAD, 告诉加载器当前主函数的位置
LC_CODE_SIGNATURE 0x1D 这个是数字签名段
LC_ENCRYPTION_INFO 0x21 加密二进制文件, 貌似在IOS下使用的比较频繁。

下面是Mac for QQ的二进制文件格式:

上图右侧是QQ可执行文件Header的内容, 可知该文件是一个32位的Mach-O文件,文件类型是MH_EXEXUTE,即可执行文件。 这个执行文件一共有56个segment, 全部的segment的大小有6580。最后一个数据是flag, 则在加载的时候必须使用 ASLR 内存保护技术,除此之外还有一个标志位MH_NO_HEAP_EXECUTION,这个标志位是防止当前的可执行文件的数据部分有执行权限, 一旦有执行权限, 黑客可以进行所谓的“堆喷射攻击”。

我们发现当前segment中LC_SEGMENTM可以存在多个;对于LC_UUID、LC_MAIN、LC_LOAD_DYLINKER等段来说,有且仅有一个。

注:当前这个可执行文件中存在段LC_MAIN, 说明当前QQ的编译环境是Mac OSX 10.8+(LC_MAIN是在10.8的时候引入的), 因此只有10.8或者更高版本的系统才能编译出这个二进制文件。

3.3 数据区域

这部分是除了 Header 和 Commands 外所有的原始数据。Commands 是对数据区的汇总提示,而数据区则是真实的数据。

接下来先介绍几个比较重要的模块:

  • (__TEXT,__text)

这里存放的是汇编后得到的代码,每个.m文件会经过预编译->编译->汇编形成.o文件,称之为目标文件。所有的代码汇编后形成的汇编指令存储在.o文件的中,链接后,所有的.o文件会合并成一个文件,所有.o文件都会按链接顺序存放到应用文件的(__TEXT,__text)中,而(__DATA,__data)也是类似。

  • (__DATA,__data)

存储数据的 section,static 在进行非零赋值后会存储在这里,如果 static 变量没有赋值或者赋值为0,那么它会存储在(__DATA,__bss)中。

  • Symbol Table

符号表,这个是重点中的重点,符号表是将地址和符号联系起来的桥梁。符号表并不能直接存储符号,而是存储符号位于字符串表的位置

  • String Table

字符串表,所有的变量名、函数名等都以字符串的形式存储在字符串表中。

  • 动态符号表

动态符号表存储的是动态库函数位于符号表的偏移信息。(__DATA,__la_symbol_ptr) section 可以从动态符号表中获取到该section位于符号表的索引数组。

动态符号表并不存储符号信息,而是存储其位于符号表的偏移信息。Fishhook源码看起来比较复杂主要是因为hook的是动态链接的函数,索引和链接关系比较绕。但是我们自己编写的C函数不是动态链接的,而是在编译链接后代码指令就存储在文件内部的函数,因此不会用到动态符号表。接下来我们以static 函数为例,看看如何动态的查找自己编写的函数地址。

3.4 动态调用static函数

我们发现Mach-O文件中存放了所有编译过的的函数指令,static 函数也一定在其中。假设在文件中有如下函数:

示例函数

在Mach-O文件中,搜索代码段,可以发现静态函数存放在代码段中,其地址为0x1000010C0

查看函数地址

那么我们如何通过函数的名称获取到函数地址呢?所谓的函数名实际上就是函数符号,因此函数地址与函数名是强关联的。

符号表与字符串表、函数地址、section的关系

符号表其实是个结构体数组,结构体nlist_64中包括该符号位于字符串表的偏移,section索引,以及对应的地址信息等。在符号表中,我们不能直接获取到其对应的符号,在图中能看到的符号“_s_cleanup”实际上是工具帮我们获取好后展示出来的,在代码中只能拿到其位于字符串表中的索引,在_s_cleanup的符号表中其索引为0x594,也就是说字符串表+0x594即为_s_cleanup字符串符号。

字符串表的起始地址

从上图中可以看出字符串表的起始地址为0x6004,0x6004+0x594 = 0x6598。

计算符号位置获取符号

获取到字符串符号后,我们可以知道这个符号是不是我们想要的符号,如果是我们想要的符号,那么获取其函数地址。到这里,应该说通过Mach-O文件获取静态链接函数地址已经完美解决了。注意:从cpu的角度看,这个函数地址并不是真实的地址,需要计算出其相对于真实地址的偏移,再加上真实文件地址即为真实函数地址。

函数地址计算

那么如何获取函数符号表、字符串表呢?实际上segment和符号表在Commands中是顺序存放的,_mh_execute_header.ncmds可以根据索引遍历所有的Command。

找到LC_SYMTAB后,LC_SYMTAB会告诉我们符号表位于可执行文件的偏移以及字符串表位于可执行文件的偏移。地址计算后即可得到符号表和字符串表

获取符号表和字符串表

最终效果如下:

动态调用static函数演示

细心的同学可能会发现一个bug,static 函数在不同的文件中是可以同名的,参数只有一个函数符号的话如何确定是哪个文件中函数?实际上在符号表中,是可以存在相同符号的,即如果两个文件中都存在s_cleanup函数,那么符号表中会存在两个_s_cleanup,只不过他们的函数地址不同。那么如何区分同名静态函数呢?实际上在链接时,各个段可以理解为按文件的顺序存放的,也就是说符号表实际上也是存在文件顺序的。

链接过程简图

符号表的type可以区分出这个符号是否是文件相关信息,type == 0x64则是文件相关信息,因此在遍历符号表时可以判断出当前正在遍历哪个文件的符号。能判断出正在遍历哪个文件,那么bug就迎刃而解。

获取文件名

另外,如果static 函数只是在代码中实现了,但是并没有任何调用的地方,那么在编译时,编译器会将static函数优化掉,不会生成相关指令。因此符号表中不会存储static函数相关信息,也就无法实现动态调用。如果想要做到static 数据存取,那么方式与此类似,只不过获取到的地址不是函数地址,而是数据存储地址,如果static 是函数内的局部变量,那么其符号需要加上函数符号,比如:

那么它的静态变量s_iData符号为"_application:didFinishLaunchingWithOptions:.s_iData”。通过memset即可修改变量的值。

关于Mach-O还有个比较有意思的是,我们可以自定义section,将数据和函数指令放入我们指定的section中,

修改函数存放section

编译链接后,其文件中多了个(__TEXT,__mysection),并且函数还能正常运行。这为我们进行代码混淆又提供了一个手段。

自定义section

参考文章:
https://www.jianshu.com/p/5c2c7c39f6aa
https://www.bbsmax.com/A/1O5E3rQ3z7/
https://www.cnblogs.com/feng9exe/p/8260053.html

关于 dyld 的细节、FishHook ???

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,793评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,567评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,342评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,825评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,814评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,680评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,033评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,687评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,175评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,419评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,020评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2 343