需求
在公司的研发过程中,源码以及文档是公司重要的资产。目前,很多公司都将研发进行了内网化,禁止直接与互联网进行连接。内网开发中,C++项目如何进行包管理,是一个重要问题。而在内网的包管理中,最大的问题是经常需要对其他开源项目包进行依赖,而重新构建这些包管理,对我们是不小的挑战。
实施方案
总体策略
基于现有开放的包管理中心,对包进行本地化移植。
最终的方案是这样的。首先,通过包管理器的索引文件找出所有的包、版本信息、源码信息;然后,根据解析的包信息,对包中的源码文件进行本地化下载映射;最后,将远程仓库中的包转移到本地仓库。另外一个额外的步骤,将本地外网仓库导出,修改源码下载配置,然后导入到内网中的仓库,完成公网C++包的公网转内网。
架构部署
公网仓库中心:就是常规意义的Conan-Center仓库,是Conan C++包的官方仓库中心,包含了常见的C++包。
外网中转仓库中心:主要目的是将公网仓库中心的包转移到本地,在本地完成包关系验证,确保包转移后的正确性。
内网仓库中心:部署在不能连接互联网内网中的仓库中心。
流程及问题梳理:
- 需要一个方式,能够将公网仓库中心的包转移到外网中转仓库中心;
- 需要能够获取到所有的包列表;
- 需要一个方式,能够将外网中转仓库中心的包,转移到内网仓库中心;
- 需要对包源码文件进行管理,确保内网能够下载到包源码文件;
为了解决以上问题,将任务进行如下分解:
- 获取包列表,以及包对应源码信息;
- 获取包依赖关系;
- 实现远程包源码与本地包源码的一一映射;
- 公网仓库包本地转移;
- 包源码信息修改;
- 包的内网导入;
为了实现以上任务,需要对部署图进行一定升级,需要内网提供一个源码访问的存储。升级后的部署图如下:
实现
包列表获取
github上有一个项目叫做conan-center-index,是conan-center的索引同步信息文件。理论上来说,从这个项目文件可以直接构建出本低仓库,但由于本任务设定时间紧迫(从学习conan包管理器,到完成内网转移方案实现,预期时间2天),此想法还没有完全验证。仅仅将这个索引文件导入到仓库中,并不能直接识别包信息,应该需要其他特殊处理过程。
在conan-center-index项目中,基本使用了python脚本与yml文件进行包信息描述。在实现本任务过程中,本想着基于此项目信息同步分析包依赖关系,执行py文件,获取相关信息。但存在一个问题,py文件依赖了大量conan的内部模块,不能直接运行,为解决此问题,有两个方法,1,构建这些模块的mock,使得可以启动执行;2,直接引入conan的内部模块。后期对两个方法都进行了简单的验证,第一个方法基本也是可行的,但由于是mock,不确定是否对结果有什么影响。第二个方法很难实现,主要是需要完成按conan的流程来调用执行,这个过程需要时间来分析具体代码,目前没有太多时间计划。
由于各种因素,最终只是解析conan-center-index项目中的yml文件,获取到包名称、版本、以及对应的源码文件信息。
包依赖关系获取
conan提供了一个info命令,可以提供依赖信息。命令大致如下:
conan info poco/1.9.4@ -r=conan-center -j=o.json
输出结果为o.json文件,后续对该文件进行解析。
远程包源码与本地包源码的一一映射
一个较好的做法是将文件的校验码作为本地文件存储目录名称,确保一一映射的准确。但由于时间关系,选择了另外一个相对存在一点不足的方法,将链接直接MD5作为本低存储目录名称,一般来说,这个方案风险也不大,因为源码打包路径中都带有版本信息,很少会保持目录不变,而源码内容进行变化,但也是存在这个可能的。
仓库包本地转移
通过Conan的两个命令实现,一个是从远程仓库安装包,另一个是将安装的包上传到本地仓库。由于从远程仓库安装包,对机器存储空间有要求,而测试电脑中硬盘空间也是很紧缺,另外安装也是存在一定的失败可能,所以选择不是安装包,而是查看包依赖。查看包依赖时,会将包的描述信息下载到本地,但不会尝试构建二进制信息,所以只要网络不出问题,这个操作就基本都是成功的,可行性更高。
conan info poco/1.9.4@ -r=conan-center -j=o.json
conan upload poco/1.9.4 -r=local-center
包源码信息修改
包源码信息修改,有两个方式。
第一个方式,在外网中转仓库中心,导出仓库。在导出的仓库目录中,有包的描述文件,对包描述文件进行修改,将源码获取从公网设置到内网,例如http://github.com/xxx/xxx.zip修改为ftp://172.1.2.5/packages/md5xxx/xxx.zip。
第二个方式,不对包描述信息进行修改,而是在Conan源码上进行修改。当检查获取源码信息时,将当前路径自动转换为内网路径。
两个方式都能满足目前需求,但考虑到可维护性,第二个方式会更优一些。当公网包升级时,采用方案1,需要每次都进行源码路径修改,这个操作可能被忘记。另外,内网存储包源码的路径可能也会发生变化,相对来说第二个方式会更具有可维护性。
包的内网导入
这个功能是JFrog Artifactory自带的功能。在其web管理页面中进行操作即可。
源码
https://gitee.com/imlaji/conan-info-parse
源码包含了包列表解析、包一一映射本地下载、包依赖关系解析、包公网转本地执行。