Windows系统上搭建Clickhouse开发环境

Windows系统上搭建Clickhouse开发环境

总体思路

微软的开发IDE是很棒的,有两种:Visual Studio 和 VS Code,一个重量级,一个轻量级。近年来VS Code越来越受欢迎,因为她的轻量级和丰富的插件,更重要的是VS Code消耗资源更少,打开大项目的时候不会崩溃。因此选用VS Code。

Clickhouse只能在Linux和MacOS上编译和运行,而开发机器是Windows 10系统,因此需要虚拟机或者WSL。WSL是Windows subsystem Linux,Windows 10原生支持,因此采用WSL。

调试用linux下最常用的GDB,在WSL环境中用GDB调试clickhouse,而开发环境运行在Windows上,这就需要远程连接GDB。

下面是具体步骤。

构建clickhouse的debug build

Clickhouse默认是通过静态链接构建出一个完整的release版的运行文件:clickhouse,大小在1G以上。这个巨大的单体release版本的可执行文件并不利于调试。为了开发和调试,我们需要symbol文件,需要把单体巨型文件拆散成一群动态链接库小文件,因此需要特殊的cmake构建参数。

执行以下步骤完成debug构建,有问题参考clickhouse官方文档 Build on Linux | ClickHouse Documentation

  1. 安装WSL
    在管理员PowerShell中运行wsl --install,有问题参考微软官方文档 安装 WSL | Microsoft Docs

  2. 安装构建工具cmake、ninja
    在WSL环境中,运行sudo apt-get install -y git cmake python ninja-build,有问题参考google。

  3. 安装clang编译器,该编译器效率比gcc据说还要好
    在WSL环境中,运行sudo bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"

  4. 下载clickhouse代码

    git clone https://github.com/ClickHouse/ClickHouse.git
    cd ClickHouse
    git submodule update --init --recursive
    
  1. 加参数编译我们需要的clickhouse的适合开发调试的版本

    export CC=clang-13
    export CXX=clang++-13
    cd ClickHouse
    mkdir build
    cd build
    cmake .. \
     -DUSE_STATIC_LIBRARIES=0 \
     -DSPLIT_SHARED_LIBRARIES=1 \
     -DCLICKHOUSE_SPLIT_BINARY=1 \
     -DCMAKE_BUILD_TYPE=Debug 
    
    ninja
    

    USE_STATIC_LIBRARIES=0 -- 不用编译成静态链接

    SPLIT_SHARED_LIBRARIES=1 -- 拆开成共享库

    CLICKHOUSE_SPLIT_BINARY=1 -- 编译的二进制文件拆开

  2. (可选)只编译clickhouse client和server

    cmake .. \
        -DCMAKE_C_COMPILER=$(which clang-13) \
        -DCMAKE_CXX_COMPILER=$(which clang++-13) \
        -DCMAKE_BUILD_TYPE=Debug \
        -DENABLE_CLICKHOUSE_ALL=OFF \
        -DENABLE_CLICKHOUSE_SERVER=ON \
        -DENABLE_CLICKHOUSE_CLIENT=ON \
        -DENABLE_LIBRARIES=OFF \
        -DUSE_UNWIND=ON \
        -DENABLE_UTILS=OFF \
        -DENABLE_TESTS=OFF \
       -DUSE_STATIC_LIBRARIES=0  \
       -DSPLIT_SHARED_LIBRARIES=1  \
       -DCLICKHOUSE_SPLIT_BINARY=1 
    
    

配置开发环境

安装VS Code

从微软官网上下载并运行VSCode,不再赘述。

安装好VS Code之后,打开VS Code安装C++插件:Microsoft C/C++。

关联WSL中的代码仓库

因为编译和运行在WSL中,开发在Windows中,要让两边同步。最好的办法就是Windows环境中VS Code所修改的代码就是WSL中编译运行的代码。好在Windows环境中可以直接通过\\wsl$去访问WSL中的文件系统,再通过Windows的把网络路径映射成盘符的功能,我们就能够像访问本地磁盘那样访问WSL中的文件系统。

image.png

这样WSL中的/home/alex/depot/ch-pro代码目录就映射成了 Z:\home\alex\depot\ch-pro 代码目录。用VS Code打开 Z:\home\alex\depot\ch-pro目录,修改其代码会直接修改WSL中的代码。

VS Code调试运行配置

在WSL环境中安装gdb,apt install gdb

重要 在VS Code中新建运行配置./.vscode/launch.json

{
    // Use IntelliSense to learn about possible attributes.
    // Hover to view descriptions of existing attributes.
    // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [

      {
        "name": "(clickhouse) 启动",
        "type": "cppdbg",
        "request": "launch",
        "program": "/home/alex/depot/ch-pro/build/programs/clickhouse-server",
        "args": [],
        "stopAtEntry": false,
        "cwd": "/home/alex/depot/ch-pro",
        "environment": [{"name": "CLICKHOUSE_WATCHDOG_ENABLE", "value":0}],
        "externalConsole": true,
        "windows": {
          "MIMode": "gdb",
          "setupCommands": [
              {
                  "description": "Enable pretty-printing for gdb",
                  "text": "-enable-pretty-printing",
                  "ignoreFailures": true
              }
          ]
      },
      "pipeTransport": {
          "pipeCwd": "",
          "pipeProgram": "C:\\Windows\\System32\\bash.exe",
          "pipeArgs": ["-c"],
          "debuggerPath": "/usr/bin/gdb"
      },
      "sourceFileMap": {
          "/mnt/c": "C:\\",
          "/usr": "Z:\\usr",
          "/home": "Z:\\home"
      }
      }
    ]
}

注意

"environment": [{"name": "CLICKHOUSE_WATCHDOG_ENABLE", "value":0}] 这行尤为重要,以为非从terminal上启动的clickhouse都会把启动进程变成一个watch dog进程,启动另外一个进程作为真正的clickhouse进程,那么调试时attach到的进程是启动进程也就是watch dog进程,无法调试真正的clickhouse代码。必须设置环境变量CLICKHOUSE_WATCHDOG_ENABLE=0来阻止clickhouse这么做。

远程启动clickhouse并调试,如图所示:

image.png

走到断点成功中断运行却提示找不到源代码文件,需要设置gdb的设置,set substitute-path <from_path> <to_path> 添加地址转换。

正常情况下,就已经可以断点调试了。

image.png

修改完代码之后,如果有文件增删,则需要重新运行cmake,如果只是修改文件,则只需要运行ninja。ninja会只编译修改过的文件。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343

推荐阅读更多精彩内容