源码见：https://github.com/lovercode/GO_OJ.git，demo见：https://codelover.me/run.html

runner的实现

runner主要分为三部分脚本运行，运行前脚本，运行时脚本，清理脚本

• 运行前脚本

echo "before run..,user $2 run $1"
chown $2 ../$1 -R
chmod 700 ../$1 -R

此处会把运行的用户和目录给脚本，脚本需要把文件所有者改为运行的用户，保证运行的用户之间不能相互读取各自的文件数据。

• 运行时脚本

echo "c run...$1"
list=`find ./ |grep [0-9]\.in$`
for i in $list
do
    ../../process $2 ./main $i $i.out 
    res=$?
    echo $res
    if [ "$res" -gt 0 ]
        then 
            echo "run error"
            exit $res
    fi
done

运行时脚本会启动process来运行程序，主要是限制系统调用，起到监控的作用。同时会把程序输入重定向到程序，把输出重定向到文件。

• 清理脚本

echo "c clear...$1"
rm -rf ../$1
ps -o pid,user | grep $2 | awk '{print$1}' | xargs kill -9

主要是清理运行过程产生的文件，kill掉运行用户的所有进程

process的实现

process是用于监控用户程序的，主要是限制系统调用，采用黑名单方式（可以修改源码，改为白名单），使用C语言实现，采用的是seccomp实现的

#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <seccomp.h>
#include "syscallFilter.h"
#include <stdlib.h>
#include <sys/resource.h>

#define C 1
#define Cpp 2
#define Java 3
#define Bash 4
#define Php 5
#define Python 6
#define Go 7
#define Node 8


void initFilter(int type, scmp_filter_ctx* ctx){
    char **arr;

    switch (type)
    {
    case C:
        arr = C_Syscall;
        break;
    case Cpp:
        arr = Cpp_Syscall;
        break;
    case Java:
        arr = Java_Syscall;
        break;
    case Bash:
        arr = Bash_Syscall;
        break;
    case Php:
        arr = Php_Syscall;
        break;
    case Python:
        arr = Python_Syscall;
        break;
    case Go:
        arr = Go_Syscall;
        break;
    case Node:
        arr = Node_Syscall;
        break;
    default:
        return;
    }
    for(int i=0; arr[i]!=NULL; i++){
        int syscall_id = seccomp_syscall_resolve_name(arr[i]);
        // seccomp_rule_add(*ctx, SCMP_ACT_ALLOW, syscall_id,0);
        seccomp_rule_add(*ctx, SCMP_ACT_KILL, syscall_id,0);
    }
}
void setLimit(){
    struct rlimit limit;
    limit.rlim_cur=10;
}

int main(int argc, char* argv[]) {
   
    int type=-1;
    char file_name[30];
    char *child_argv[10];
    char *env[]={NULL};
    strcpy(file_name,argv[2]);
    type = atoi(argv[1]);
    scmp_filter_ctx ctx;

    // ctx = seccomp_init(SCMP_ACT_KILL);
    ctx = seccomp_init(SCMP_ACT_ALLOW);
    freopen("error.out", "a+", stderr);
    
   
    switch (type)       
    {
    case C:
    case Go:
    case Cpp:
    {
        seccomp_rule_add(ctx, SCMP_ACT_KILL, SCMP_SYS(execve), 1,
                        SCMP_A0(SCMP_CMP_NE, file_name));
        freopen(argv[3], "r", stdin);   

        freopen(argv[4], "w", stdout);

        initFilter(type, &ctx);
        seccomp_load(ctx);
        
        if(execl(file_name, file_name, (char *) NULL)!=0){
            return 1;
        }
    }
        
        break;
    case Bash:
        freopen(argv[4], "r", stdin);
        freopen(argv[5], "w", stdout);
        initFilter(type, &ctx);
        seccomp_load(ctx);
        execl(file_name, file_name, argv[3],(char *) NULL);
        break;
    case Java:
    case Python:
    case Node:
    case Php:
        seccomp_rule_add(ctx, SCMP_ACT_KILL, SCMP_SYS(execve), 1,
                        SCMP_A0(SCMP_CMP_NE, file_name));
        freopen(argv[4], "r", stdin);
        freopen(argv[5], "w", stdout);
        initFilter(type, &ctx);
        seccomp_load(ctx);
        execl(file_name, file_name, argv[3],(char *) NULL);

        break;

    default:
        break;
    }
    
    return 0;
}

• 系统调用黑名单
  目前黑名单配置比较简单，需要自己添加并编译
  gcc -o process main.c -lseccomp

#include <syscall.h>

// 系统调用黑名单
// "brk","access","openat","fstat","mmap","close","read","mprotect","arch_prctl",
// "mprotect","munmap","write","set_tid_address",
// "ioctl","writev","exit_group","_exit",

char *C_Syscall[]={
      "fork",
      NULL
};
char *Cpp_Syscall[]={
      "fork",
      NULL
};
char *Java_Syscall[]={
      NULL
};
char *Bash_Syscall[]={
      NULL
};
char *Php_Syscall[]={
      NULL
};
char *Python_Syscall[]={
      NULL
};
char *Go_Syscall[]={
      NULL
};
char *Node_Syscall[]={
      NULL
};

user轮转运行机制

为了保证用户之间的文件数据不能相互读取（用户采用socket等通信，可以采用黑名单限制系统调用），采用了user轮转运行程序的模式，主要实现是所有用户都在队列中，运行时，先获取用户，再运行程序，运行完再入队

UserQueue.png