前言：主要事项

1、异常数据的发现及补充、日志分类优化
2、日志数据的文件保存、滚动存储
3、日志文件上传
4、日志回捞

一、日志收集

1、日志分类

1.1、日志目标

<a name="日志类型"></a>

1.2、日志类型

2、日志等级

<a name="日志整合归类"></a>

3、日志整合归类

<img src="日志系统/devtool_log_home_page.gif" alt="devtool_log_home_page" style="zoom:50%;" />

4、日志的补充收集及其策略

要收集的数据已在上述《1.2、日志类型》中说明。

4.1、页面跳转

详见上述 《3、日志整合归类》中的"路由"

4.2、截断的收集

4.3、用户关键行为

二、日志数据的文件保存、滚动存储

1、数据的文件保存

写入xlog文件中。

2、数据的文件滚动存储

2.1、日志的过期清理

1、本地日志文件结构

-- Document
    -- log
        -- 2020-10-01
            -- xlog_2020-10-01_1.xlog
            -- xlog_2020-10-01_2.xlog
        -- 2020-10-18
            -- xlog_2020-10-18_1.xlog

2、日志保留清理的配置信息(摘自/同 下文的日志接口中的《日志文件配置信息》)

序号	说明	字段	示例
接口回值1	最多保留几个天的日志目录	maxDayDirCount	7
接口回值2	最多每天保留几个文件	maxDayFileCount	10
接口回值3	每个日志文件超过多少后创建新文件	perFileMaxMB	5

3、清理方案

清理时机：在切换前后台的时候，

• 日志配置信息的更新
• 根据最新的日志配置信息，延迟10s后(避免影响启动)，进行清理判断及清理
  • 遍历总日志目录 Document/log 下的所有日志文件夹
  • 如果天日志文件夹个数超过保留个数（避免是用保留时间，导致保留时间内只有一个日志，也被删掉），则按顺序删除早期日志
    • 遍历天日志目录 Document/log/yyyy-MM-dd 下的所有日志文件夹
    • 如果天日志文件夹个数超过保留个数（避免是用保留时间，导致保留时间内只有一个日志，也被删掉），则按顺序删除早期日志

2.2、日志文件的滚动写入

要增加的日志记录，如果添加后会超过日志文件的大小，则使用新文件写入。

细节点：
1、日志文件的大小判断，不要每次都去读取文件，而是记录住大小变化
2、日志不要有一条写一条，而是使用写入缓冲区+定时器，5s尝试写入一次

3、数据的加密、解密

1、加密：

写入日志字符串时候，对编码后的字节数据，额外增加一个三位随机值。

  /// 使用 GZip 压缩算法将字符串进行压缩，并返回压缩后的字节数据（List<int> 类型）。
  List<int> _gzipCompressString(String inputString) {
    final codec = GZipCodec();
    
    // 将输入字符串 inputString 编码为 UTF-8 格式的字节数据
    final encoded = utf8.encode(inputString);
    
    // 对编码后的字节数据进行压缩，并返回压缩后的字节数据。
    final compressedData = codec.encode(encoded);
    
    return compressedData;
  }

  /// 加密日志字符串
  String _encryptLogString(String logString) {
    final compressedData = _gzipCompressString(logString); // 压缩字符串，并返回压缩后的字节数据（List<int> 类型）
    final randomNumber = Random().nextInt(800) + 100;
    final confound = compressedData.toString().substring(0, compressedData.toString().length - 1) + ", $randomNumber]"; // 在压缩后的字符串尾部加上一个随机字符串

    return confound;
  }

2、解密：

使用python脚本对log文件进行解密

import sys
import os
import gzip

# 读取.clog文件并解析数据
def parse_clog_file(input_file):
    parsed_data = []

    with open(input_file, 'r') as clog_file:
        current_data = ""
        for line in clog_file:
            if current_data:
                parsed_data.append(current_data)
            binary_data = line[:-6] + ']' # 去除加密时候额外添加的三位随机数
            byte_data = bytes(eval(binary_data))
            decompressed_data = gzip.decompress(byte_data)
            # current_data = byte_data.decode('utf-8')
            print(decompressed_data)
            current_data = decompressed_data.decode('utf-8')

        # 添加最后一个数据条目
        if current_data:
            parsed_data.append(current_data)

    return parsed_data

# 将解析后的数据写入与输入文件同名的.log文件
def write_to_log_file(parsed_data, input_file):
    base_name = os.path.splitext(input_file)[0]
    output_file = base_name + ".log"

    with open(output_file, 'w') as log_file:
        for data in parsed_data:
            log_file.write(data + "\n")
            log_file.write("\n")
            log_file.write("=================================================================================================" + "\n")
            log_file.write("\n")

if __name__ == "__main__":
    if len(sys.argv) != 2:
        print("Usage: python script.py <clogFileName>")
        sys.exit(1)

    input_clog_file = sys.argv[1]

    # 解析.clog文件
    parsed_data = parse_clog_file(input_clog_file)

    # 将解析后的数据写入与输入文件同名的.log文件
    write_to_log_file(parsed_data, input_clog_file)

    print(f"Log data parsed from {input_clog_file} and written to {input_clog_file}.log.")

三、日志文件上传

1、日志文件命名及目录规范

以用户1000001在2020-01时候上传声音文件 beautiful_scenery.aac为例，其路径完整示例如下：

https://media.xxx.com/app1_test1/audio/1/1000001/2020-01/beautiful_scenery.aac

要上传的存储桶：

《要上传到桶的哪个相对路径下 cosFileRelativePathGetFunction 》的文件路径分批说明：

序号	层次说明	层次值算法	层次值描述
1.1	存储桶里相对路径的前缀	app标志_环境标志 eg：app1_pro、app1_test1、app1_dev1	文件区分
1.2	是否在存储桶里进行进一步路径区分(可选)	根据场景决定是否对桶进行进一步分类。 if ( mediaType == xxx ) { if(mediaScene == yyy) { } }	如 1、都是图片，但自拍图片要求独立出来 2、都是多媒体，但音视频要区分开
2.1	用户1级	int.parse(uid) % 1000; // 取余数	用户名取余，有效减少同层上文件夹个数
2.2	用户2级	uid	用户名
3	年月	DateTime.now().toString().substring(0, 7);	年-月
4	文件名	{DateTime.now().microsecondsSinceEpoch} .$fileExtensionType	文件名

附1：MediaType 媒体类型

附2：MediaScene场景 说明

四、日志接口

1、日志记录接口（区别于回捞接口，需要在回捞前就有日志信息）

1、是否记录日志的开关及其配置信息

2、不需要记录什么日志信息

3、日志文件配置信息

4、日志文件问题回滚

接口名定义：

function getLoggerConfig(userid, deviceId)

接口结果的json示例如下：

{
    "logConfig": {
        "needLog": 1,
        "ignoreLogLevel": ["Normal", "Success"],
        "ignoreLogType": ["api_buriedPoint", "buriedPoint_other"],
        "maxDayDirCount": 7,
        "maxDayFileCount": 10,
        "perFileMaxMB": 5
    },
    "logRevert": {
        "removeLogBeforeDate": "2020-12-31"
    }
}

2、日志回捞及问题回滚接口

1、日志回捞

2、日志文件问题回滚

接口名定义：

function getLoggerSalvageAndRevert(salvageUserids, salvageDeviceIds)

接口结果的json示例如下：

{
  "salvageId": "1001", 
    "salvageStartDate": "2020-01-01",
  "salvageEndDate": "2020-01-07",
    "removeLogBeforeDate": "2020-12-31"
}

3、日志文件上传到cos后同步给后台

用途：日志文件上传到cos后同步给后台，后台数据库记录每个用户，每个设备都捞到了什么数据。

接口名定义：

function addLoggerFile(userid, deviceId)

接口结果的json示例如下：

{

}

四、日志回捞

1、后台通过接口返回要回捞的信息。

2、前端用户在下次使用，收到后台信息时候，进行本地日志的上传。在腾云存储桶能收到对应日志，即代表成功。

五、方案实施

灰度方案：请参照 灰度系统 。（附：日志记录开关里目前已有灰度策略。）

目的：避免功能异常，出现集体性问题。

End