目录
一、工作场景
二、问题收集
三、接口设计
四、代码实现

一、工作场景

#1.工作场景
(1)工作中大家有没有遇到这样的场景
--大数据量excel, 发送MQ, 异步解析文件, 对文件记录分批次调用接口来处理, 避免接口超时
--有的时候Job需要捞取全量数据, 为避免单次查询数据量过大, 可改用分批次查询后处理

(2)通常我们分批代码结构都是这样的
// 方式一offset: 使用pageNum++
while (true) {
    list = queryPageList(pageNum, pageSize)
    if (list.size() == 0) break;
    // list业务逻辑处理...
    pageNum++;
}

// 方式二maxId: 使用上一页最后一条数据的起始位++
while (true) {
    list = queryPageListByGreatThanMaxId(maxId)
    if (list.size() == 0) break;
    // list业务逻辑处理...
    maxId = getMaxId(list)
}

二、问题收集

#1.问题一: 流程固定, 但繁琐
繁琐: 每次都要写pageNum, maxId的赋值

#2.问题二: 死循环
漏赋值: 若漏maxId的赋值, 每次都是重复查询
死循环: 若maxId是createTime, 某种特殊情况下即使赋值也会死循环
比如pageSize = 100, createTime >= 2022-01-01 12:01:01
特别是高并发场景, 对于12:01:01 可能远远不止100条数据, 那么下次的createTime 依旧不变, 这很危险

三、接口设计

#实现功能
(1)流程精简: 实现一个工具类, 精简每次写重复繁琐代码的流程, 兼容两套方法, 只需要关注查询pageList方法 + 业务逻辑即可
(2)泛型校验: 对于第二种maxId, 需要指定一个列字段泛型传入进行强校验
(3)死循环阀值: 对于可能出现的死循环, 首次检查到超过阀值会提前返回
(4)黑名单: 传入一个查询唯一业务key, 对于第二次出现的死循环, 可设置黑名单直接拦截, 待我们数据修复好后, 同时黑名单也是可以删除的

四、代码实现

// 1.顶层接口PageQuery.java
// 2.base入参 和 响应 BasePageRequest.java BasePageResponse.java
// 3.工具类 PageQueryHelper.java
// 4.测试类 PageQueryDemo.java

/**
 * T泛型为某个id或者时间戳
 * 加一个顶层接口作类型检查
 * @param <T>
 */
public interface PageQuery<T> {
    /**
     * 发生死循环, 帮助跳出死循环的阀值
     */
    int SECURITY_THRESHOLD = 20;

}

/**
 * @author fong
 * @date 2023/3/20 - 15:31
 */
@Data
public abstract class BasePageRequest<T> implements PageQuery<T> {
    private boolean deleteBizKey = false;
    private int protectThreshold = SECURITY_THRESHOLD;
    private int protectCounter;
    private int pageNum = 1;
    private int pageSize = 10;
    private T nextPageToken;
    public int getOffSet() {
        return (pageNum - 1) * pageSize;
    }
    public void increasePageNum() {
        pageNum++;
    }
    public void increaseProtectCounter() {
        protectCounter++;
    }
    /**
     * 获取查询业务类型key, 设置该key后, 第二次死循环提前返回
     */
    protected abstract String getBizKey();
}

/**
 * @author fong
 * @date 2023/3/20 - 15:36
 */
public class PageQueryHelper {
    private static final Set<String> BLACK_ID_SET = new CopyOnWriteArraySet<>();

    public static <T> void pageQuery(Function<BasePageRequest<T>, List<? extends BasePageResponse<T>>> mapper,
                                     BasePageRequest<T> request) {
        // 删除黑名单
        if (StringUtils.isNotBlank(request.getBizKey()) && request.isDeleteBizKey()) {
            BLACK_ID_SET.remove(request.getBizKey());
            return;
        }

        // 1.黑名单
        if (StringUtils.isNotBlank(request.getBizKey()) && BLACK_ID_SET.contains(request.getBizKey())) {
            return;
        }
        // 2.业务, 满足安全threshold 且 需要查询下一页, pageSize == result.size()
        int size = 0;
        do {
            List<? extends BasePageResponse<T>> resultList = mapper.apply(request);
            if (null != resultList && (size = resultList.size()) >= request.getPageSize()) {
                BasePageResponse<T> lastestRecord = resultList.get(resultList.size() - 1);
                request.setNextPageToken(lastestRecord.getNextPageToken());
                request.increasePageNum();
            }
            request.increaseProtectCounter();
        } while (size >= request.getPageSize() && request.getProtectCounter() < request.getProtectThreshold());

        // 3.记录黑名单
        if (request.getProtectCounter() >= request.getProtectThreshold() && StringUtils.isNotBlank(request.getBizKey())) {
            System.out.println("加入黑名单: " + request.getBizKey());
            BLACK_ID_SET.add(request.getBizKey());
        }
    }
}

/**
 * @author fong
 * @date 2023/3/20 - 16:01
 */
public class PageQueryDemo {
    public static void main(String[] args) {
        MyPageRequest request = new MyPageRequest();
        request.setProductType("productId");
        List<MyPageResponse> allData = new ArrayList<>();
        PageQueryHelper.pageQuery(query -> {
            List<MyPageResponse> pageList = getRecordList(query);
            allData.addAll(pageList);
            return pageList;
        }, request);
        System.out.println("大小: " + allData.size());
    }

    private static List<MyPageResponse> getRecordList(BasePageRequest<Timestamp> request) {
        int offSet = request.getOffSet();
        int pageSize = request.getPageSize();
        if (offSet == 100) {
            // return Collections.emptyList();
            return Lists.newArrayList(
                    new MyPageResponse()
            );
        }
        return IntStream.range(offSet, offSet + pageSize)
                .mapToObj(idx -> {
                    MyPageResponse response = new MyPageResponse();
                    response.setProductType("用车");
                    response.setOrderNo("orderId" + idx);
                    response.setCreateTime(new Timestamp(System.currentTimeMillis()));
                    return response;
                }).collect(Collectors.toList());
    }
}

分页工具PageQueryHelper

分页工具PageQueryHelper

一、工作场景

二、问题收集

三、接口设计

四、代码实现