要点####
- 文件数据的读取相较数据库的存储较快
- Android系统对单个应用的内存有限制
- 数据库操作中对数据的批插入比单个插入效率更高
- 合理利用多线程能够大大提高工作效率
背景####
项目有一个需求就是将文本文件解析，然后保存到数据库中。最初的思考方式是采用读取文件一行数据(按行存储一个实体变量数据)，解析数据为实体类，然后将该实体类存储至数据库中；该方法在测试过程中有一个致命缺点：处理时间长。
分析####
将上述流程转化为比较容易理解的抽象图，如下：
文件数据保存至数据库(未优化).png
将子公司货物(单行数据)快速打包成货物(解析)并运送至交接位置处(内存)，然后交由速度较慢的运送方式将货物运送至总部(数据库)。该方式为顺序流程，当货物运送至总部后才会再次从子公司重新开始运送货物。该方式有几个缺点：
- 顺序流程增加了总时间：数据插入时间+数据的处理时间，如果采用多线程将会大幅度减少总时间
- 数据的单个插入增加了数据插入时间
优化####
通过分析将流程优化，优化后的抽象图如下：
文件数据保存至数据库(已优化).png
该流程分为两部分：
- 将子公司货物(单行数据)快速打包成货物(解析)并运送至仓库(内存队列)；
- 从仓库中取出合适数量的货物(批量数据)运送至总部(数据库)
该流程利用了多线程将流程分为两部分——数据存储与数据解析，数据存储的速度较慢，因此最后总时间的计算是以数据存储为依据，也就是数据插入时间。
另一方面，程序使用了仓库，也就是队列的方式优化了数据的交接方式，将数据存储与数据解析分离，他们只通过队列才产生耦合。但是因为Android对内存的限制，所以需要合理设计仓库的大小，以防出现内存溢出。
注意：合理的设计数据解析与数据存储流程对队列的数据读写速度。
Code####
通过上述的代码分析，应该对整体的流程有一个大概的思路，现在我们来看一下代码：
- 队列的定义与初始化：
LinkedBlockingQueue queue = new LinkedBlockingQueue();
- 主要流程代码：
try {
BufferedReader reader = new BufferedReader(new InputStreamReader(new BufferedInputStream(new FileInputStream(path))));
String line = null;
//初始化数据存储线程
WriteDB writeDB = new WriteDB();
new Thread(writeDB).start();
//读取文本文件，并解析
while ((line = reader.readLine())!=null){
//通过该函数解析数据
parase(line);
//查询队列中的数据量，当数据为8000条时暂停数据解析线程
if(queue.size() == 8000){
Thread.currentThread().sleep(2*1000);
}
}
reader.close();
//告知数据存储线程读取线程结束
writeDB.stop();
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
}
- 数据解析流程：
private void parase(String s) throws Exception{
//根据规则解析单行数据，并转化为实体
String[] list = s.split("\\|");
BagInfo bag = new BagInfo();
bag.setBagID(list[0]);
bag.setPileID(list[1]);
bag.setTrayID(list[2]);
//存入队列中
queue.put(bag);
}
- 数据存储流程：
class WriteDB implements Runnable {
private boolean isRun = true;
@Override
public void run() {
//为了批量存储设置的列表，保存从队列中读取的数据
List<BagInfo> bagInfos = new ArrayList<>();
while (isRun || !queue.isEmpty()){
Object obj = null;
try {
obj = queue.take();
} catch (InterruptedException e) {
e.printStackTrace();
}
bagInfos.add((BagInfo) obj);
//当列表中的数据量达到2000时将数据批量存储至数据库中
if(bagInfos.size() == 2000){
DBService.getService().getBagInfoDao().insertInTx(bagInfos);
bagInfos.clear();
}
}
//处理当总数据量不是2000的整数倍时所剩余的数据
if(!bagInfos.isEmpty()){
DBService.getService().getBagInfoDao().insertInTx(bagInfos);
bagInfos.clear();
}
queue = null;
}
public void stop(){
isRun =false;
}
}
后台监测####
运行程序并监测后台，发现内存基本稳定在6M左右；测试5W多条的数据量总花费的时间为68s左右。监测图如下：
后台监测图.png
