Android的两种数据存储方式分析(二)

二、SQLiteDatabase

做移动应用的人,应该没有人不知道SQLite的吧,但SQLite与其它的关系型数据库有多大区别?Android是怎么使用和操作SQLite的?SQLite的性能怎么样?平时困扰我们的各种数据库异常都是怎么会事儿?有没有什么解决办法?带着这些问题,我们来深入学习一下Android中的SQLite吧!

1、SQLite的优势,Android为什么要选择SQLite

(1)SQLite是一个单进程的数据库(和应用程序运行在一个进程中),不分Server/Client。

(2)所有数据保存在一个文件中(transaction操作过程中会有一些事务记录文件),跨平台。

(3)免安装直接使用。

(4)驱动引擎包很小,500K,去掉一些不常用的功能,可以缩到300K。

(5)资源占用非常少,可以运行在100K内存的设备上。

(6)在读写效率、消耗总量、延迟时间和整体简单性上具有的优越性

(7)完全免费,商用也免费;收费版有加密的功能。

它从设计开始就是为嵌入式设备服务的,所以很适合手机,它不像其它的数据库,启动后会有一个Server的进程,访问时再起一个客户端,通过IPC进行通信。实际上SQLite现在的性能已经很不错了,有不少小的网站也在用它,SQLite的官网上说,它可以支持一天10~30W的访问量。

2、SQLite的数据类型

SQLite支持的数据类型比别的数据库要少很多;SQLite的数据存储是动态数据类型的。

SQLite数据库只支持五种数据类型,基本已经抽象到极高的层次了,而实际上我们只用到4种:

SQlite的五种数据类型

Null这种类型表示一个空值 ;Integer表示数学上的整数;Real表示数学上的小数;Text表示文本,计算机中叫字符串;Blob表示二进制;仔细想想,这几种值的确已经涵盖了平常我们用到的各有种情况。如果真想再抽象,blob可以表示一切啦,计算机里一切都是byte嘛。

再说说SQLite的动态数据类型,或者也可以叫弱数据类型:SQLite定义的表中的每一列是可以存储非指定的类型的数据的,比如我们的表定义如下:

一个Sqlite的表定义

如果我们在Android中使用:

contentValue.put("group_name","group_name");
contentValue.put("group_name", new byte[]{1,2 3});
contentValue.put("group_name", 123);

在做插入或修改操作时,都是可以执行成功的,看起来GROUP_NAME的类型约束TEXT根本就不生效,实际上,我把这那个类型去掉:

无类型定义的表创建语句

SQLite照样能把这个张表创建出来,可见对于SQLite而言,类型根本不是个必要条件,任何一列都可以存不同类型的数据,这也是SQLite区别于其它关系型数据库的一个重要地方。

我们在平时使用时可能也有发现另一种现象,我存入的是一个String="123",但在cursor.getInt()时,竟然真的能得到int = 123,而你在使用cursor.getType(columnIndex)时获取到的对应字段的类型又的确是Text的,太混乱了。

另外,我们也注意到Cursor提供的方法,比如对于整数,它提供了以下方法:

getInt(int columnIndex)
getLong(int columnIndex)
getShort(int columnIndex)

而SQLite只有INTEGER这一种类型呀,这怎么对应起来的呢?

这是不是说,SQLite根本没有数据类型可言?或者SQLite根本就不需要数据类型?

答案是NO,SQLite从来都没有改变他自己定义的数据类型,他内部仍然存储着五种数据类型,他做的仅仅是列内数据动态而已,其它的工作都是Android自己做的,我们来看看Cursor的代码,先看getshort和getInt:(源代码在:CursorWindow.java)

Cursor的getShort和getInt

太暴力了,直接从long转过来,也不必数据丢失。再看同学暴力的getFloat和getDouble:

getFloat

从这里可以看出,SQLite内部的确只存储基本数据类型Integer和Real,对应于Java就是最大字节长度的long和double,而使用时直接强转,风险由RD自己承担,所以我们在写程序时对用哪种get要自己小心,保证你存的是什么类型的数就用什么来取,如果真的担心,那就直接用getLong和getDouble吧,它们不会丢失数据。

好,我们再来看第二个问题,为什么存入一种类型,可以用另一种类型来get,还是直接上个代码,从上面的getDouble代码来看,真正获取数据是用JNI实现的,我们先来看nativeGetDouble:(源代码在:android_database_CursorWindow.cpp)

JNI中getDouble

从上面代码可以看出,SQLite内部还是有类型的,只不过Android为了大家使用方便,对每种类型做了转换,如果存的是String,它会用strtod方法转换一下(string to double),这个方法并不是所有string都能转过来的,如果不是一个小数形式的,它会返回0.0的;再看最后一个红框,如果你存入的是blob二进制,它就无能为力啦,给你抛个异常。

getLong和getDouble是类似的,我们再来看看getString的实现:

nativeGetString

注意红框部分,String使用utf16的形式;数向串转换使用的是sprintf;string跟blob类型也是不兼容的,也会出异常。我们再来看看另一个让人疑惑的地方,nativeGetBlog:

nativeGetBlob

疑惑就是string不兼容blob,但blob可不管你,string它照样按字节数组给读出来,可能blob是更加底层的形态吧;便我们往下面两个红框看,blob又不兼容integer和real。

总结一下吧:

(1)SQLite的内部设计是每一列内都可以存放不同类型的数据,但我们建议大家还是按强类型的关系型数据库来,显式定义列类型,同时列中的确存这种类型的数据,这样可以增加代码的可读性,又能减少潜在和隐藏bug的出现;

(2)尽管cursor的get可以获取一个非它存入的类型,但这个的正确性需要程序员自己来保证,而且一不小心还可能被它抛出异常,所以,建议同上,我们按强类型库的要求来做,存什么就取什么吧。

3、SQLite的线程模式

Sqlite是怎么处理多线程情况的?

实际上,SQLite的引擎对多线程做了处理的,要注意,这是sqlite层做的处理,指的是,打开一个库后,多个线程去处理这个库,而不是多个线程各自去打开这个库。我们看看SQLite是的各种线程模式:

SQLite的线程模式

(1)单线程模式,实际指的是数据库引擎不加锁,如果调用者使用了多线程,那调用都自己来保证同步。这种模式下,数据库内部的操作效率是最高的。

(2)多线程模式,这种模式下,可以多线程操作数据库,但有一个要求,一个DBconnection只能被一个线程使用,这一点也要求调用者自己来保证。

(3)顺序模式,此模式安全性最高,随便操作数据库,当然,效率也最低。

那Android使用的是哪种模式呢,我们看一下代码:(android_database_SQLiteGlobal.cpp)

android 6.0上SQLite初始化的代码

从上面代码我们也可以看出,在Android6.0上,使用的是多线程模式。

我们如果注意到SQLiteDatabase的接口,会发现这样一个方法:

SQLiteDatabase的一lock方法

可以看到,SQLiteDatabase提供了一个锁来控制线程同步,但这个方法在api level 16就不建议用了,这又是为什么呢?我们去看看ApiLevel 16以前的SQLite配置吧。

在jni中找了所有的database*.cpp文件,都没有找到这个配置,再回去看看SQLite配置多线程模式的方法:

SQLite的线程模式配置方法

从这几个配置方法和默认配置方法,我猜测4.0及以前版本的SQLite用的不是默认的serialized模式,因为用这个模式Android就不用自己再加锁了;那它应该用的是编译时设置线程模式,而且是单线程模式。

那Android4.0以上是怎么实现每个connection只被一个线程操作的呢?我们接下来分析Android操作SQLiteDatabase的方法就能发现了。(4.0及以下使用的是锁的方式,我们就不细看了)

4、Android是如何实现操作SQLiteDatabase的

Android操作数据库的流程比较简单,牵扯到的类其实不多,一个简单的图就可以看清楚:

Sqlite操作流程

一句话描述整个流程就是:openHelper打开数据库后,构建DBConnection,使用sqliteQuery和SqliteStatement操作数据库。是不是很简单,但它里面实际上还是有很多其它代码逻辑,我们主要从三个方面分析:openDatabase、session和两个操作方法query+statement。

(1)Open Database

我们在使用db时,先要通过SQLiteOpenHelper获取到SQLiteDatabase,一般获取方法有两种:getReadableDatabase和getWritableDatabase,猛一看,这两个方法还挺有迷惑性,好像一个是得到一个read only的库,一个用于得到一个可写的库,我们看看代码中是这样的吗?

打开SQLiteDatabase

先注意第一个红框,这两个方法都是加了synchronized的,不会因为线程问题创建出两个SQLiteDatabase;第二、三个红框 可以看出,他们都是调用了getDatabaseLocked方法,只是参数不一样,参数表明了打开哪种db;第四个红框里的条件可以发现,只要是非writable,当前缓存的db就可能返回了,或者当前数据是writable的,也可以返回了,所以,获取readable的数据库并不一定返回的是只读的哦,下面还有更吐血的。

打开Sqlite数据库

第一个红框比较好理解,要打开一个writable的,当前是readOnly的就重新打开一次;看第二个红框,这个值是debug用的,真实环境一直是false,所以这个if是不会走的;看第三个红框,我们发现打开数据库时,根本不管是要readable还是writable,统一打开Writable的,那还要传进来的writable参数干什么呢?再往下看,第五个红框,在打开readable失败时,这时才去判断,如果我们计划打开的是readable的,它才去尝试用readable去打开。

结论:不管getReadableDatabase还是getWritableDatabase,OpenHelper都是优先去打开writable的,对于getReadableDatabase的作用,只是在打开writable失败时(比如磁盘满了),才会用第二案,尝试用readable打开一下。

打开SQLiteDatabase

接下来就比较简单了,同步的把各种on*方法回调走一遍,注意,这里的调用是同步依次调用,不会有什么线程问题的。

(2)SQLiteSession

SQLiteDatabase在操作数据库时,都要获取到一个session后才能开始操作,从session这个单词我们看以看出,它就像一个client一样。

transaction,query,statement都是要先获取一个session

从这几个方法可以看出,数据库的操作都是要先获取到session才可以操作,我们看看session定义的地方。

SQLiteDatabase中的SQLiteSession

我们可以看到,Session是用threadLocal保存的,SQLiteDatabase正是通过ThreadLocal来保证了每个线程拿到的Session唯一,线程结束了,它也就被释放了。每个session中有一个dbconnection,此时,andriod已经做到了每个connection只属于一个线程,符合SQLite线程模式Multi-Thread的要求。

SQLiteSession的类注释写了好多内容,对我们理解数据库操作非常有帮助,(我使用Google翻译了一下,翻译的很难懂,还是直接看英文看的更加明白):

sqliteSession说明

database只能用session访问数据库;多个readonly操作可以并行执行,写操作只能串行;session不是线程安全的,DB通过ThreadLocal来保证安全;多线程同时操作connection,有可能造成死锁。

sqliteSession说明

transaction有两种,隐式和显式;平时的任何直接操作都会起一个隐式的;只有调用beginTransaction,才发起一个显式的transaction;transaction是可以嵌套的,嵌套内的任何一个没有succesfull,最外层的都会回滚;如果一个transaction执行时间太长,可以通过yieldTransaction来让出一段时间数据库操作,但让出这前的提交内容会被commit,且不会回滚(比较鸡肋)。

显示transaction用法

显式的transaction必须这样用,try + finaly,像lock的用法一样,否则会再现死锁的情况。

connection和responsiveness

一个数据库的connection是有限的,多线程并发比较高时,一些sessoin在获取connection是要等待的;Android做了一个connection的pool来提高效率,实际上这个pool的max size很小的(系统配置),也就2~5个的样子;

为了提升数据库操作响应速度,一定要减少transaction执行时间,特别是writable的,它们要串行执行;为增加响应速度和流畅性,有几个需要注意的点:

[1]不要在主线程操作数据库;
[2]保持transaction时间尽可能短;
[3]简单的查询条件要比复杂查询条件的速度快的多;
[4]表内数据量的大小是非常影响查询速度的,100行的表跟10000行的表完全不是一个速度级的。

(3)关于query和statement就不细讲了,我们只要理解两点:

[1]所有的query操作,包括rawQuery,最终都是组成一个SQLiteQuery对象来执行;
[2]所有的增、删、改操作,包括executeSQL,最终都是组成一个SQLiteStatement对象来执行;

具体代码大家可以从SQLiteDatabase中相关方法跟下去看看:
https://android.googlesource.com/platform/frameworks/base/+/android-6.0.1_r77/core/java/android/database/sqlite/

5、SQLite的读写性能和内存占用情况

先说读写性能,我自己做的测试,一般的手机
query100条以内:1ms
query500条以内:<10ms
query1000条:>10ms

插件操作:
Insert一条记录:20ms

从上面的数据可以看出,正常情况下查询少量数据是非常快的,这里说的是正常情况,所以,如果我们只是查很少量的数据,有时可以放在主线程操作,但是不建议,个别手机上还是有可能anr;

修改操作很快,必须放在工作线程完成。

关于内存占用情况,我测试打开一个库,建立一个connection,正常情况下一个connection会占用2K左右的内存,而库的主要内存就在这里,看connectionPool的大小了。
所以,对于数据库内存方面的建议是:如果这个库要经常操作,可以不用关,占用内容并不多,因为再打开一次开销还是挺大的(50~100ms);如果不常用的数据库,还是及时关闭吧。

6、开发中如何正确的使用SQLite

关于使用数据库的建议:

(1)保证sqliteOpenHelper单例,或者全局唯一,不要让一个库在一个进程中同时存在多个OpenHelper;

(2)不要在多个进程中操作同一个库,如果有多进程的情况,使用contentProvider来操作库吧,各进程都通过contentProvider来获取数据;

(3)数据库是否需要关闭根据业务情况来,它占用的内存其实不多。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,311评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,339评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,671评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,252评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,253评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,031评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,340评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,973评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,466评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,937评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,039评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,701评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,254评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,259评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,485评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,497评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,786评论 2 345

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,506评论 25 707
  • 作为一个完成的应用程序,数据存储操作是必不可少的。因此,Android系统一共提供了四种数据存储方式。分别是:Sh...
    AiPuff阅读 542评论 0 0
  • 惊蛰天气,风雨如晦。 粉桃玉李纷繁,与豆蔻白芷一道提前绽开了美的盛宴。 山村小楼一夜春雨。梦里都是马尾松翻涌的波...
    疏蝉阅读 430评论 0 2
  • 短短三日,北京之行结束。伴着脚板的酸痛和游玩的余兴未尽,决定记录这次旅行。 前言 两个人,来返火车。看似很辛苦,却...
    c28369096728阅读 288评论 0 0
  • 关于选择,首先要了解一个概念“奥卡姆剃刀”。维基百科的解释有:切勿浪费较多的东西,去做用较少的东西同样可以做好的事...
    雷哥复利笔记阅读 323评论 1 1