Android的输入法系统框架原理

[TOC]

概述

image.png

我们从以下几个点看这张图:

  • 两个过程:
    • 按键消息,由客户端进程接收,如果客户端进程判断当前有输入法窗口,则需要跨进程转交给InputMethod进程
    • 触屏消息(触摸在输入法窗口中),由输入法处理,结束后把结果跨进程提交给客户端进程
  • 四个binder:
    • IInputContext:负责InputMethod进程和应用进程的编辑框的通信,如上屏、查询光标前后字符等
    • IInputMethodClient:IMMS使用该接口查找和IMS对应的客户端应用进程,并通知应用进程绑定/解绑输入法。
    • IInputMethodSession:定义了客户端可以调用输入法的相关方法,如updateCursor, finishInput等
    • IInputMethod:负责IMS和IMMS的通信,IMMS通知IMS进行startInput,bindInput等生命周期操作。

各个Binder的创建过程

Binder1: InputConnection

这个binder是编辑框做Server端,输入法进程做Client端,主要作用是负责InputMethod进程和应用进程的编辑框的通信,如上屏、查询光标前后字符等。下面一张图显示的是InputConnection模块的类图。IInputContext.aidl表征IMS进程和ClientApp进程的通信协议,两边的实现类分别是IInputConnectionWrapper(Server)和InputConnectionWrapper(Client);另一方面,两者都会在内部持有一个InputConnection对象,因此我们也使用InputConnection这个接口来表征两者的通信。

InputConnection结构图

每个应用程序进程都运行着对应的InputMethodMananger(IMM),IMM负责应用进程和IMMS的通信。应用程序和IMS进程的InputConnection连接正是借助于IMM和IMMS,在应用程序的窗口获得焦点时建立的。入口在InputMethodManager.startInputInner()中:

// InputMethodManager.startInputInner(这个方法是当前应用程序的窗口的focus状态改变的时候会调用)
boolean startInputInner(IBinder windowGainingFocus, int controlFlags, int softInputMode, int windowFlags) {
    view = mServedView;
    ...
    ...
    InputConnection ic = view.onCreateInputConnection(tba); // 回调当前焦点View的方法来创建inputConnection

    synchronized (mH) {
        ...
        ControlledInputConnectionWrapper servedContext;
        if (ic != null) {
            ...
            servedContext = new ControlledInputConnectionWrapper(vh.getLooper(), ic, this); // 用这个InputConnection创建wrapper
        } else {
            servedContext = null;
        }

        try {
            if (DEBUG) Log.v(TAG, "START INPUT: " + view + " ic="
                    + ic + " tba=" + tba + " controlFlags=#"
                    + Integer.toHexString(controlFlags));
            InputBindResult res;
            if (windowGainingFocus != null) {
                res = mService.windowGainedFocus(mClient, windowGainingFocus,
                        controlFlags, softInputMode, windowFlags,
                        tba, servedContext); // 这个方法更新IMMS中关于焦点窗口的一些信息,如果需要的话,会启动输入法,所以这个wrapper要传进去
            } else {
                res = mService.startInput(mClient,
                        servedContext, tba, controlFlags); // 调用IMMS的startInput方法,将wrapper对象传过去**
            }
            ...
        } catch (RemoteException e) {
            ...
        }
    }

    return true;
}

BINDER2: InputMethodClient

IMMS查找和IMS对应的客户端应用进程,并负责通知应用进程绑定/解绑输入法。

oneway interface IInputMethodClient {
    void setUsingInputMethod(boolean state);
    void onBindMethod(in InputBindResult res);
    // unbindReason corresponds to InputMethodClient.UnbindReason.
    void onUnbindMethod(int sequence, int unbindReason);
    void setActive(boolean active, boolean fullscreen);
    void setUserActionNotificationSequenceNumber(int sequenceNumber);
    void reportFullscreenMode(boolean fullscreen);
}

类图如下:


Paste_Image.png

根据图中的示意,这个binder其实相当于一个媒介binder。其中,服务端对象mClient会跟随IMM的创建而创建。而客户端的对象其实在IMMS的一个map中。其实当系统认为一个客户进程(应用程序)如果有可能会需要使用输入法,就会把它注册到IMMS中,以便后续谁需要输入法服务的时候,IMMS可以找到对应的客户进程,那么什么时候它可能会使用输入法呢?当然是它展现窗口的时候了。所以从这个角度来说,就好理解为什么注册时机会是这个应用程序向WMS申请窗口的时候了。

Binder3:InputMethodSession

这个binder其实定义了客户端可以调用输入法的相关方法。先大概看看接口方法:

interface IInputMethodSession {
  void finishInput();
  void updateExtractedText(int token, in ExtractedText text);
  void updateSelection(int oldSelStart, int oldSelEnd, int newSelStart, int newSelEnd, int candidatesStart, int candidatesEnd);
  void viewClicked(boolean focusChanged);
  void updateCursor(in Rect newCursor);
  void displayCompletions(in CompletionInfo[] completions);
  void appPrivateCommand(String action, in Bundle data);
  void toggleSoftInput(int showFlags, int hideFlags);
  void finishSession();
  void updateCursorAnchorInfo(in CursorAnchorInfo cursorAnchorInfo);
}

然后看一下服务端的类图:

Paste_Image.png

我们主要先关心一下这个binder的服务端(在IMS中)是何时创建的,又是如何把客户端binder传给客户应用程序的。
这个binder其实对应于一个客户端应用进程,所以当有一个客户端应用程序接入的时候创建,创建以后又要把客户端binder传过去。不过这个交互的过程需要IMMS作为媒介,而和IMMS交互的过程中又牵涉到InputMethod这个接口。
大概的意思是,IMMS先调用bindService启动IMS,然后IMS会返回一个Binder给IMMS。然后有了这个binder,IMMS就会在需要的时候,调用IMS的createSession创建这个SessionBinder,然后传给客户端进程。

Binder4: IInputMethod

IInputMethod这个binder是IMS和IMMS交互用的。先看一下接口方法:

interface IInputMethod {
  void attachToken(IBinder token);
  void bindInput(in InputBinding binding);
  void unbindInput();
  void startInput(in IInputContext inputContext, in EditorInfo attribute);
  void restartInput(in IInputContext inputContext, in EditorInfo attribute);
  void createSession(in InputChannel channel, IInputSessionCallback callback);
  void setSessionEnabled(IInputMethodSession session, boolean enabled);
  void revokeSession(IInputMethodSession session);
  void showSoftInput(int flags, in ResultReceiver resultReceiver);
  void hideSoftInput(int flags, in ResultReceiver resultReceiver);
  void changeInputMethodSubtype(in InputMethodSubtype subtype);
}
Paste_Image.png

这个binder其实是随着输入法启动,就一直不会变化的(也就是和IMS是拥有同一个生命周期的),所以创建一次就不用再创建了。创建时机自然是IMMS启动IMS的时候(bindService)。

输入法主要操作过程

总体过程

Paste_Image.png

启动输入法

从客户端应用程序的角度来说,它一般是不自己启动输入法的(只有两种开放的方法,即IMM.showSoftInput/hideSoftInput),大多数情况下输入法是系统自动启动的。启动时机,之前也提到,和窗口有关。

编辑框获得Focus后的处理流程

显示输入法

一般来讲,editText被点击自动获取焦点之后,会调用IMM的showSoftInput,然后转向IMMS的showSoftInput。再然后需要让IMS去显示输入法,这个过程大概是下面这个样子的:

IMS和IMMS模块的通信过程

输入法窗口内部显示过程

IMS.showWindow的过程:

// InputMethodService.InputMethodImpl 
public void showSoftInput(int flags, ResultReceiver resultReceiver) {
    boolean wasVis = isInputViewShown();
    mShowInputFlags = 0;
    if (onShowInputRequested(flags, false)) { // 这个方法内部会调用onEvaluateInputViewShown
        try {
            showWindow(true); // 重点在这里
        } catch (BadTokenException e) {
            mWindowVisible = false;
            mWindowAdded = false;
        }
    }
    clearInsetOfPreviousIme();
    // If user uses hard keyboard, IME button should always be shown.
    boolean showing = isInputViewShown();
    mImm.setImeWindowStatus(mToken, IME_ACTIVE | (showing ? IME_VISIBLE : 0),
            mBackDisposition);
    if (resultReceiver != null) { // 将此次showWindow的结果状态返回回去:Result_shown/.../...
        resultReceiver.send(wasVis != isInputViewShown()
                ? InputMethodManager.RESULT_SHOWN
                : (wasVis ? InputMethodManager.RESULT_UNCHANGED_SHOWN
                        : InputMethodManager.RESULT_UNCHANGED_HIDDEN), null);
    }
}

// InputMethodService
public void showWindow(boolean showInput) {
    if (mInShowWindow) {   // 正在显示窗口,直接返回
        return;
    }

    try {
        mWindowWasVisible = mWindowVisible;
        mInShowWindow = true;
        showWindowInner(showInput); // 显示窗口
    } finally {
        mWindowWasVisible = true;
        mInShowWindow = false;
    }
}

void showWindowInner(boolean showInput) {
    boolean doShowInput = false;
    final int previousImeWindowStatus =
            (mWindowVisible ? IME_ACTIVE : 0) | (isInputViewShown() ? IME_VISIBLE : 0);
    mWindowVisible = true;
    if (!mShowInputRequested) {
        if (mInputStarted) {
            if (showInput) {
                doShowInput = true;
                mShowInputRequested = true;
            }
        }
    } else {
        showInput = true;
    }

    initialize(); // 这里面有个标志判断是否要进行onInitializeInterface回调
    updateFullscreenMode();
    updateInputViewShown();

    if (!mWindowAdded || !mWindowCreated) {
        mWindowAdded = true;
        mWindowCreated = true;
        initialize();
        View v = onCreateCandidatesView();
        if (v != null) {
            setCandidatesView(v);
        }
    }
    if (mShowInputRequested) {
        if (!mInputViewStarted) {
            mInputViewStarted = true;
            onStartInputView(mInputEditorInfo, false); // 回调onStartInputView
        }
    } else if (!mCandidatesViewStarted) {
        mCandidatesViewStarted = true;
        onStartCandidatesView(mInputEditorInfo, false);
    }

    if (doShowInput) {
        startExtractingText(false);
    }

    final int nextImeWindowStatus = IME_ACTIVE | (isInputViewShown() ? IME_VISIBLE : 0);
    if (previousImeWindowStatus != nextImeWindowStatus) {
        mImm.setImeWindowStatus(mToken, nextImeWindowStatus, mBackDisposition);
    }
    if ((previousImeWindowStatus & IME_ACTIVE) == 0) {
        onWindowShown();
        mWindow.show();
        mShouldClearInsetOfPreviousIme = false;
    }
}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容