高通msm-V4L2-Camera驱动浅析2-框架详解

系列文章

高通msm-V4L2-Camera驱动浅析1-初识
高通msm-V4L2-Camera驱动浅析2-框架详解
高通msm-V4L2-Camera驱动浅析3-session
高通msm-V4L2-Camera驱动浅析4-stream
高通msm-V4L2-Camera驱动浅析5-buffer

前言

一些推荐的文章
深入理解Android相机体系结构之八
msm8996平台的 camera 框架笔记
Camera Kernel 驱动层代码逻辑分析

上一篇文章结合V4L2框架的知识，对高通v4l2 camera驱动进行简单分析。
本文聊聊qcom的camera内核框架设计和一些相关概念。

一、Camera内核驱动框架

msm框架把Camera系统分为 msm-config 和 msm-sensor 两部分：

  • msm-config：用于创建v4l2_device，用于管理所有的子设备，同时生成/dev/video0设备节点，暴露控制接口给用户空间使用，主要包括了session/stream的创建与销毁，event事件的分发，另外，还创建了media_device，用于暴露枚举接口给用户来轮询查找整个内核的子设备。

相关源码：kernel/msm-4.9/drivers/media/platform/msm/camera_v2/msm.c

  • msm-sensor：创建一个v412_device,用于管理sensor，比如sensor 的初始化，启动流，关闭流，图像buf的管理等，同时创建video1/video2设备节点暴露接口给用户空间进行访问。

相关源码：kernel/msm-4.9/drivers/media/platform/msm/camera_v2/camera/camera.c

ps:我当前的机器有前摄和后摄，因此就有2个节点：video1，video2。

框架源码路径：kernel/msm-4.9/drivers/media/platform/msm/camera_v2/

camera/      fd/          ispif/       jpeg_dma/    Makefile     msm.c        msm_sd.h     pproc/       
common/      isp/         jpeg_10/     Kconfig      msm_buf_mgr/ msm.h        msm_vb2/     sensor/

我们主要关注以下模块：

  • msm.c： 所有qcom camera相关设备的管理,提供session、stream、event、vb2_queue等接口的创建和删除
  • camera/：用于控制sensor，提供了ioctl_ops，如启动流，qbuf和dqbuf，subscribe_event等
  • sensor/：具体的硬件驱动，例如sensor、eeprom、actuator、ois等

其他的模块，如fd-人脸识别相关，jpeg编码相关等，未来有机会再分析！

二、msm.c

kernel/msm-4.9/drivers/media/platform/msm/camera_v2/msm.c

2.1 开机时加载msm模块

static int __init msm_init(void)
{
    return platform_driver_register(&msm_driver);
}

static void __exit msm_exit(void)
{
    platform_driver_unregister(&msm_driver);
}
module_init(msm_init);
module_exit(msm_exit);
MODULE_DESCRIPTION("MSM V4L2 Camera");
MODULE_LICENSE("GPL v2");

开机时，会加载msm模块，内核匹配设备和驱动，当设备和驱动匹配时，就会调用msm_probe函数。

2.2 msm_probe

static int msm_probe(struct platform_device *pdev)
{
···省略部分源码
    //初始化media_device
    media_device_init(msm_v4l2_dev->mdev);
    strlcpy(msm_v4l2_dev->mdev->model, "msm-config",sizeof(msm_v4l2_dev->mdev->model));    
     //注册一个媒体设备,其名称(model)为:msm-config
    rc = media_device_register(msm_v4l2_dev->mdev);
    //注册一个v4l2_device实例
    rc = v4l2_device_register(&(pdev->dev), pvdev->vdev->v4l2_dev);
    //绑定fops
    pvdev->vdev->fops     = &msm_fops;
    //绑定ioctl_ops
    pvdev->vdev->ioctl_ops = &g_msm_ioctl_ops;
    //v4l2_device实例名称为"msm-config"
    strlcpy(pvdev->vdev->name, "msm-config", sizeof(pvdev->vdev->name));
   //注册一个视频设备
    rc = video_register_device(pvdev->vdev,VFL_TYPE_GRABBER, -1);
    //初始化一个会话队列
    msm_init_queue(msm_session_q);
}

  • 注册了一个媒体设备，创建/dev/media0设备节点，这里我们注册的媒体设备名称(model)为：msm_config。
    上层可以通过IOCTL指令：MEDIA_IOC_ENUM_ENTITIES，枚举所有的media设备，然后根据设备名称msm_config找到的/dev/video0节点。

  • 注册了v4l2_device实例，该结构体里面有一个链表：struct list_head subdevs，所有的子设备都会添加都该subdevs链表里面，方便维护。

  • 注册一个视频设备，创建/dev/video0设备节点，给用户空间使用，其本质上是一个字符设备，提供fops和ioctl_fops给上层使用。

  • 初始化一个session队列，所有的session都添加到这个队列中，方便管理维护。

2.3 提供fops给用户空间使用

static struct v4l2_file_operations msm_fops = {
    .owner  = THIS_MODULE,
    .open   = msm_open,
    .poll   = msm_poll,
    .release = msm_close,
    .unlocked_ioctl   = video_ioctl2,
#ifdef CONFIG_COMPAT
    .compat_ioctl32 = video_ioctl2,
#endif
};

static const struct v4l2_ioctl_ops g_msm_ioctl_ops = {
    .vidioc_subscribe_event = msm_subscribe_event,
    .vidioc_unsubscribe_event = msm_unsubscribe_event,
    .vidioc_default = msm_private_ioctl,
};

v4l2_file_operations：

  • msm_open：创建event队列
  • msm_poll：轮询event队列
  • msm_close：释放相关资源

v4l2_ioctl_ops：

  • msm_subscribe_event：订阅事件
  • msm_unsubscribe_event：注销事件

2.4 msm_open

在msm_probe中，注册了一个媒体设备/dev/media0,
上层可以通过IOCTL指令：MEDIA_IOC_ENUM_ENTITIES，枚举所有的media设备，
然后根据设备名称msm_config找到的/dev/video0节点。
具体逻辑代码如下：

vendor/qcom/proprietary/mm-camera/mm-camera2/media-controller/mct_shim_layer/mct_shim_layer.c

int mct_shimlayer_process_module_init(mm_camera_shim_ops_t
  *shim_ops_tbl)
{
    //该函数通过MEDIA_IOC_ENUM_ENTITIES指令枚举所有媒体设备，
    //然后通过媒体设备名称msm_config找到/dev/video0节点
    get_config_node_name(config_node_name);

    snprintf(dev_name, sizeof(dev_name), "/dev/%s", config_node_name);
    //用户空间调用了open方法，dev_name = "/dev/video0"
    config_fd = open(dev_name, O_RDWR | O_NONBLOCK);
}

用户空间调用open(dev_name, O_RDWR | O_NONBLOCK)打开设备节点/dev/video0,通过VFS文件系统，最终会调用到msm_open函数。

static int msm_open(struct file *filep)
{
    int rc = -1;

    /* create event queue */
    rc = v4l2_fh_open(filep);
<=========================>
        int v4l2_fh_open(struct file *filp)
        {
        struct video_device *vdev = video_devdata(filp);
        struct v4l2_fh *fh = kzalloc(sizeof(*fh), GFP_KERNEL);

        filp->private_data = fh;
        if (fh == NULL)
            return -ENOMEM;
        v4l2_fh_init(fh, vdev);//初始化v4l2_fh
        v4l2_fh_add(fh);//添加v4l2_fh到video_device
        return 0;
        }
<=========================>

    /* register msm_v4l2_pm_qos_request */
    msm_pm_qos_add_request();

    return rc;
}

msm_open中，主要完成了v4l2_fh的初始化工作，后续所有的event都由v4l2_fh管理。

v4l2_fh结构体是用来描述event队列,通常在打开设备节点时进行v4l2_fh注册。

v4l2_fh_init(fh, vdev)：初始化v4l2_fh，添加v4l2_ctrl_handler到v4l2_fh：fh->ctrl_handler = vdev->ctrl_handler;

v4l2_fh_add(fh)：添加v4l2_fh到video_device，方便核心层调用到。

关于v4l2_fh，可以参考以下文章：
linux v4l2学习之-消息机制

2.5 流的管理

  • msm_create_stream：创建流
  • msm_delete_stream：删除流
  • msm_get_stream ：获取流
  • __msm_queue_find_stream：查找流

当然还有其他流的操作，就不全部一一列出来了。

三、camera.c分析

kernel/msm-4.9/drivers/media/platform/msm/camera_v2/camera/camera.c

3.1 sensor_probe

vendor/qcom/proprietary/mm-camera/mm-camera2/media-controller/modules/sensors/module/sensor_init.c

static boolean sensor_probe(···)
{
    struct sensor_init_cfg_data          cfg;
  /* Pass slave information to kernel and probe */
  memset(&cfg, 0, sizeof(cfg));
  cfg.cfgtype = CFG_SINIT_PROBE;
  cfg.cfg.setting = slave_info;
  if (ioctl(fd, VIDIOC_MSM_SENSOR_INIT_CFG, &cfg) < 0) {
    SINFO("[%s]CFG_SINIT_PROBE failed",sensor_name);
    ret = FALSE;
    goto ERROR;
  }
}
  • 通过IOCTL命令：VIDIOC_MSM_SENSOR_INIT_CFG，调用到msm_sensor_driver_cmd(s_init, arg)，
  • 通过CFG_SINIT_PROBE调用到msm_sensor_driver_probe(···）；
  • msm_sensor_driver_probe函数会调用camera_init_v4l2进行初始化

3.2 camera_init_v4l2

int camera_init_v4l2(struct device *dev, unsigned int *session)
{
    struct msm_video_device *pvdev;
    struct v4l2_device *v4l2_dev;
    int rc = 0;
···省略部分源码
#if defined(CONFIG_MEDIA_CONTROLLER)
    //初始化media_device
    media_device_init(v4l2_dev->mdev);
    strlcpy(v4l2_dev->mdev->model, "msm_camera",
            sizeof(v4l2_dev->mdev->model));

    v4l2_dev->mdev->dev = dev;
    //注册一个媒体设备,其名称(model)为:msm_camera
    rc = media_device_register(v4l2_dev->mdev);
    rc = media_entity_pads_init(&pvdev->vdev->entity, 0, NULL);
#endif

    pvdev->vdev->v4l2_dev = v4l2_dev;
    //注册一个v4l2_device实例
    rc = v4l2_device_register(dev, pvdev->vdev->v4l2_dev);
    strlcpy(pvdev->vdev->name, "msm-sensor", sizeof(pvdev->vdev->name));

    //绑定fops
    pvdev->vdev->fops     = &camera_v4l2_fops;
    //绑定ioctl_ops
    pvdev->vdev->ioctl_ops = &camera_v4l2_ioctl_ops;
    //设置视频设备的能力
    pvdev->vdev->device_caps = V4L2_CAP_VIDEO_CAPTURE | V4L2_CAP_STREAMING;
    //注册一个视频设备，名称为:msm-sensor
    rc = video_register_device(pvdev->vdev,VFL_TYPE_GRABBER, -1);
    return rc;
}

  • 注册一个媒体设备,生成节点/dev/media1,其名称(model)为:msm-camera

  • 注册一个v4l2_device实例

  • 绑定fops和ioctl_ops

  • 注册一个视频设备，生成节点/dev/video1,其名称为:msm-sensor

3.3 提供fops给用户空间使用

static struct v4l2_file_operations camera_v4l2_fops = {
    .owner   = THIS_MODULE,
    .open   = camera_v4l2_open,
    .poll   = camera_v4l2_poll,
    .release = camera_v4l2_close,
    .unlocked_ioctl   = video_ioctl2,
#ifdef CONFIG_COMPAT
    .compat_ioctl32 = camera_v4l2_compat_ioctl,
#endif
};

static const struct v4l2_ioctl_ops camera_v4l2_ioctl_ops = {
    .vidioc_querycap = camera_v4l2_querycap,
    .vidioc_s_crop = camera_v4l2_s_crop,
    .vidioc_g_crop = camera_v4l2_g_crop,
    .vidioc_queryctrl = camera_v4l2_queryctrl,
    .vidioc_g_ctrl = camera_v4l2_g_ctrl,
    .vidioc_s_ctrl = camera_v4l2_s_ctrl,
    .vidioc_reqbufs = camera_v4l2_reqbufs,
    .vidioc_querybuf = camera_v4l2_querybuf,
    .vidioc_qbuf = camera_v4l2_qbuf,
    .vidioc_dqbuf = camera_v4l2_dqbuf,
    .vidioc_streamon =  camera_v4l2_streamon,
    .vidioc_streamoff = camera_v4l2_streamoff,
    .vidioc_g_fmt_vid_cap_mplane = camera_v4l2_g_fmt_vid_cap_mplane,
    .vidioc_s_fmt_vid_cap_mplane = camera_v4l2_s_fmt_vid_cap_mplane,
    .vidioc_try_fmt_vid_cap_mplane = camera_v4l2_try_fmt_vid_cap_mplane,

    /* Stream type-dependent parameter ioctls */
    .vidioc_g_parm = camera_v4l2_g_parm,
    .vidioc_s_parm = camera_v4l2_s_parm,

    /* event subscribe/unsubscribe */
    .vidioc_subscribe_event = camera_v4l2_subscribe_event,
    .vidioc_unsubscribe_event = camera_v4l2_unsubscribe_event,
    .vidioc_default = camera_v4l2_vidioc_private_ioctl,
};

3.4 会话的创建

应用会调用my_obj->ctrl_fd = open(dev_name, O_RDWR | O_NONBLOCK);
通过VFS文件系统，最终会调用到camera_v4l2_open。

static int camera_v4l2_open(struct file *filep)
{
...省略部分源码
    //v4l2_fh的初始化工作，后续所有的event都由v4l2_fh管理
    camera_v4l2_fh_open(filep);
    /* every stream has a vb2 queue */
    //初始化vbuffer2_queue
    rc = camera_v4l2_vb2_q_init(filep)
    if (!atomic_read(&pvdev->opened)) {
        /* create a new session when first opened */
        //创建一个会话，添加到会话队列中
        rc = msm_create_session(pvdev->vdev->num, pvdev->vdev);
    //创建一个cmd队列
        rc = msm_create_command_ack_q(pvdev->vdev->num,
            find_first_zero_bit((const unsigned long *)&opn_idx,
                MSM_CAMERA_STREAM_CNT_BITS));
    }
}
  • 初始化v4l2_fh，所有的event都由v4l2_fh管理
  • 始化vbuffer2_queue
  • 创建一个会话，添加到会话队列中
  • 创建一个cmd队列

3.5 stream的创建

static int camera_v4l2_s_parm(struct file *filep, void *fh,
    struct v4l2_streamparm *parm)
{
    int rc = 0;
    struct v4l2_event event;
  ···省略部分源码
    rc = msm_create_stream(event_data->session_id,event_data->stream_id, &sp->vb2_q);

    return rc;
}

Stay Hungry，Stay Foolish!

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 203,937评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,503评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,712评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,668评论 1赞 276
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,677评论 5赞 366
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,601评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,975评论 3赞 396
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,637评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,881评论 1赞 298
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,621评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,710评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,387评论 4赞 319
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,971评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,947评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,189评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 44,805评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,449评论 2赞 342