学习目标:根据vivi驱动架构和linux-2.6.31/linux-2.6.31.14/drivers/media/video/uvc/Uvc_driver.c驱动源码,分析usb摄像头驱动程序框架;
一、摄像头拓扑结构
由数据手册USB_Video_Example 1.5和UVC 1.5 Class specification分析摄像头的拓扑结构,如下图所示:
usb摄像头功能由摄像头接口完成,每个摄像头功能包括一个 VideoControl interface (VC)和几个VideoStreaming interface (VS)。
1) CS主要用于控制,它又抽象出两个概念:unit和termiral。unit用于里面的相关控制。termiral用于内外连接。其中,unit中包括:a. Selector Unit (SU) 选择(CT (Camera Terminal) 和IT(Input Terminal))哪一路 。b. Processing Unit (PU) 用于亮度等属性参数控制。
2) VS用于传输,来读视频数据,。需要设置类型type和格式format,选择实时传输还是批量传输Bulk。
二、usb摄像头源码框架分析
在Linux内核里自带usb摄像头驱动程序,它支持uvc规格的摄像头(uvc即usb video class),进入源码程序分析。
1、进入uvc_init入口函数
--> result = usb_register(&uvc_driver.driver);
struct uvc_driver uvc_driver = { .driver = { .name = "uvcvideo", .probe = uvc_probe, .disconnect = uvc_disconnect, .suspend = uvc_suspend, .resume = uvc_resume, .reset_resume = uvc_reset_resume, .id_table = uvc_ids, .supports_autosuspend = 1, },};
注册了 uvc_driver结构体,根据.id_table匹配后,进入uvc_probe函数:
uvc_register_video(dev)-->vdev = video_device_alloc();
vdev->fops = &uvc_fops;
vdev->release = video_device_release;
video_register_device(vdev, VFL_TYPE_GRABBER, -1)
const struct v4l2_file_operations uvc_fops = { .owner = THIS_MODULE, .open = uvc_v4l2_open, .release = uvc_v4l2_release, .ioctl = uvc_v4l2_ioctl, .read = uvc_v4l2_read, .mmap = uvc_v4l2_mmap, .poll = uvc_v4l2_poll,};
由此可知,写一个USB摄像头驱动程序需要以下步骤:
1)构造一个usb_driver结构体(uvc结构体)2)设置 probe: 2.1. 分配video_device:video_device_alloc 2.2. 设置 .fops .ioctl_ops (里面需要设置11项) 如果要用内核提供的缓冲区操作函数,还需要构造一个videobuf_queue_ops 2.3. 注册: video_register_device id_table: 表示支持哪些USB设备 3)注册: usb_register2、分析UVC驱动调用过程
const struct v4l2_file_operations uvc_fops = { .owner = THIS_MODULE, .open = uvc_v4l2_open, .release = uvc_v4l2_release, .ioctl = uvc_v4l2_ioctl, .read = uvc_v4l2_read, .mmap = uvc_v4l2_mmap, .poll = uvc_v4l2_poll,};
1) open函数
uvc_v4l2_open //一系列设置
2) uvc_v4l2_ioctl函数
-->video_usercopy(file, cmd, arg, uvc_v4l2_do_ioctl);//将用户提供的参数拷贝到内核态,并调用uvc_v4l2_do_ioctl函数
-->uvc_v4l2_do_ioctl
struct video_device *vdev = video_devdata(file);//根据次设备号,找到video_device
switch (cmd) { //根据cmd执行一系列的ioctl函数
/* Query capabilities */ case VIDIOC_QUERYCAP:.......
接下来具体分析ioctl过程:
1)VIDIOC_QUERYCAP
if (video->streaming->type == V4L2_BUF_TYPE_VIDEO_CAPTURE) cap->capabilities = V4L2_CAP_VIDEO_CAPTURE | V4L2_CAP_STREAMING; else cap->capabilities = V4L2_CAP_VIDEO_OUTPUT | V4L2_CAP_STREAMING; break;
// video->streaming->type 应该是在设备被枚举时分析描述符时设置的。(对用功能拓扑的VS)
2)VIDIOC_ENUM_FMT // format数组应是在设备被枚举时设置的
format = &video->streaming->format[fmt->index];
3)VIDIOC_G_FMT
--> uvc_v4l2_get_format(video, arg); // USB摄像头支持多种格式fromat, 每种格式下有多种frame(比如分辨率)
struct uvc_format *format = video->streaming->cur_format;
struct uvc_frame *frame = video->streaming->cur_frame;4)VIDIOC_TRY_FMT
-->uvc_v4l2_try_format(video, arg, &probe, NULL, NULL);
/* Check if the hardware supports the requested format. */
/* Find the closest image size.*/找到最接近的图像格式5)VIDIOC_S_FMT // 只是把参数保存起来,还没有发给USB摄像头
-->uvc_v4l2_set_format(video, arg);
uvc_v4l2_try_format(video, fmt, &probe, &format, &frame);
memcpy(&video->streaming->ctrl, &probe, sizeof probe);
video->streaming->cur_format = format; video->streaming->cur_frame = frame;6)VIDIOC_REQBUFS
-->uvc_alloc_buffers(&video->queue, rb->count, bufsize);
unsigned int bufsize = video->streaming->ctrl.dwMaxVideoFrameSize; //bufsize已经设置并获取,vmalloc时只需传进来应用程序的rb->count数值
/* 根据rb->count来分配多少个buf*/
for (; nbuffers > 0; --nbuffers) {
mem = vmalloc_32(nbuffers * bufsize); if (mem != NULL) break; }7)VIDIOC_QUERYBUF
-->uvc_query_buffer(&video->queue, buf);
__uvc_query_buffer
memcpy(v4l2_buf, &buf->buf, sizeof *v4l2_buf); // 复制参数8)mmap //查询buf参数后使用mmap把buf映射给应用程序
uvc_v4l2_mmap
9)VIDIOC_QBUF
-->uvc_queue_buffer(&video->queue, arg);
list_add_tail(&buf->stream, &queue->mainqueue);
list_add_tail(&buf->queue, &queue->irqqueue);10)VIDIOC_STREAMON
-->uvc_video_enable(video, 1) // 把所设置的参数发给硬件,然后启动摄像头
/* Commit the streaming parameters. /* 传输
uvc_commit_video(video, &video->streaming->ctrl) //*在前面VIDIOC_S_FMT赋值的video->streaming->ctrl-->uvc_set_video_ctrl(video, probe, 0);///* 设置格式fromat, frame */
ret = __uvc_query_ctrl(video->dev,/* 哪一个USB设备 */ SET_CUR, 0, video->streaming->intfnum, /* 哪一个接口: VS */
probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size, uvc_timeout_param);注意:此处用到了__uvc_query_ctrl函数
/* *启动 Initialize isochronous/bulk URBs and allocate transfer buffers. */
uvc_init_video(video, GFP_KERNEL);
uvc_init_video_isoc(video, ep, gfp_flags);(实时传输)/uvc_init_video_bulk(video, ep, gfp_flags)(批量传输)
-->usb_alloc_urb
设置urb结构体(urb用于usb数据传输的结构体)
urb->complete = uvc_video_complete;(收到数据后此函数被调用,它又调用video->decode(urb, video, buf); ==>uvc_video_decode_isoc/uvc_video_encode_bulk => uvc_queue_next_buffer => wake_up(&buf->wait);)
-->usb_submit_urb(video->urb[i], gfp_flags)) ; /* Submit the URBs. */
11) poll --> uvc_v4l2_poll uvc_queue_poll poll_wait(file, &buf->wait, wait); // 休眠等待有数据12) VIDIOC_DQBUF //有数据时,把buf从队列中取出,并从原始队列里面删除
--> uvc_dequeue_buffer(&video->queue, arg, file->f_flags & O_NONBLOCK);
list_del(&buf->stream);
13)VIDIOC_STREAMOFF
uvc_video_enable(video, 0); //0表示关闭
uvc_uninit_video(video, 1);
--> usb_kill_urb(urb);
usb_free_urb(urb);-----以上均涉及到VS(Video Streaming Interface)接口的操作,不涉及Video Control Interface-----
下面以设置亮度过程为例,操作VC(Video Control Interface)接口(实质上是向VC发包):
ioctl: VIDIOC_S_CTRL
--->uvc_ctrl_set(video, &xctrl);//设置
uvc_ctrl_commit(video); //传送 __uvc_ctrl_commit(video, 0); uvc_ctrl_commit_entity(video->dev, entity, rollback); ret = uvc_query_ctrl(dev /* 哪一个USB设备 */, SET_CUR, ctrl->entity->id /* 哪一个unit/terminal */, dev->intfnum /* 哪一个接口: VC interface */, ctrl->info->selector, uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),ctrl->info->size);三、总结
1. UVC设备是基于2个interface: VideoControl Interface VC, VideoStreaming Interface VS 进行操作的;
2. 1) VC 用于控制属性参数,比如设置亮度。它内部有多个Unit/Terminal(在程序里Unit/Terminal都称为entity)
可以通过类似的函数来访问: ret = uvc_query_ctrl(dev /* 哪一个USB设备 */, SET_CUR, ctrl->entity->id /* 哪一个unit/terminal */, dev->intfnum /* 哪一个接口: VC interface */, ctrl->info->selector, uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT), ctrl->info->size);2) VS用于获得视频数据,也可以用来选择fromat/frame(VS可能有多种format, 一个format支持多种frame, frame用来表示分辨率等信息)
可以通过类似的函数来访问: ret = __uvc_query_ctrl(video->dev /* 哪一个USB设备 */, SET_CUR, 0, video->streaming->intfnum /* 哪一个接口: VS */, probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size, uvc_timeout_param);3. 设置FORMAT时只是简单的使用video->streaming->format[fmt->index]等数据,这些数据应是设备被枚举时设置的,也就是分析它的描述符时设置的。
4. UVC驱动的重点在于: usb摄像头描述符的分析
属性的控制: 通过VideoControl Interface(VC)来设置 格式的选择:通过VideoStreaming Interface(VS)来设置 数据的获得:通过VideoStreaming Interface(VS)的URB-->(usb设备驱动数据传输的结构体格式)来获得。
参考:百问网(韦东山视频)