基于RK3399的AI摄像头软硬件设计

随着智能电视的普及和家庭视频会议、家庭娱乐健身的需求，本文开发了一款基基于RK3399 方案的AI摄像头，通过USB 连接线直连智能电视，即可实现AI摄像头和智能电视连接，满足人们家庭视频会议、家庭娱乐健身的需求，AI 摄像头应用系统见图1。

图1 AI摄像头应用系统框图

1 整机系统方案

整体系统方案将索尼IMX335 采集图像信息输入到海思RK3399 中，RK3399 对图像进行编解码后经过USB 接口输入到电视，电视显示图像，并通过IO 口控制电机，实现AI摄像头的升降。为了防止升降电机体验效果不佳，预留反馈电路，整机系统方案见图2。

图2 整机系统方案

2 硬件系统设计

硬件主控采用RK3399 方案，传感器使用索尼IMX335，硬件系统框图见图3。

图3 硬件系统框图

RK3399 芯片是一款低功耗、高性能的处理器， 集成双核Cortex-A72+ 四核Cortex-A53 CPU， 集成ARM NEON 技术，可增强较多的多媒体应用体验。另外集成高性能Mali-T860 MP4 GPU， 嵌入式3D GPU 使RK3399 完全兼容OpenGL ES1.1/2.0/3.0/3.1、OpenCL 和DirectX11.1，并且带有MMU 的专用二维引擎将最大限度地提高显示性能并提供非常平稳的操作。RK1608 用于对MIPI CSI 信号进行DSP 加速等预处理。方案支持各主流的多媒体解码、USB3.0、SD3.0、TYPE C 信源输入；视频解码支持H.264/H.265/VP9 等，支持H.264/MVC/VP8 1080P@30HZ 视频编码，同时可支持多屏异显。

索尼传感器芯片IMX335 是一款CMOS 固态的有源像素型图像传感器。芯片内部有模拟电压、数字电压和IO电压3种类型，其中模拟电压2.9 V，数字电压1.2 V，IO电压1.8 V。它具有无污迹，低暗电流和高灵敏度等效果。IMX335 内置始终反馈电路，串行驱动电路，宽动态电路，12 位A/D 转换器。

3 软件系统设计

软件采用 DB 架构方案。业务逻辑功能代码通过媒体处理抽象层调用平台芯片相关代码, 根据编译选项编译对应平台芯片的实现。业务逻辑代码主要分为 Media，UVC, UAC，Upgrade 等模块; 使用生产者消费者模式来处理图像帧数据, 生产者与消费者之间通过帧队列进行数据交互，AI 摄像头软件框图见图4。

图4 AI摄像头软件框图

摄像头数据处理主要包括Media模块和UVC 模块。Media 模块包含YUV Service，Encode Service 和Media Manager。YUV Service: 负责从 VPSS 获取 YUV 帧数据并放到YUV 帧队列。Encode Service： 负责从 VENC 获取 H264 帧数据放到H264 帧队列。Media Manager: 负责管理 YUV Service 及 Encode Service 的创建，初始化及销毁。并给外部其他模块提供分辨率切换，图像参数设置等接口。UVC 模块包括UVC Event Service，UVC Data Service和UVC Manager。UVC Event Service: 负责从 V4L2 中获取解析 TV 端的 UVC 请求事件。比如打开关闭预览，设置分辨率等。UVC Data Service：负责从 H264 帧队列中获取帧数据，通过V4L2 接口发送给TV。UVC Manager: 负责管理 UVC Event Service及 UVC Data Service 的创建，初始化及销毁。

4 结束语

本文硬件采用RK3399 方案，软件采用 DB 架构，通过传感器采集图像，用RK3399 编解码，通过USB传输到智能电视显示。实验结果表明，本方案设计的AI 摄像头应用于家庭视频会议、家庭娱乐健身，得到消费者的一致好评。

（本文来源于《电子产品世界》杂志2023年7月期）