开源技术 * IBM 微讲堂:Kubeflow 系列(观看回放 | 下载讲义) 了解详情

通过 AI 对实时摄像头流和视频收集洞察

本 Code Pattern 已纳入 IBM Maximo Visual Inspection 入门学习路径

摘要

本 Code Pattern 提供了一个 Web 应用程序以用于显示实时 RTSP 摄像机流或预先录制的视频。它可以按一定的时间间隔(默认值为 1 fps)捕获这些视频流中的帧,并通过对象检测或分类模型来分析这些帧。可使用多种不同的可视化形式(例如,列表、饼图和数据表)来呈现推断结果。

概览

全球部署了数百万个安全摄像机。但是,这些摄像机捕获的大多数有用镜头都会被忽略,因为操作员必须实时监控视频源或手动筛选几个小时内的镜头来跟踪事件。

此应用程序提供了一个仪表板,以流式接收从任何连接互联网的摄像机上传输的数据,并实时检测特定对象或分类。这样,操作员只需要查看一段时间内观察到的活动的高级分析报告以及自定义的可视化结果即可。

因此,您可以快速了解趋势(例如,最常识别的对象、最繁忙的时段和日子,以及带注释的图像)以及在边界框或热图中绘制的推断结果。捕获的图像将转发到 IBM® Maximo® Visual Inspection 服务,此服务可以对图像和视频应用对象检测、图像分类和动作检测。可以将每个观察到的事件及相关元数据(例如,日期、时间、位置以及观察到的对象)一起记录在数据库中。

流程

“使用 AI 收集洞察”流程图

  1. 用户访问 Web 应用程序,并提供摄像机系统和 IBM Maximo Visual Inspection 的登录凭证。用户还会填写一张表格,在其中选择模型并将图像归类为正样本或负样本。
  2. Node.js 后端连接到 RTSP 摄像机流,并转发到前端 Web 应用程序。
  3. 当前端播放实时视频时,用户单击 Capture FrameStart Interval
  4. 捕获的帧将转发到 IBM Maximo Visual Inspection 后端进行分析。
  5. 在 Web 应用程序中呈现分析结果,并按用户定义的正负标签对结果进行分组。

操作说明

可在 README 文件中找到本 Code Pattern 的详细步骤。这些步骤将展示如何:

  1. 使用 IBM Maximo Visual Inspection 构建视觉分析模型。
  2. 设置 Web 应用程序并显示视频或实时摄像机源。
  3. 配置模型,然后选择感兴趣的对象或类。
  4. 配置帧捕获时间间隔,然后开始分析视频。

本文翻译自:Glean insights with AI on live camera streams and videos(2020-08-31)