使用Jetson Nano和树莓派相机实现视频流

了解如何用树莓派相机和Jetson Nano使用Flask框架实时视频流!

Jetson Nano是一个边缘计算平台，适合低功耗、不受监控和独立使用。它非常适合在没有显示器或键盘等外设连接的情况下使用。

本文展示了如何从树莓派(Raspberry Pi)摄像机实时传输视频到web浏览器，并在连接到同一网络的任何其他设备上访问该视频流。

1.先决条件

Jetson Nano开发工具包
Raspberry Pi Camera v2相机
开发者套件的电源

一切都设置好之后，我们创建一个简单的Python应用程序，它使用OpenCV从摄像机捕获视频，调整每一帧的大小，并使用Python Flask框架将其传输到HTML网页。

2. Flask

Python有几个用于创建可靠和高性能web应用程序的web开发框架。Django、Flask和Pyramid是最常见的框架。

Flask是一个微框架，不需要外部库或工具。它比Django更灵活，并且允许用户包含不同的插件和或扩展。它的数据抽象层或数据验证层可以在其他框架中找到。用户可以为身份验证、数据格式验证、SQL管理、请求处理和用户权限部署第三方扩展。

在Jetson Nano上安装Falsk

pip3 install flask

3.简单的视频流到Web浏览器应用程序

Jetson Nano板使用GStreamer管道来处理媒体应用程序。GStreamer管道利用appsink接收器插件来访问原始缓冲区数据。

当用户发送kill命令(Ctrl + C)时，它会在退出前等待所有数据缓冲区处理完毕，这将阻塞应用程序中的流线程。因此，这里创建的Gstreamer对象额外被赋予了wait-on-eos=false和只有一个buffer (max-buffers=true)参数，以避免脏杀和挂起管道。

import cv2
import time
import threading
from flask import Response, Flask# Image frame sent to the Flask object
global video_frame
video_frame = None# Use locks for thread-safe viewing of frames in multiple browsers
global thread_lock
thread_lock = threading.Lock()# GStreamer Pipeline to access the Raspberry Pi camera
GSTREAMER_PIPELINE = 'nvarguscamerasrc ! video/x-raw(memory:NVMM), width=3280, height=2464, format=(string)NV12, framerate=21/1 ! nvvidconv flip-method=0 ! video/x-raw, width=960, height=616, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink wait-on-eos=false max-buffers=1 drop=True'# Create the Flask object for the application
app = Flask(__name__)def captureFrames():global video_frame, thread_lock# Video capturing from OpenCVvideo_capture = cv2.VideoCapture(GSTREAMER_PIPELINE, cv2.CAP_GSTREAMER)while True and video_capture.isOpened():return_key, frame = video_capture.read()if not return_key:break# Create a copy of the frame and store it in the global variable,# with thread safe accesswith thread_lock:video_frame = frame.copy()key = cv2.waitKey(30) & 0xffif key == 27:breakvideo_capture.release()def encodeFrame():global thread_lockwhile True:# Acquire thread_lock to access the global video_frame objectwith thread_lock:global video_frameif video_frame is None:continuereturn_key, encoded_image = cv2.imencode(".jpg", video_frame)if not return_key:continue# Output image as a byte arrayyield(b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + bytearray(encoded_image) + b'\r\n')@app.route("/")
def streamFrames():return Response(encodeFrame(), mimetype = "multipart/x-mixed-replace; boundary=frame")# check to see if this is the main thread of execution
if __name__ == '__main__':# Create a thread and attach the method that captures the image frames, to itprocess_thread = threading.Thread(target=captureFrames)process_thread.daemon = True# Start the threadprocess_thread.start()# start the Flask Web Application# While it can be run on any feasible IP, IP = 0.0.0.0 renders the web app on# the host machine's localhost and is discoverable by other machines on the same network app.run("0.0.0.0", port="8000")

代码的重要部分带有注释。该应用程序是用线程安全的视频帧捕获和显示实现编写的，以避免数据损坏。

将上面显示的程序保存为 web_streaming.py 并通过python web_streaming.py 运行。这将启动 Flask 应用程序并启动视频流。
运行 ifconfig 获取 Jetson Nano Developer Kit 的 IP 地址。

您可以通过访问 IP 地址在连接到同一网络的任何设备的浏览器窗口中访问视频源。例如输入 192.168.1.2:8000 就可以看到直播了。

4.结果和结论

当 Jetson Nano 板部署在机器人或监控站点等远程操作平台上时，实时查看摄像头操作至关重要。这是一种非常简单的技术，可以通过网络传输摄像头实时视频流并在其他机器上查看。

参考目录

https://maker-pro.translate.goog/nvidia-jetson/tutorial/streaming-real-time-video-from-rpi-camera-to-browser-on-jetson-nano-with-flask