ทำไม AI Camera Tracking ถึงซับซ้อนกว่าการ Detect Object?

การ Detect ว่ามีมืออยู่ในภาพ เป็นเพียงครึ่งแรกของโจทย์

ถ้าต้องการให้กล้องหมุนตามมือจริง ระบบยังต้องรู้ว่า Target อยู่ห่างจากกลาง Frame แค่ไหน, แปลง Pixel Error เป็นมุม, ลด Noise, ควบคุม Motor และส่ง Command ใน Rate ที่ไม่ทำให้ Gimbal แกว่ง

สิ่งที่ QIM SDK ช่วยคือ เอา Video Processing, Hardware Acceleration และ AI Inference เข้ามาอยู่ใน GStreamer Pipeline เพื่อให้ Application ไม่ต้องสร้าง Integration Layer ทุกอย่างใหม่ตั้งแต่ศูนย์

Architecture ของ reCamera Gimbal Tracking

Hardware ที่ใช้

Dragonwing IQ-9075 ทำอะไรในระบบ?

Main Source ระบุว่า IQ-9075 มี Dedicated NPU สำหรับ On-device AI และรองรับประสิทธิภาพ AI สูงสุดถึง 100 TOPS

ใน Project นี้ NPU ถูกใช้ผ่าน QNN Deployment ของ Edge Impulse และถูกเรียกผ่าน GStreamer Plugin แทนการรัน Model แบบ Generic CPU Inference

reCamera Gimbal 2002w ทำอะไรในระบบ?

Source อธิบาย reCamera Gimbal 2002w ว่าเป็น Dual-axis Motorized Camera ที่ขับด้วย Brushless Motors และรองรับการส่ง Video / Data ผ่าน Protocol หลายแบบ รวมถึง RTSP และ MQTT

สำหรับ Project นี้ หน้าที่หลักมีสองส่วน:

• ส่ง Video Stream 1280 × 720 ที่ 30 fps ผ่าน RTSP
• รับ Yaw / Pitch Command ผ่าน MQTT Topic cmd

QIM SDK เปลี่ยน AI ให้เป็น GStreamer Element ได้อย่างไร?

หลังติดตั้ง Qualcomm-specific GStreamer Plugins ผู้สร้างตรวจ Element ด้วยคำสั่ง gst-inspect-1.0 และพบ Plugin หลายกลุ่ม ทั้ง AI, Video, Object Tracking และ Messaging

Setup Ubuntu 24.04 และ QIM SDK บน IQ-9075

ผู้สร้างใช้ Qualcomm Launcher เพื่อ Flash Ubuntu 24.04 ลงบน IQ-9075 EVK และตั้ง Network / SSH ก่อนติดตั้ง QIM SDK Components

sudo apt update
sudo add-apt-repository ppa:ubuntu-qcom-iot/qcom-ppa

sudo apt install -y gstreamer1.0-tools gstreamer1.0-plugins-good \
  gstreamer1.0-plugins-base gstreamer1.0-libav

sudo apt install -y gstreamer1.0-plugins-qcom

sudo apt install -y tensorflow-lite-qcom-apps libqnn-dev libsnpe-dev

gst-inspect-1.0 | grep qti

Setup reCamera และ Node-RED

reCamera มาพร้อม Operating System และ Node-RED Dashboard ที่เข้าผ่าน IP Address ของอุปกรณ์

ผู้สร้างเปลี่ยน reCamera จาก Default Access Point Mode ให้ Join Network เดียวกับ IQ-9075 ผ่าน Network Settings ใน Dashboard

จากนั้น Default Node-RED Flow ถูกแทนด้วย Flow สำหรับ Project นี้ ซึ่งจัดการ:

• LED Initialization ตอน Startup
• Camera Capture 1280 × 720 @ 30 fps
• RTSP Stream
• MQTT Subscription ที่ Topic cmd
• Validation ก่อน Motor Command
• Set Motors Pitch / Yaw
• LED Pulse 250 ms เมื่อรับ Command ที่ผ่าน Validation

เก็บ Dataset 1,222 ภาพด้วย Edge Impulse

ผู้สร้างสร้าง Edge Impulse Project และใช้ Laptop Camera ผ่านเมนู Connect to your computer เพื่อเก็บภาพมือ

Dataset รวม 1,222 Images จากระยะและ Lighting Conditions ที่แตกต่างกัน ก่อน Label ผ่าน Labeling Queue

Train Hand Detection ด้วย YOLO-Pro

Impulse ของ Project ใช้:

Source ไม่ได้ระบุ Numeric Training Metric ที่เพียงพอสำหรับนำมา Claim Precision, Recall, mAP หรือ Real-world Detection Accuracy ในบทความนี้

Deploy Model เป็น Qualcomm IM SDK QNN Plugin

หลัง Train เสร็จ ผู้สร้างเลือก Deployment Target เป็น:

และเลือก Optimization: Quantized INT8

Build Artifact ประกอบด้วย Shared Library และ config.json ซึ่งถูก Unpack ลงใน Application Directory บน IQ-9075

จุดสำคัญคือ Edge Impulse Model ถูกนำมาใช้งานในรูปของ GStreamer Plugin ไม่ใช่ Python Model API แยกต่างหาก

GStreamer Pipeline: RTSP → Decode → AI → Overlay

Video จาก reCamera เริ่มที่ 1280 × 720 จากนั้น Pipeline จะ Crop ด้านซ้ายและขวา เพื่อให้เหลือ Square ก่อน Resize เป็น 320 × 320 สำหรับ Model

rtph264depay ! h264parse ! v4l2h264dec !
video/x-raw,format=NV12,width=1280,height=720 !
videocrop left=280 right=280 top=0 bottom=0 !
videoscale !
video/x-raw,format=NV12,width=320,height=320 !
videoconvert !
video/x-raw,format=RGB !
edgeimpulsevideoinfer_820595-hands threshold="40.minScore=0.5 debug=true" !
edgeimpulseoverlay_820595-hands show-labels=false !
videoconvert !
jpegenc quality=80 !
appsink name=jpegsink emit-signals=true sync=false max-buffers=1 drop=true

ระบบเลือก Target อย่างไรเมื่อมีหลายมือ?

Inference Result ถูกส่งออกมาเป็น Structured Message บน GStreamer Bus จึงไม่ต้อง Parse Raw Tensor Buffer ด้วยตัวเอง

Python Tracker จะ Filter Detection ก่อนเลือก Target

def pick_target(detections):
    if not detections:
        return None

    if state["smoothed_cx"] is not None:
        candidates = detections

        if state["locked_label"] is not None:
            same_label = [
                d for d in detections
                if d.label == state["locked_label"]
            ]

            if same_label:
                candidates = same_label

        def dist(d):
            return (
                (d.cx - state["smoothed_cx"]) ** 2
                + (d.cy - state["smoothed_cy"]) ** 2
            )

        return min(candidates, key=dist)

    return max(detections, key=lambda d: d.confidence)

EMA + Dead Zone + PID เปลี่ยน Detection ให้เป็น Gimbal Motion

Bounding Box Center ไม่ได้ถูกส่งเข้า PID ทันที

Source ใช้ Exponential Moving Average เพื่อ Smooth ตำแหน่งก่อน:

หลัง Smooth แล้ว ระบบคำนวณ Offset จาก Center ของ Frame และใช้ Camera FOV ใน Script แปลง Pixel Error เป็น Angular Error ก่อนส่งเข้า Controller

ส่ง Yaw / Pitch กลับไป reCamera ผ่าน MQTT

หลัง PID คำนวณ Delta Tracking Script จะ Update Yaw และ Pitch แต่ยัง Clamp ให้อยู่ภายในขอบเขต:

• Yaw: 30–330°
• Pitch: 10–120°

จากนั้น Command ถูก Publish ไปยัง MQTT Topic: cmd

Node-RED ฝั่ง reCamera จะรับ Message, ผ่าน Validation Function และส่งค่าไปยัง Motor Node เพื่อขยับ Gimbal จริง

Detection Threshold มีสองชั้น

Source มี Threshold อยู่ทั้งใน GStreamer Inference Element และ Python Tracking Logic

ดังนั้นการพูดว่า “ระบบใช้ Confidence 50%” อย่างเดียว จะไม่ครบ เพราะ Detection ที่ผ่าน Plugin ยังถูก Filter ซ้ำอีกครั้ง ก่อนเข้าสู่ Tracking Logic

ดู Annotated Detection ผ่าน MJPEG Stream

นอกจากควบคุม Gimbal Python Application ยังเก็บ JPEG Frame ล่าสุด จาก GStreamer Appsink และเปิด HTTP Server สำหรับดูผล Detection ผ่าน Browser

Source ใช้:

• HTTP Server Port 8080
• MJPEG Output
• Loop ส่งภาพประมาณ 15 fps

ส่วนนี้ช่วย Debug ว่า Model กำลัง Detect Target ตรงตำแหน่งใด โดยไม่ต้องเปิด Video Tool แยกบน IQ-9075

Current Build ยังมี Oscillation และต้อง Tune PID ต่อ

แม้ Pipeline สามารถ Tracking มือได้จริง แต่ผู้สร้างระบุใน Live Demo ว่ายังเห็น Oscillation บางส่วนใน Frame

นั่นหมายความว่า ค่า PID ปัจจุบันเป็น ค่าที่ใช้กับ Prototype นี้ ไม่ใช่ค่ามาตรฐาน ที่ควร Copy ไปใช้กับทุก Gimbal Setup

Target Lost

ถ้าไม่พบ Target นานกว่า 1 วินาที Source Code จะ Reset PID State

แต่ Source ไม่ได้ระบุว่า Gimbal ต้องกลับ Center, เริ่ม Search Pattern หรือขยับไปตำแหน่งอื่น ดังนั้นบทความนี้จะไม่เติม Behavior เหล่านั้น

ดู reCamera Gimbal Tracking ทำงานจริง

โปรเจกต์นี้มีหลายขั้น แนะนำอ่านต้นฉบับควบคู่กัน

Project นี้รวมทั้ง Qualcomm Platform Setup, GStreamer, Edge Impulse, Node-RED, MQTT และ Control Loop จึงควรเปิด Main Tutorial และ Official Documentation ควบคู่ระหว่าง Build

สิ่งที่ Maker เรียนรู้จาก Project นี้

FAQ — reCamera Gimbal Tracking กับ IQ-9075

สรุป: จุดเด่นของ Project นี้คือการต่อ AI เข้ากับ Control Loop โดยไม่ทำระบบให้แตกเป็นหลายชิ้น

reCamera Gimbal Tracking Project ไม่ได้โดดเด่นเพียงเพราะใช้ NPU หรือ YOLO-Pro

สิ่งที่น่าสนใจกว่าคือ การนำ RTSP, Hardware Decode, Edge Impulse Inference, GStreamer Bus, Target Selection, PID และ MQTT มาเชื่อมกันเป็น Pipeline ที่แต่ละ Layer มีหน้าที่ชัด

reCamera รับผิดชอบ Camera และ Gimbal ขณะที่ IQ-9075 รับผิดชอบ AI และ Control Logic ทำให้ผู้สร้างสามารถพัฒนา Computer Vision กับ Physical Camera Motion แยกกันได้ โดยใช้ Network Protocol เป็นตัวเชื่อม

อย่างไรก็ตาม Source ยังยอมรับตรง ๆ ว่า PID Tuning ยังมี Oscillation จึงควรมอง Build นี้เป็น Working Prototype และ Reference Architecture มากกว่าค่าตั้งสำเร็จรูป ที่ Copy ไปใช้กับ Hardware ทุกชุดได้ทันที

References / แหล่งข้อมูลต้นฉบับ