Face-Tracking Gimbal คืออะไร?

Face-Tracking Gimbal เป็นระบบกล้องที่สามารถ ปรับทิศทางตามตำแหน่งใบหน้าที่ตรวจจับได้ โดยโปรเจกต์นี้ใช้กลไก Pan-Tilt สองแกน ได้แก่ Yaw สำหรับหมุนซ้ายขวา และ Pitch สำหรับก้มเงย

เมื่อกล้องตรวจพบบริเวณที่มีใบหน้า โปรแกรมจะคำนวณตำแหน่งที่ต้องการให้กล้องหันไป จากนั้นส่งคำสั่งให้มอเตอร์ปรับมุม เพื่อให้ใบหน้าอยู่ใกล้บริเวณเป้าหมายในภาพ

จุดน่าสนใจคือการแยกงานประมวลผลภาพ กับงานควบคุมมอเตอร์ออกจากกัน แทนการให้บอร์ดเพียงตัวเดียวทำทุกอย่าง

ดู Project Preview จาก Hackster

กรอบนี้แสดง Project Preview จาก Hackster หากระบบของ Shopify ไม่รองรับการฝัง สามารถ เปิดดูโปรเจกต์และรูปภาพต้นฉบับบน Hackster.io แทนได้

จุดเริ่มต้น: นำมอเตอร์ reCamera Gimbal กลับมาใช้ใหม่

Zeller เล่าว่าได้รับแรงบันดาลใจจากกล้อง Pan-Tilt และมีชุดมอเตอร์จาก reCamera Gimbal อยู่แล้ว แต่ไม่มี Controller จึงตัดสินใจนำชิ้นส่วนเดิม มาต่อยอดเป็นโปรเจกต์ Face Tracking

มอเตอร์ BLDC ในชุดที่ผู้สร้างมี มาพร้อมวงจรขับมอเตอร์อยู่แล้ว จึงไม่จำเป็นต้องสร้าง Motor Driver ขึ้นใหม่ แต่ต้องใช้บอร์ดที่สามารถส่งคำสั่ง ผ่าน CAN Bus ไปยังมอเตอร์ได้

ผู้สร้างเลือก XIAO STM32C5 เป็นบอร์ดควบคุมมอเตอร์ เพราะรองรับ CAN และมี CAN Transceiver บนบอร์ด ส่วนงานรับภาพและตรวจจับใบหน้า เลือกใช้ XIAO ESP32S3 Sense ซึ่งมาพร้อมกล้องและ Wi-Fi

แนวทางนี้เป็นตัวอย่างการ Reuse Hardware โดยนำอุปกรณ์เดิมมาใช้งานร่วมกับ Firmware ใหม่ และจัดสรรหน้าที่ของ Microcontroller ให้เหมาะสม

Hardware ที่ใช้ใน Face-Tracking Gimbal

หมายเหตุ: Hackster ใช้ชื่อมอเตอร์ LK3008 / LK3506 ขณะที่ README บน GitHub ระบุ MS3008 / MS3506 จึงควรตรวจหมายเลขรุ่นและความเข้ากันได้ ก่อนเลือกซื้อหรือประกอบตาม

XIAO ESP32S3 Sense: ฝั่งตรวจจับใบหน้า

ผู้สร้างพัฒนาฝั่งนี้ด้วย ESP-IDF และใช้งานร่วมกับกล้อง OV2640 สำหรับจับภาพ ประมวลผล Face Detection และส่งภาพจากกล้องไปยัง Web Interface ผ่าน Wi-Fi

ระบบสามารถแสดงกรอบ Bounding Box บริเวณใบหน้าที่ตรวจจับได้ และใช้ตำแหน่งในภาพคำนวณมุมเป้าหมายของ Gimbal

XIAO STM32C5: ฝั่งควบคุมมอเตอร์

STM32C5 ไม่ได้ประมวลผลภาพโดยตรง แต่รับคำสั่งมุมเป้าหมายจาก ESP32S3 ผ่าน UART แล้วส่งคำสั่งให้มอเตอร์ผ่าน CAN Bus พร้อมอ่านสถานะของมอเตอร์กลับมา

ซอฟต์แวร์ฝั่งนี้ใช้ PlatformIO ร่วมกับ Zephyr RTOS โดย Repository มีเฟิร์มแวร์สำหรับบอร์ดดังกล่าว

Architecture: สองบอร์ดทำงานร่วมกันอย่างไร?

ขั้นตอนการทำงาน

1. กล้อง OV2640 จับภาพแล้วส่งให้ ESP32S3
2. โปรแกรมทำ Face Detection เพื่อหาตำแหน่งใบหน้าในภาพ
3. ESP32S3 คำนวณมุมเป้าหมายและส่งให้ STM32C5 ผ่าน UART
4. STM32C5 ส่งคำสั่งไปยังมอเตอร์ผ่าน CAN Bus
5. STM32C5 อ่านมุมจริงและสถานะมอเตอร์กลับมาส่งให้ ESP32S3
6. หน้าเว็บแสดงทั้งภาพกล้องและข้อมูลตำแหน่งมอเตอร์

ตาม GitHub README ระบบเลือกกรอบใบหน้าที่ใหญ่ที่สุด เมื่อพบหลายใบหน้า และใช้ข้อมูลตำแหน่งดังกล่าวเป็นเป้าหมาย สำหรับการติดตามใน AUTO Mode

UART, CAN และไฟเลี้ยงที่ต้องตรวจสอบ

ข้อมูลด้านล่างเป็นการต่อ UART ตามที่ผู้สร้างระบุใน GitHub README สำหรับชุด XIAO ESP32S3 Sense และ XIAO STM32C5

UART ใช้ค่า 115200 8N1 โดย TX และ RX ต้องต่อไขว้กัน ไม่ใช่ต่อ TX ไป TX

การเชื่อมต่อ CAN ของมอเตอร์

เฟิร์มแวร์ใน Repository ใช้ Classic CAN ในการสั่งงานมอเตอร์ โดย README ระบุ CAN ID 0x141 สำหรับ Yaw และ 0x142 สำหรับ Pitch

รายละเอียดสำคัญคือ CAN Transceiver มีขา STB สำหรับควบคุม Standby โดยเฟิร์มแวร์กำหนดให้ PB14 อยู่ในสถานะ Low ก่อนใช้งาน Transceiver

อ่านรายละเอียดเพิ่มเติมได้จาก คู่มือ XIAO STM32C5 CAN FD ของ Seeed Studio

Software: จาก Face Detection ไปสู่การสั่งมอเตอร์

ฝั่ง ESP32S3

เฟิร์มแวร์ ESP32S3 ใช้ ESP-IDF ร่วมกับ ESP-DL สำหรับการตรวจจับใบหน้า กล้องจับภาพและส่ง MJPEG Stream ผ่าน Wi-Fi พร้อมแสดง Web Interface สำหรับควบคุม

ฝั่ง STM32C5

STM32C5 ใช้ PlatformIO และ Zephyr RTOS สำหรับรับ Target Angle ผ่าน UART ควบคุมมอเตอร์ผ่าน CAN อ่าน Motor Feedback และส่งข้อมูลกลับไปยัง ESP32S3

Web Interface ควบคุมอะไรได้บ้าง?

ตาม GitHub README ระบบมีการส่ง Motor Angle Telemetry ที่ 20 Hz อย่างไรก็ตาม อัตราการอัปเดตมุมมอเตอร์ไม่ใช่สิ่งเดียวกับ อัตราเฟรมของกล้องหรือความเร็วตรวจจับใบหน้า และไม่ควรนำมาอ้างเป็นค่า FPS ของ Face Detection

วิดีโอสาธิต Face-Tracking Gimbal ทำงานจริง

วิดีโอ xiao gimbal แสดงการทำงานของโปรเจกต์ ช่วยให้เห็นการเคลื่อนที่ของกลไก Pan-Tilt ประกอบกับหลักการ Face Tracking ที่อธิบายไว้ข้างต้น

วิดีโออ้างอิง: xiao gimbal จาก YouTube หากตัวเล่นไม่แสดงใน Shopify สามารถ รับชมวิดีโอ xiao gimbal บน YouTube ได้โดยตรง

วิธีเริ่มทดสอบต้นแบบตาม GitHub

ผู้สร้างเผยแพร่ขั้นตอน Build และ Flash ใน GitHub README พร้อมโครงสร้างซอร์สแยกสำหรับ ESP32S3 และ STM32C5

1. ตรวจ Hardware และจุดยึดกลไกของมอเตอร์ก่อนจ่ายไฟ
2. ตรวจไฟเลี้ยง Ground และ CAN Termination
3. Flash Firmware ให้ ESP32S3 และ STM32C5 ตามคู่มือต้นฉบับ
4. ตรวจว่าระบบมอเตอร์ตอบกลับตาม CAN ID ที่กำหนด
5. ตรวจการสื่อสาร UART ระหว่างบอร์ดทั้งสอง
6. เปิด Web Interface และทดสอบภาพกล้อง
7. ทดลองควบคุมแบบ Manual ก่อนเปิด AUTO Tracking

ค่าเริ่มต้นของโปรเจกต์ที่ระบุใน README

ข้อมูลเหล่านี้เป็นค่าของต้นแบบผู้สร้าง ไม่ใช่ค่ามาตรฐานสำหรับมอเตอร์หรือกลไกทุกชุด หากเปลี่ยน Motor, Encoder, Housing หรือทิศทางการประกอบ ต้องตรวจ Configuration และ Calibration ให้ตรงกับ Hardware

สำหรับคำสั่ง Build และ Flash แบบเต็ม แนะนำอ่าน คู่มือ Build and Flash ของผู้สร้างบน GitHub โดยตรง เพื่อให้ตรงกับเวอร์ชัน Firmware ล่าสุดของ Repository

3D Shell และภาพตัวเรือนของโปรเจกต์

ผู้สร้างใช้ Housing เดิมของ reCamera Gimbal ที่เข้ากับมอเตอร์ที่มีอยู่ และเผยแพร่ไฟล์ 3D สำหรับใช้งานกับชุดกลไกนี้

หากใช้มอเตอร์อื่น ผู้สร้างระบุว่าสามารถ วัดขนาดชิ้นส่วนและออกแบบ Housing ใหม่ได้ แต่ต้องตรวจขนาดจริงและการประกอบ ไม่ควรถือว่าไฟล์ตัวเรือนนี้รองรับมอเตอร์ทุกแบบ

รายการรูปภาพต้นฉบับที่พบใน Hackster

ระบบอ่านหน้า Hackster พบชื่อไฟล์รูปภาพ ต่อไปนี้ในเนื้อหา Hardware และ 3D Shell แต่ยังไม่สามารถยืนยัน Direct Image URL แบบเต็มสำหรับฝังลงใน Shopify ได้ทั้งหมด จึงไม่สร้าง URL ขึ้นเอง

Source Code และไฟล์ดาวน์โหลดที่เกี่ยวข้อง

ผู้สร้างเผยแพร่ Source Code สำหรับระบบกล้องและระบบควบคุมมอเตอร์ บน GitHub โดยแยกเป็นสองส่วนหลัก

ตัวอย่าง Code จาก Repository

ตัวอย่างต่อไปนี้นำมาจาก robot_camera/src/main.cpp ของผู้สร้าง เป็นฟังก์ชันคำนวณ CRC-16 ที่ใช้กับข้อมูลของระบบ ไม่ใช่ Firmware ฉบับเต็มสำหรับ Flash ลงบอร์ด

static uint16_t crc16(const uint8_t *p, size_t n)
{
  uint16_t c = 0xffff;
  while (n--)
  {
    c ^= (uint16_t)*p++ << 8;
    for (int i = 0; i < 8; i++)
      c = (c & 0x8000) ? (c << 1) ^ 0x1021 : c << 1;
  }
  return c;
}

สามารถดาวน์โหลด Firmware ฉบับเต็ม จาก GitHub ของผู้สร้างได้โดยตรง โดยควรตรวจ README และ Version ของ Dependencies ก่อนทำตามคำสั่ง Build

FAQ: คำถามที่พบบ่อยเกี่ยวกับ Face-Tracking Gimbal

สรุป: เมื่อ Embedded Vision กับ Motor Control ทำงานร่วมกัน

Face-Tracking Gimbal ของ Zeller เป็นตัวอย่างที่น่าสนใจของการนำชิ้นส่วนเก่า มาต่อยอดด้วย Microcontroller สองตัว และออกแบบให้แต่ละบอร์ดรับหน้าที่ต่างกัน

ESP32S3 รับผิดชอบการมองเห็นและคำนวณตำแหน่ง ส่วน STM32C5 รับผิดชอบการควบคุมมอเตอร์ ผ่าน CAN Bus โดยมี UART เป็นช่องทางสื่อสาร ระหว่างระบบทั้งสอง

โปรเจกต์นี้จึงเหมาะสำหรับศึกษา Computer Vision, Embedded Systems, Motor Control และการออกแบบกลไก โดยสามารถเรียนรู้จาก Source Code วิดีโอสาธิต และไฟล์ 3D ที่ผู้สร้างเปิดเผยไว้

หากต้องการทำตามทั้งหมด ควรอ่าน บทความ Face-Tracking Gimbal ของ Zeller ควบคู่กับ GitHub Repository ต้นฉบับ เพื่อให้ข้อมูล Wiring, Version และ Configuration ตรงกับชุด Hardware ที่ใช้จริง

References / แหล่งข้อมูลต้นฉบับ

1. Face-Tracking Gimbal — Zeller, Hackster.io
2. XIAO_Gimbal — Source Code on GitHub
3. YouTube — xiao gimbal Demo
4. Seeed Studio — XIAO ESP32S3 Sense
5. Seeed Studio — XIAO STM32C5
6. Seeed Studio — STM32C5 CAN FD Usage
7. Espressif — ESP-IDF Documentation
8. Seeed Studio — reCamera Gimbal Getting Started