ให้ AI เล่นเกม DOOM บนบอร์ด ESP32-P4 จอ MIPI DSI

Claude 3.5 Sonnet LLM Playing DOOM on SCINTIX P4 ESP32-P4 Development Board
Claude 3.5 Sonnet AI วิเคราะห์ภาพหน้าจอสดเพื่อเล่นเกม DOOM บนบอร์ดพัฒนา SCINTIX P4 (ESP32-P4) โดย Andrea Ricci

สวัสดีเพื่อนๆ ชาว Maker, สายไอที และคนรักเกมย้อนยุคทุกคนครับ! 👾🤖 ถ้าพูดถึงประโยคคำถามยอดฮิตตลอดกาลของวงการคอมพิวเตอร์อย่าง **"Can it run DOOM?"** (อุปกรณ์นี้รันเกม DOOM ได้ไหม?) เราคงเคยเห็นคนนำเกม DOOM ไปรันบนเครื่องคิดเลข, ตู้เย็น, เครื่องตรวจครรภ์ หรือแม้กระทั่งบนหลอดไฟหลากสีกันมาแล้วใช่ไหมครับ?

แต่นักประดิษฐ์สายหาทำอย่างคุณ **[Andrea Ricci]** ได้พาวงการก้าวข้ามไปอีกขั้นด้วยคำถามใหม่ที่ล้ำกว่าเดิม: **"Can AI PLAY DOOM on ESP32-P4?"** ด้วยการสร้างระบบที่ให้โมเดลปัญญาประดิษฐ์ Large Language Model (LLM) อย่าง **Claude 3.5 Sonnet** ทำหน้าที่ "ดูภาพหน้าจอ" แล้วส่งคำสั่งกลับมาเล่นเกม DOOM บนบอร์ด **ESP32-P4** ได้จริงแบบสดๆ ครับ!

เบื้องหลังฮาร์ดแวร์ SCINTIX P4 & การเชื่อมต่อ WebSockets 🛠️⚡

ในการสร้างโปรเจกต์นี้ คุณ Andrea เริ่มต้นจากการพอร์ตเกม DOOM ให้ลงไปรันบนบอร์ดพัฒนาดีไซน์พิเศษในชื่อ **SCINTIX P4**:

  • บอร์ดทรง CM4 ขับเคลื่อนด้วย ESP32-P4: บอร์ด SCINTIX P4 ถูกออกแบบมาในรูปทรง Raspberry Pi Compute Module 4/5 (CM4/CM5) แต่เปลี่ยนหัวใจหลักข้างในเป็นชิปประมวลผลคู่ **ESP32-P4** และ **ESP32-C6** แทน
  • แสดงผลผ่านจอ MIPI DSI: ตัวเกม DOOM รันอยู่บนชิป ESP32-P4 และส่งสัญญาณภาพออกไปยังแผงหน้าจอสัมผัส **MIPI DSI** ขนาดความละเอียด 1024×600 พิกเซล
  • ดึงเฟรมภาพส่งเข้า Claude Sonnet ผ่าน WebSockets: ตัวเกมจะไม่ได้รันพรวดเดียวอย่างต่อเนื่อง แต่จะค่อยๆ ขยับสเต็ปทีละไม่กี่เฟรม แล้วแคปเจอร์ภาพหน้าจอนั้นส่งผ่านระบบ WebSockets ไปยัง Claude 3.5 Sonnet ซึ่งตัว AI จะเห็นเพียงแค่ภาพหน้าจอเดียวกับที่สายตามนุษย์เห็นเท่านั้น!

💡 อยากทำโปรเจกต์ ESP32 ต่อจอ MIPI DSI หรือสั่งพิมพ์เคสยึดบอร์ด 3D Print?

ในการทำอุปกรณ์หน้าจอแสดงผล หรือชุดทดลอง AIoT การออกแบบและสั่งพิมพ์กล่องเคสฝาครอบ หรือขาตั้งปรับระดับหน้าจอด้วย **3D Printing** จะช่วยปกป้องสายแพ MIPI DSI ป้องกันรอยขีดข่วนบนหน้าจอ และจัดวางอุปกรณ์บนโต๊ะทำงานได้อย่างเป็นระเบียบสุดๆ ครับ!

หากเพื่อนๆ กำลังมองหา **บอร์ดพัฒนา ESP32, จอแสดงผล, โมดูลอิเล็กทรอนิกส์** หรือต้องการสั่งทำเคสยึดบอร์ดผ่าน บริการรับปริ้นท์ชิ้นส่วน 3D (3D Printing Service) สามารถนำไฟล์ STL มาประเมินราคากับร้าน **Globalbyte Shop** ได้เลยครับ!

กลไกการมองเห็นของ AI: Depth Fan & ASCII Automap 🧠🎯

เพื่อให้ Claude 3.5 Sonnet สามารถเข้าใจสภาพแวดล้อม 3 มิติในเกมได้อย่างถูกต้อง โดยไม่เดินชนกำแพงมึนๆ คุณ Andrea ได้ใส่อัลกอริทึมช่วยเหลือระบบประสาทการรับรู้ไว้ 2 ส่วนสำคัญ:

  1. ระบบ Depth Fan ช่วยกะระยะทาง: กวาดลำเส้นคำนวณระยะความลึกข้ามทัศนวิสัยในเกม เพื่อให้ AI รู้ว่ากำแพงอยู่ห่างออกไปเท่าไหร่ และต้องเลี้ยวหลบอย่างไรไม่ให้เดินชนผนัง
  2. แผนที่ ASCII Automap: สรุปพิกัดแผนที่ออกมาเป็นตัวอักษร ASCII เพื่อให้ AI คอยจดจำและติดตามได้ว่า ตัวมันเคยเดินผ่านเส้นทางไหนมาแล้วบ้าง

ด้วยระบบเหล่านี้ ทำให้ Claude Sonnet สามารถบรรยายสภาพแวดล้อมในเกมได้อย่างแม่นยำ เดินสำรวจตามทางเดิน เปิดประตูห้อง และเล็งเป้ายิงศัตรูในเกม DOOM ได้อย่างน่าทึ่ง! ถือเป็นอีกหนึ่งตัวอย่างการนำ AI มาเล่นเกม ต่อเนื่องมาจากโปรเจกต์ AI เรียนรู้การขับรถใน Trackmania บน Hackaday ครับ!

สามารถส่องรายละเอียดโครงการและขั้นตอนการพัฒนาฉบับเต็มได้ที่หน้าเว็บ Claude Sonnet Plays DOOM on SCINTIX P4 Project Page ครับ

⚠️ ข้อควรระวังในการรันกราฟิกบน ESP32-P4!

การขับจอแสดงผล MIPI DSI ความละเอียดสูงร่วมกับการประมวลผลเฟรมภาพส่งผ่าน WebSockets อาจทำให้ชิป ESP32-P4 เกิดความร้อนสะสมได้สูง ควรติดตั้งฮีตซิงก์ระบายความร้อน และเลือกใช้แหล่งจ่ายไฟ DC 5V ที่จ่ายกระแสได้อย่างเรียบและเพียงพอครับ!

รูปภาพแผนที่ ASCII Automap และคลิปวิดีโอ Claude Sonnet เล่น DOOM 📸🎬

ASCII Automap Interface Used by Claude Sonnet AI to Navigate DOOM Levels
หน้าต่างแผนที่ ASCII Automap ที่สร้างขึ้นเพื่อให้ Claude Sonnet AI ติดตามตำแหน่งในเกม DOOM

คลิปวิดีโอสาธิต Claude Sonnet Plays DOOM on an ESP32-P4 โดย Andrea Ricci 🎬

🔗 ข้อมูลอ้างอิงและจุดวาร์ปอ่านต่อ:

สำหรับเพื่อนๆ ที่ต้องการศึกษาโครงสร้างโปรเจกต์เพิ่มเติม สามารถตามลิงก์ไปส่องต่อได้เลยครับ:

⚡ พร้อมเริ่มพัฒนาโปรเจกต์ ESP32-P4 และสั่งพิมพ์ชิ้นส่วน 3D แล้วหรือยัง? ⚡

🛒 ช้อปบอร์ดพัฒนา ESP32, จอแสดงผล, อุปกรณ์อิเล็กทรอนิกส์ และสั่งพิมพ์เคส 3D ได้ที่ Globalbyte 💬 เข้าร่วมกลุ่มคอมมูนิตี้ แลกเปลี่ยนไอเดีย ESP32-P4, LLM AI, MIPI DSI และงาน DIY 📲 ปรึกษาโปรเจกต์ หรือส่งไฟล์ STL มาประเมินราคา 3D Print ฟรี! ผ่าน LINE OA
*Disclaimer (ข้อจำกัดความรับผิดชอบ): เนื้อหาบทความนี้ถูกเรียบเรียงและสรุปมาจากโปรเจกต์วิจัยภาษาอังกฤษ สเปกและการใช้งานบอร์ดควรศึกษาเพิ่มเติมจาก คู่มือทางการบนเว็บไซต์ Hackaday.io ของ Andrea Ricci ก่อนลงมือทำจริงทุกครั้งครับ!

Blog posts