ESP32 iPhone Agent คืออะไร?

ESP32 iPhone Agent เป็น Open-source Project ที่พยายามให้ Vision AI Agent ใช้งาน iPhone จริง ผ่านเส้นทางเดียวกับที่ผู้ใช้เห็นและกดหน้าจอ

แทนที่จะเรียก Automation API ภายใน App โดยตรง Agent จะดูภาพหน้าจอ แล้วเลือกว่าจะ Tap, Swipe, Type หรือส่ง Key Command อะไรต่อ

ฝั่งการควบคุมใช้ ESP32-S3 ทำตัวเป็นอุปกรณ์ USB HID จึงถูก iPhone มองเป็น Mouse และ Keyboard มาตรฐาน

AI ต้องมี “ตา มือ และสมอง” อย่างไร?

ถ้าอธิบายแบบง่ายที่สุด ระบบนี้แบ่งหน้าที่ออกเป็นสามส่วน

หลักการจึงคล้ายคน: ดูหน้าจอก่อน → ตัดสินใจ → ลงมือกด → ดูผลอีกครั้ง แล้ววน Loop ไปเรื่อย ๆ

เวอร์ชันที่ Hackaday นำเสนอทำงานอย่างไร?

บทความ Hackaday วันที่ 14 ตุลาคม 2026 อธิบาย Architecture ของระบบรุ่นแรก ซึ่ง Official GitHub เก็บไว้เป็น v0.1.0 / legacy

Eyes — AirPlay + UxPlay

iPhone Mirror หน้าจอไปยัง UxPlay ที่รันอยู่บน Mac หรือ Linux

จากนั้น GStreamer Pipeline แปลง Stream ให้เป็นภาพที่ Agent และ Web Interface นำไปใช้งานต่อได้

Hands — ESP32-S3

ESP32-S3 ต่อเข้ากับ iPhone และประกาศตัวเป็น USB Mouse และ Keyboard

Board รับ Command จาก Computer แล้วเปลี่ยนเป็น Mouse Movement, Click, Scroll หรือ Keyboard Input สำหรับส่งเข้า iPhone

Brain — Vision Model บน Computer

Planner Model ดู Goal และหน้าจอปัจจุบัน ก่อนสร้าง Plan จากนั้น Actor Model เลือก Action ถัดไป เช่น Tap, Swipe, Draw, Type หรือ Home

AssistiveTouch สำคัญอย่างไร?

การเสียบ USB Mouse เข้า iPhone ไม่ได้ทำให้ Click กลายเป็น Tap บนหน้าจอแบบอัตโนมัติทุกกรณี Project จึงใช้ AssistiveTouch ของ iOS เพื่อเปิด On-screen Pointer

เมื่อเปิด AssistiveTouch แล้ว Mouse Movement จาก ESP32-S3 สามารถเลื่อน Pointer บนหน้าจอได้

• Click ใช้แทนการ Tap
• Drag ใช้แทนการ Swipe
• Keyboard ใช้ส่ง Text หรือ Key Command ที่รองรับ

Agent จึงไม่จำเป็นต้องมี API สำหรับแต่ละ App โดยตรง เพราะมันควบคุม Interface ผ่าน Pointer เหมือนคนใช้ Mouse

แต่โปรเจกต์เปลี่ยนแล้ว — Current Version ตัด Computer ออกจาก Runtime

จุดที่ต้องระวังมากที่สุดเวลาอ่านข่าว Hackaday รอบนี้ คือ Official Repository ถูกพัฒนาต่ออย่างรวดเร็วหลังข่าวเผยแพร่

Current README ระบุว่า “computer is gone” ในความหมายว่าไม่ต้องมี Mac/Linux นั่งอยู่ข้าง iPhone ระหว่าง Agent ทำงานอีกต่อไป

Architecture ปัจจุบันกลายเป็น:

ESP32-S3 กลายเป็นทั้ง AirPlay Receiver และ HID

Board เปิด Wi-Fi Hotspot ของตัวเอง และปรากฏใน Screen Mirroring List ในชื่อ ESP32 Agent

Board รับ H.264 Stream แต่ไม่ได้ Decode Video บนตัว ESP32 โดยส่งข้อมูลต่อให้ App ผ่าน BLE

Brain ย้ายมาอยู่ใน ESP32 Agent App

App บน iPhone รับ Stream, Decode ภาพ, ส่ง Screenshot ไปยัง OpenAI-compatible Vision Model และรัน Planner กับ Actor

จากนั้น Action Command ถูกส่งกลับไปยัง ESP32 ผ่าน BLE แล้ว Board แปลงเป็น USB HID Input อีกที

แล้ว Internet มาจากไหน?

Current Documentation ระบุว่า Wi-Fi ของ iPhone ถูกใช้เชื่อมกับ Hotspot ของ ESP32 ดังนั้นการติดต่อ Cloud Model ใช้ Cellular Data ของ iPhone

Legacy กับ Current Version ต่างกันตรงไหน?

Hardware ที่ Current Version ใช้

Official README ระบุ Hardware Reference ค่อนข้างชัดเจน

ตัว iPhone เป็นแหล่งจ่ายไฟให้ Board ตาม Hardware Setup ที่ Repository อธิบาย

Current Version ทำงานเป็นวงจรอย่างไร?

1. iPhone Mirror หน้าจอไปยัง ESP32-S3 ผ่าน Wi-Fi Hotspot ของ Board
2. ESP32 รับ H.264 Stream แล้ว Forward ต่อผ่าน BLE โดยไม่ Decode Video บน Board
3. ESP32 Agent App บน iPhone Decode Stream และสร้างภาพให้ Vision Model วิเคราะห์
4. Planner และ Actor เลือก Action เช่น Tap, Swipe, Type หรือ Key Press
5. App ส่ง Action Command กลับไปยัง ESP32 ผ่าน BLE
6. ESP32 แปลง Command เป็น USB HID Mouse/Keyboard Input
7. หลัง Action ระบบรอหน้าจอเปลี่ยน แล้วดูผลลัพธ์ก่อนตัดสินใจ Step ต่อไป

Official README ยังระบุว่าระบบมีการติดตาม Pointer และพยายามแก้ตำแหน่งก่อน Tap ที่ต้องการความแม่นยำ รวมถึงหยุดและกลับมาทำต่อได้ หาก Link บางส่วนหายชั่วคราว

ข้อจำกัดปัจจุบันที่ต้องรู้ก่อนคิดว่า AI คุมได้ทุกอย่าง

1. Bandwidth ผ่าน BLE มีจำกัด

Current README ระบุ BLE Throughput ประมาณ 300–500 kbps ทำให้ Screen Mirroring ถูกลดลงมาที่ประมาณ 480 × 1040 และไม่เกิน 5 fps

แต่ละ Step ใช้เวลาหลายวินาที โดย Source ระบุว่าเวลาส่วนใหญ่เกิดจาก Model

2. iOS ไม่ Mirror ทุกหน้าจอ

Source ระบุว่าบางหน้าจอไม่ถูกส่งผ่าน Screen Mirroring เช่น:

• Passcode Entry
• Apple Pay
• DRM Video

ถ้า Agent มองไม่เห็นหน้าจอ ก็ไม่สามารถตัดสินใจจากภาพส่วนนั้นได้

3. Mirroring หยุดเมื่อโทรศัพท์ Lock

Current Documentation ระบุชัดว่า Screen Mirroring หยุดเมื่อ iPhone Lock

4. Keyboard Input ยังเป็น ASCII

Current Version ยังไม่รองรับ Non-ASCII Text Input อย่างเต็มรูปแบบ และ Roadmap กล่าวถึงการรองรับภาษาจีนในอนาคต

5. Landscape App ยังไม่รองรับ

Coordinate และ Calibration ปัจจุบัน ถูกออกแบบสำหรับ Portrait จึงยังไม่รองรับ Landscape App

6. Current App ยังมี Private iOS API

Repository ระบุว่า App ใช้ Private iOS API ชื่อ suspend เพื่อออกจากตัวเองระหว่าง Agent ทำงาน และผู้พัฒนาระบุว่าต้องเปลี่ยนก่อนนำ App ขึ้น App Store

ตัวอย่าง: บอก AI ให้ตั้ง Alarm แล้วปล่อยให้มันหาทางเอง

หนึ่งใน Demo ของผู้พัฒนา คือการให้ Goal ประมาณว่า ตั้ง Alarm บน iPhone พร้อมเลือกวันทำซ้ำแล้วบันทึก

Agent ต้องทำมากกว่าการกดปุ่มเดียว เพราะต้อง:

1. ออกจาก App ของ Agent หรือ Interface เดิม
2. เปิด Clock
3. หาจุดสำหรับสร้างหรือแก้ Alarm
4. ตั้งเวลา
5. เลือกวัน Repeat
6. Save

จุดสำคัญคือ AI ไม่ได้เรียก API ของ Clock App โดยตรง แต่ดู Pixel บนหน้าจอและใช้ Input ผ่าน Mouse/Keyboard Path ที่ ESP32-S3 สร้างขึ้น

ดู AI ควบคุม iPhone จริงผ่าน ESP32-S3

Video ต้นฉบับแสดง Demo ของ ESP32 iPhone Agent ในช่วง Architecture ที่ Hackaday นำเสนอ

ถ้าอยากดู Version เดียวกับข่าว ต้องเข้า Legacy Branch

เพราะ Current Main เปลี่ยน Architecture ไปแล้ว Official Documentation จึงแยก v0.1.0 ที่ Hackaday อธิบายไว้เป็น Legacy Version

git clone -b legacy https://github.com/onehumanbeing/esp32-iphone-agent

arduino-cli lib install "NimBLE-Arduino@2.5.1"
hardware/flash.sh

cp ios/Config/Local.xcconfig.example ios/Config/Local.xcconfig
open ios/IPhoneAgent.xcodeproj

Maker ไทยเรียนรู้อะไรจากโปรเจกต์นี้ได้?

ต่อให้ไม่ได้ตั้งใจสร้าง AI ที่กด iPhone เอง โปรเจกต์นี้ก็เป็น Case Study ที่รวมหลายเรื่องไว้ในงานเดียว

• ESP32-S3 Native USB
• USB HID Mouse และ Keyboard
• BLE GATT Communication
• Wi-Fi Access Point
• AirPlay Screen Mirroring
• Vision Model
• AI Planner / Actor Loop
• Closed-loop Automation ที่ดูผลหลัง Action
• Human-interface Automation โดยไม่ต้องเข้าถึง Internal App API

ที่น่าสนใจคือ Hardware ราคาไม่ใช่แกนหลักของความยาก แต่ Challenge จริงอยู่ที่ การเชื่อม Vision, Pointer Calibration, Network และ Agent Decision ให้ทำงานเป็น Loop เดียวกัน

หากกำลังทดลอง ESP32-S3, USB HID หรือ AI + Embedded Project สามารถสอบถามทีม GlobalByte เรื่อง Development Board และอุปกรณ์ที่เหมาะกับ Requirement ได้ โดยไม่จำเป็นต้องเลือก Board จากชื่อรุ่นเพียงอย่างเดียว

Responsible Use — ให้ AI กดได้ ไม่ได้แปลว่าควรปล่อยให้กดทุกอย่าง

Official Repository ระบุ Responsible Use ไว้ชัดเจนว่า ควร Automate เฉพาะ Device และ Account ที่ผู้ใช้เป็นเจ้าของหรือได้รับอนุญาตให้ใช้งาน

และเนื่องจาก Agent ทำ Action ใกล้เคียงกับ “มือของผู้ใช้” จึงควรเฝ้าดูการทำงาน และเตรียม Stop Control ไว้เสมอ

FAQ — คำถามเกี่ยวกับ ESP32 iPhone Agent

1. โปรเจกต์นี้ต้อง Jailbreak iPhone ไหม?

ไม่ต้อง ทั้ง Hackaday และ Official GitHub ระบุแนวทางที่ไม่ใช้ Jailbreak

2. ESP32-S3 ควบคุม iPhone ได้อย่างไร?

ESP32-S3 ทำตัวเป็น USB HID Mouse และ Keyboard แล้วใช้ AssistiveTouch ของ iOS ช่วยให้ Pointer Click และ Drag ทำหน้าที่คล้าย Tap และ Swipe

3. AI เห็นหน้าจอ iPhone ได้อย่างไร?

ผ่าน AirPlay Screen Mirroring โดย Legacy Version ส่งไป UxPlay บน Computer ส่วน Current Version ให้ ESP32-S3 รับ AirPlay Stream เอง

4. ข่าว Hackaday ยังตรงกับ GitHub ปัจจุบันไหม?

ตรงกับแนวคิดหลัก แต่ Architecture ในข่าวตรงกับ v0.1.0 / Legacy ขณะที่ Current Main เปลี่ยนระบบแล้ว

5. Current Version ยังต้องมี Computer ไหม?

ไม่ต้องมีระหว่าง Runtime แต่ Official README ระบุว่าต้องใช้ Mac + Xcode สำหรับ Flash Board และ Build/Install App ครั้งแรก

6. Legacy Version ต้องใช้ Mac เท่านั้นหรือไม่?

ไม่ต้อง Legacy Documentation ระบุว่า Computer สามารถเป็น macOS หรือ Linux ได้

7. Current Version ต้องติดตั้ง App บน iPhone หรือไม่?

ต้องติดตั้ง ESP32 Agent App ซึ่งเป็นส่วนของ Current Architecture

8. ใช้ Apple Developer Account แบบเสียเงินหรือไม่?

Current README ระบุว่า Free Apple ID สามารถ Sign App ได้ แต่ต้อง Re-sign ทุก 7 วัน ขณะที่ One-tap Hotspot Join ต้องใช้ Hotspot Configuration Capability ซึ่งผู้พัฒนาระบุว่าเกี่ยวข้องกับ Paid Account หากไม่มีสามารถ Join Hotspot ด้วยตัวเองได้

9. ใช้ ESP32-S3 รุ่นไหน?

ผู้พัฒนาทดสอบกับ Seeed Studio XIAO ESP32S3 รุ่นธรรมดาที่มี 8 MB PSRAM และระบุว่า ESP32-S3 ที่มี Native USB กับ PSRAM ควรใช้งานได้ แต่ Source ไม่ได้ยืนยันว่าทุกบอร์ดผ่านการทดสอบ

10. iPhone รุ่น Lightning ใช้ได้หรือไม่?

Current README ระบุว่า Lightning Model ต้องใช้ Lightning to USB Camera Adapter

11. ใช้ Wi-Fi Internet พร้อม Agent ได้ไหม?

Current Architecture ใช้ Wi-Fi ของ iPhone เชื่อม Hotspot ของ ESP32 ดังนั้น Source ระบุว่า Cloud Model ติดต่อผ่าน Cellular Data

12. Agent มองเห็น Passcode หรือ Apple Pay ไหม?

ไม่ได้ใน Workflow ปัจจุบัน เพราะ iOS ไม่ Mirror หน้าจอบางประเภท เช่น Passcode Entry, Apple Pay และ DRM Video

13. ใช้กับ Landscape App ได้หรือไม่?

Current Source ระบุว่ายังไม่รองรับ เพราะ Coordinate และ Calibration ถูกออกแบบสำหรับ Portrait

14. พิมพ์ภาษาไทยได้หรือไม่?

Current Documentation ระบุ Keyboard Input ว่ายังเป็น ASCII-only ดังนั้น Source ไม่ได้ยืนยันการพิมพ์ภาษาไทยโดยตรง

15. AI รุ่นไหนใช้ได้?

ผู้พัฒนาระบุว่าใช้ OpenAI-compatible Vision Endpoint ที่รับ Image Input ได้ ทั้ง Cloud API หรือ Server ที่ผู้ใช้รันเอง

16. ระบบนี้แม่นแค่ไหน?

Source ที่ใช้ในบทความนี้ ไม่ได้ให้ Success Rate หรือ Accuracy Benchmark ที่สามารถสรุปเป็นเปอร์เซ็นต์ได้

17. ESP32 ใช้ไฟเท่าไร?

Source ที่ใช้ในบทความนี้ ไม่ได้ระบุ Current Consumption หรือ Battery Drain ของ iPhone

18. สามารถใช้ควบคุมโทรศัพท์ของคนอื่นได้หรือไม่?

โปรเจกต์ระบุให้ใช้เฉพาะ Device และ Account ที่ผู้ใช้เป็นเจ้าของหรือได้รับอนุญาต และควรปฏิบัติตาม Terms of Service ของ Application ที่เกี่ยวข้อง

สรุป: ESP32-S3 ไม่ได้เป็น AI แต่เป็น “มือ” ที่เชื่อม AI เข้ากับโลกจริง

สิ่งที่น่าสนใจของ ESP32 iPhone Agent ไม่ใช่แค่ประโยคว่า “ESP32 คุม iPhone ได้” แต่คือวิธีแบ่งระบบออกเป็น การมองเห็น การคิด และการลงมือ

ESP32-S3 รับหน้าที่ฝั่ง Hardware Interface, AirPlay ส่ง State ของหน้าจอ, Vision Model วิเคราะห์ภาพ และ Agent Logic ตัดสินใจ Action ถัดไป

ยิ่งไปกว่านั้น การเปลี่ยนจาก v0.1.0 ที่ต้องมี Computer ไปสู่ Current Version ที่ตัด Computer ออกจาก Runtime แสดงให้เห็นว่า Project นี้กำลังพัฒนาเร็วมาก

สำหรับ Maker นี่จึงเป็น Case Study ที่น่าสนใจของ ESP32-S3, Native USB, BLE, AirPlay, Vision AI และ Closed-loop Automation ที่ทั้งหมดต้องทำงานร่วมกัน ไม่ใช่แค่ Demo AI บนหน้าจออย่างเดียว

References / แหล่งข้อมูลต้นฉบับ

• AI Controls iPhone Via ESP32 — Hackaday
• ESP32 iPhone Agent — Official GitHub Repository
• Legacy v0.1.0 Documentation — Official GitHub
• A $7 ESP32 lets an AI set an alarm on a stock iPhone — Demo Video