สวัสดีชาว Maker และสายรัน AI ทุกคนครับ! ⚡ ยุคนี้การทำ Local AI หรือการรันโมเดลภาษา (LLM) ไว้ใช้อย่างเป็นส่วนตัวบนบอร์ดจิ๋วอย่าง Raspberry Pi หรือ Mini PC กำลังได้รับความนิยมสุดๆ ใช่ไหมครับ? แต่ปัญหาใหญ่ที่เจอกันประจำคือ **"RAM ไม่พอ!"** เพราะระบบปฏิบัติการ (OS) ทั่วไปอย่าง Linux หรือ Windows ต่างก็จองพื้นที่ RAM และดึงแบนด์วิธของเมมโมรีไปใช้จัดระบบล่างๆ กันซะเยอะ

แต่วันนี้มีโปรเจกต์ทดลองสุดปั่นแต่โคตรล้ำอย่าง **"NightRun"** ออกมาแก้ Pain Point นี้แล้วครับ! แทนที่จะรันโมเดลผ่าน OS มันกลับสร้างตัวเองเป็น **UEFI Application** ให้เราเสียบ USB Drive หรือ MicroSD Card แล้วบูตเครื่องตรงเข้าหน้าแชตของ Local AI ได้ทันทีแบบไม่อิง Linux Kernel หรือซอฟต์แวร์เบื้องหลังใดๆ ทั้งสิ้น!

ทำไมการ "ไร้ OS" (Bare-Metal) ถึงทรงพลังกว่า? 🧠⚡

พอไม่มีระบบปฏิบัติการกั้นกลาง สิ่งที่ NightRun ได้รับกลับมาเต็มๆ คือเรื่องของประสิทธิภาพครับ:

• คืนพื้นที่ RAM ทั้งหมดให้ AI: RAM และ Memory Bandwidth เกือบ 100% จะถูกนำมาใช้สำหรับการประมวลผลโมเดลภาษา (AI Inference)
• โหลดโมเดลเข้า RAM ตรงๆ: รันไทม์ที่เขียนด้วยภาษา Rust จะโหลดไฟล์โมเดลขนาดใหญ่ (1.3 GB ถึง 2.4 GB) เข้าสู่ RAM โดยตรง พร้อมตรวจสอบ CRC-32 Checksum เพื่อความถูกต้อง
• ระบบความปลอดภัยแบบ Sealed Storage: หลังจากโหลดโมเดลเสร็จ ตัวดิสก์จะถูก "ซีล" ล็อกไว้ หากมีคำสั่งพยายามอ่านข้อมูลจากดิสก์อีก ระบบจะส่ง Hard Fault ทันที
• Zero-Copy Design: ประมวลผลไฟล์โมเดล Quantized (Q8_0, Q4_K, Q6_K) จาก RAM ได้ตรงๆ โดยไม่ต้องเสียเวลา Dequantization
• หน้าจอแชตในตัว (Built-in Framebuffer UI): ไม่ต้องง้อระบบ Window หรือ Desktop GUI เพราะมันเขียนหน้าจอแชต ควบคุมพัดลมระบายความร้อน และแสดงสถิติความเร็ว (Live Stats) ผ่าน UEFI Boot Services ตรงๆ เลย

โมเดลที่รองรับ และประสิทธิภาพความเร็ว 📊

ปัจจุบัน NightRun รองรับโมเดลที่แปลงเป็นฟอร์แมต `.nrm` ดังนี้ครับ:

• Llama 3.2 1B: ต้องการ RAM ขั้นต่ำ 4GB (ทำความเร็วบน x86 VM ได้ราวๆ 20 Tokens/sec)
• Llama 3.2 3B & Granite 4.1 3B: ต้องการ RAM ขั้นต่ำ 6GB
• Qwen3 4B Instruct 2507: ต้องการ RAM ขั้นต่ำ 8GB
• ความเร็วบน Raspberry Pi 5 (8GB): โมเดล Granite 4.1 3B (Q4_K_M) สามารถปั่นข้อความออกมาระดับ 3.0 Tokens/sec ผ่านคำสั่ง NEON Kernels ของ ARM ได้อย่างน่าประทับใจ

เทียบกับโปรเจกต์ก่อนหน้านี้อย่าง LLMStick ที่ใช้ระบบปฏิบัติการ Linux ฉบับย่อส่วน (เช่น Alpine หรือ DietPi) เจ้า NightRun ถือว่าเป็นมิติใหม่ของการสร้าง UEFI Runtime Appliance สำหรับอุปกรณ์ Consumer Hardware อย่างแท้จริงครับ!

รูปภาพหน้าจออินเทอร์เฟซภาพจำลอง และการประมวลผล 📸

หน้าต่างแชตแบบ Framebuffer ขณะโมเดล Granite 4.1 3B กำลังเจนคำตอบ

คำตอบที่เจนเรียบร้อย พร้อมแสดงสถิติการประมวลผล (Live Inference Statistics) ที่ Status Bar ด้านล่าง

ภาพเคลื่อนไหวสาธิตความเร็วในการบูตเข้าหน้าแชตและการตอบคำถามของ NightRun

---

ตัวอย่างคำสั่งสร้างแผ่นบูต NightRun บน Linux (Code Snippet) 💻

สคริปต์ติดตั้งของ NightRun จะมีระบบความปลอดภัยป้องกันการสั่ง Flash ทับดิสก์ โดยผู้ใช้ต้องพิมพ์คำสั่งยืนยันให้ตรงเป๊ะดังนี้:

# ตัวอย่างการสั่ง Flash ภาพอิมเมจ NightRun ลงอุปกรณ์ MicroSD / USB
# โปรดระบุ /dev/sdX ให้ตรงกับไดรฟ์ของ Flash Drive หรือ MicroSD Card
./install_nightrun.sh --target /dev/sdX

# ระบบจะขึ้นเตือนความปลอดภัยเพื่อป้องกันการเขียนทับไดรฟ์หลัก
# ผู้ใช้จะต้องพิมพ์ข้อความด้านล่างนี้เพื่อยืนยันการดำเนินการ:
FLASH /dev/sdX

Copy Code