สวัสดีเพื่อนๆ สาย Maker, สตาร์ทอัป และนักพัฒนา AI ทุกคนครับ! 🤖 ยุคนี้ใครๆ ก็อยากมี **Local LLM (Large Language Model)** รันอยู่บนเครื่องตัวเองใช่ไหมครับ? เพราะนอกจากเรื่องความเป็นส่วนตัว (Privacy) ข้อมูลไม่หลุดไปไหนแล้ว ยังได้เรื่อง Zero Latency ทำงานไวทันใจ แถมไม่ต้องคอยจ่ายค่า Subscriptions รายเดือนให้คลาวด์ค่ายต่างๆ อีกด้วย

แต่ Pain Point ใหญ่ระดับชาติของสายประกอบคอม AI คือการหาการ์ดจอที่มี **VRAM สูงๆ** มาโหลดโมเดลขนาดใหญ่ เช่น 14B ถึง 32B! ถ้าไปเล่นการ์ดฝั่งเกมมิ่งตัวท็อปอย่าง Nvidia GeForce RTX 3090 หรือ RTX 4090 ราคาก็พุ่งไปไกลหลักหลายหมื่นจนถึงหลักแสน สู้จ่ายค่าคลาวด์ยังคุ้มกว่า! วันนี้เราเลยจะพามาดูโปรเจกต์ของ **[Dilshan Jayakody]** ที่แก้ปัญหานี้ได้อย่างชาญฉลาด ด้วยการจับการ์ดสาย Server ในตลาดมือสองอย่าง Nvidia Tesla V100 32GB (SXM2) มาทำเป็น **Dual-GPU 64GB VRAM** ในงบสุดประหยัดครับ!

สเปกฮาร์ดแวร์สายถึก งบประหยัดแต่ VRAM แน่น 🛠️⚙️

เพื่อให้ได้ประสิทธิภาพการประมวลผลสูงสุดและคุมงบประมาณให้ต่ำที่สุด ระบบนี้ถูกจัดสรรด้วยอุปกรณ์ระดับมืออาชีพผสมผสานกับอะไหล่ในตลาดมือสองดังนี้ครับ:

• Dual Processors: ใช้ชิปประมวลผล Intel Xeon E5-2695 V3 จำนวน 2 ตัว รวมเป็น 28 Cores 56 Threads รองรับงาน Compile โค้ดหนักๆ ได้สบาย
• Motherboard: บอร์ดจีนสายโหด Machinist D8 MAX X99 Gaming แบบ Dual-Socket LGA2011-3 ให้ช่อง PCIe Lane เพียงพอต่อการเชื่อมต่อ
• RAM 128GB: ใช้ Kingston DDR4 3200MHz ขนาด 16GB จำนวน 8 แถว สำหรับ Caching ข้อมูลระบบ
• Dual Tesla V100 32GB (รวม 64GB HBM2 VRAM): การ์ดตัวแรงสาย Enterprise ที่ให้ Bandwidth สูงลิบ offload โมเดลระดับ 14B - 32B เข้าแรมได้ทั้งก้อน
• PCIe Switch & NVLink: การ์ดขยาย PLX8749 Expansion Card ร่วมกับ Dual GPU NVLink Board และใช้สายเคเบิลสัญญาณหนาแน่นสูง SFF-8654 (SlimSAS) จำนวน 4 เส้น เพื่อรักษาเสถียรภาพสัญญาณ PCIe ความถี่สูง
• Display Output: การ์ดจอใบจิ๋ว Nvidia GT210 1GB สำหรับแสดงผลหน้าจอหลัก เพราะ Tesla V100 ไม่มีพอร์ตต่อหน้าจอ
• Dual Power Supply: ใช้พาวเวอร์ซัพพลาย ASUS 750W ATX PSU จำนวน 2 ตัว ร่วมกับ 230V Y-Splitter โดยแยกจ่ายไฟให้ตัวเครื่อง 1 ตัว และจ่ายแยกให้การ์ดจอ Tesla V100 อีก 1 ตัวเพื่อรับมือกับ transient power spikes

โครงสร้างแท่นเครื่อง 2 ชั้น V-Slot Aluminium Profile 📐📦

เนื่องจากเคส ATX ปกติไม่สามารถใส่การ์ดแบบ Passive Server ร่วมกับชุดระบายความร้อนด้วยน้ำได้ ผู้สร้างจึงออกแบบแท่นเครื่อง Open-frame ขนาด 440mm × 440mm × 220mm จาก **อลูมิเนียมโปรไฟล์ 2020 (V-Slot 2020)** แบ่งเป็น 2 ชั้นอย่างเป็นระเบียบ:

• ชั้นล่าง (Bottom Rack): ยึดเมนบอร์ด X99, พาวเวอร์ซัพพลายหลัก, NVMe SSD และ HDD SAS / SATA 3TB สำหรับเก็บไฟล์โมเดล
• ชั้นบน (Top Rack): ยึดชุดการ์ดจอ Dual Tesla V100, พาวเวอร์ซัพพลายชุดที่สอง และแผงหม้อน้ำระบายความร้อน

ม็อดระบบน้ำคัสตอม ดับความร้อนการ์ดสาย Server 🌊❄️

การ์ด Tesla V100 ปกติเป็นแบบ Passive Cooling ที่ต้องพึ่งพัดลมตู้ Server เสียงดังบาดหู ผู้สร้างจึงดัดแปลงนำชุดน้ำปิด Gamdias Aura GL360 360mm Liquid Cooler จำนวน 2 ชุดมาดัดแปลงใส่แทน และเปลี่ยนพัดลมหม้อน้ำเป็นพัดลมรอบสูงเกรดอุตสาหกรรม Foxconn PVA080G12Q 80mm 4-pin พร้อมติดพัดลมเป่าตรงไปยังภาคจ่ายไฟ VRM ของการ์ดจออีกด้วย

ในการไขน็อตยึดหน้าสัมผัสชิป V100 HBM2 ได้มีการใช้ไขควงวัดแรงบิด (Torque Screwdriver) ขันไขว้สลับทแยงมุมด้วยแรงบิดเป๊ะๆ ที่ **0.25 N·m** เพื่อป้องกันไม่ให้ชิปซิลิคอนแตกร้าวและทำให้ซิลิโคนระบายความร้อนกระจายตัวเรียบเนียนที่สุดครับ!

รูปภาพฮาร์ดแวร์และการประกอบแท่นเครื่อง 📸

หน้าสัมผัสชิปประมวลผล Nvidia Tesla V100 พร้อมแรม HBM2 บนแพ็กเกจ

ไดอะแกรมโครงสร้างสถาปัตยกรรมระบบการเชื่อมต่อ PCIe และ NVLink

แบบแปลน 3D โครงสร้าง V-Slot 2020 Aluminum Extrusion แท่นเครื่อง 2 ชั้น

การประกอบเมนบอร์ด Dual Xeon และพาวเวอร์ซัพพลายในชั้นล่าง (Bottom Rack)

บอร์ด NVLink Carrier ติดตั้งการ์ด Tesla V100 SXM2 สองใบ

การติดตั้งชุดน้ำปิด 360mm และพัดลมระบายความร้อนบนแท่นชั้นบน (Top Rack)

การ์ดสวิตช์ PLX8749 และการเสียบสายเคเบิลความเร็วสูง SFF-8654 (SlimSAS)

ตำแหน่งการตั้งค่าสวิตช์จัมเปอร์ SW1 และ SW2 บนการ์ด PLX8749

หน้าจอการตรวจพบการ์ด Tesla V100 32GB ทั้งสองใบผ่านคำสั่ง nvidia-smi บน Ubuntu Server

---

ขั้นตอนการติดตั้งระบบปฏิบัติการและตั้งค่า Ollama (Code Snippet) 💻

ติดตั้งระบบปฏิบัติการ Ubuntu Server จากนั้นลงไดรเวอร์ Nvidia และย้ายไดเรกทอรีเก็บโมเดลไปไว้ที่ HDD 3TB:

# 1. อัปเดตแพ็กเกจและติดตั้ง Nvidia Driver
sudo apt update
sudo apt install -y nvidia-driver-535 nvidia-utils-535
sudo reboot

# 2. ตรวจสอบการทำงานของการ์ดจอ
nvidia-smi

# 3. ติดตั้ง Ollama รันโมเดลภาษา
curl -fsSL https://ollama.com/install.sh | sh

# 4. ย้ายโฟลเดอร์เก็บโมเดลไปที่ HDD 3TB (/home/ollama_models)
sudo mkdir -p /home/ollama_models
sudo chown -R ollama:ollama /home/ollama_models

# 5. แก้ไขไฟล์บริการ Ollama เพื่อเปลี่ยนเส้นทางเก็บไฟล์
sudo systemctl edit ollama.service

# เพิ่มบรรทัดต่อไปนี้ลงในส่วน [Service]:
# [Service]
# Environment="OLLAMA_MODELS=/home/ollama_models"
# Environment="OLLAMA_HOST=0.0.0.0:11434"

# 6. รีโหลดบริการ Ollama
sudo systemctl daemon-reload
sudo systemctl restart ollama

Copy Code

การเชื่อมต่อระบบเข้ากับ VS Code ด้วยปลั๊กอิน Continue (config.json) 💻

{
  "name": "Main Config",
  "version": "1.0.0",
  "schema": "v1",
  "models": [
    {
      "name": "Qwen2.5 Coder 14B (Chat)",
      "provider": "ollama",
      "model": "qwen2.5-coder:14b",
      "apiBase": "http://:11434",
      "roles": ["chat", "edit", "apply"],
      "capabilities": ["tool_use"]
    },
    {
      "name": "Qwen2.5 Coder 32B (Chat)",
      "provider": "ollama",
      "model": "qwen2.5-coder:32b",
      "apiBase": "http://:11434",
      "roles": ["chat", "edit", "apply"],
      "capabilities": ["tool_use"]
    }
  ]
}

Copy Code