localllm
เริ่มต้นใช้งาน

ติดตั้งและเปิดใช้

สองคำสั่ง ครั้งแรกจะดาวน์โหลด llama.cpp (~30 MB) และโมเดลหนึ่งตัว (8-14 GB) ครั้งเดียว ก่อนดาวน์โหลดโมเดลจะแสดงว่าเครื่องคุณรันอะไรได้และถามก่อน

ติดตั้ง

  1. มี Python 3.9 ขึ้นไป (เช็กด้วย python --version) บน Windows ตอนติดตั้งให้ติ๊ก "Add python.exe to PATH"
  2. ติดตั้ง: pip install make-localllm-easier
  3. พิมพ์ localllm หน้าแชทจะเปิดในเบราว์เซอร์เมื่อโมเดลโหลดเสร็จ
install and run
$ pip install make-localllm-easier
$ localllm

ไม่มี Python?

ตั้งแต่เวอร์ชัน 0.7.1 ทุก release จะมีไฟล์ localllm ไฟล์เดียวสำหรับ Windows, macOS และ Linux ดาวน์โหลดแล้วรันจาก terminal ได้เลย

คำสั่งที่ใช้บ่อย

localllm chat        # แชทใน terminal (พิมพ์ไทยได้)
localllm --ui        # หน้าแชทที่บันทึกบทสนทนาไว้ในเครื่อง
localllm doctor      # การ์ดจอนี้รันโมเดลขนาดไหนได้ เร็วแค่ไหน ใช้ RAM เท่าไร
localllm list        # โมเดลทั้งหมดที่วัดแล้ว พร้อมคะแนนแต่ละภาษา
localllm tune        # วัดค่าที่เร็วที่สุดสำหรับเครื่องนี้ (ครั้งเดียว ไม่กี่นาที)
localllm eval --langs en,th   # วัดคะแนนภาษาไทยของ server ที่รันอยู่

ใช้กับแอปอื่น: base URL http://127.0.0.1:8080/v1 ใส่ API key อะไรก็ได้ (ตัวอย่าง API)

ปัญหาที่พบบ่อย

พิมพ์ localllm แล้วไม่เจอคำสั่ง

pip ติดตั้งไว้ในโฟลเดอร์ที่ไม่อยู่ใน PATH ใช้ python -m localllm แทนได้ ผลเหมือนกัน

ขึ้นว่า "no measured model fits this GPU yet"

โมเดลที่เล็กที่สุดในตอนนี้ต้องใช้ VRAM ประมาณ 10 GB รัน localllm doctor เพื่อดูว่าการ์ดของคุณใส่โมเดลขนาดไหนได้

ช้ากว่าตัวเลขบนเว็บ

รัน localllm tune ถ้าเป็นการ์ด AMD/Intel บน Windows ให้เปิด Resizable BAR ใน BIOS (อ่านเพิ่ม) และถ้า doctor เตือนว่าโมเดลล้นไปใช้ RAM ให้ปิดโปรแกรมที่ใช้การ์ดจอหนัก ๆ

ไฟล์อยู่ที่ไหน ลบยังไง

ทุกอย่างอยู่ใน ~/.localllm/ (โมเดล, llama.cpp, บทสนทนาที่บันทึก) ลบโฟลเดอร์นี้ก็ลบหมด

เจอปัญหาอื่น เปิด issue แนบผลของ localllm doctor มาด้วย (เขียนภาษาไทยได้)