Lesson 09 · คาบบ่าย 28 ต.ค. (วิดีโอ 1:34–1:52) · ~25 นาที

RAG และ Fine-tuning เทียบกับ RAG

โยงกับสไลด์ LLM 40–53

1ปัญหา: Hallucination

2RAG: Retrieval-Augmented Generation

ขั้นที่ 1: Parse และ Chunk

• chunk เล็กเกิน → ขาด context
• chunk ใหญ่เกิน → ดึงมาแล้วมี noise
• ถ้าทำได้ ตัดตามโครงสร้าง (หัวข้อ ตาราง)

ขั้นที่ 2: Embedding

แปลงแต่ละ chunk เป็น embedding vector (ต่อจากบท 4: ข้อความก็เป็น non-tabular ที่ DL แปลงเป็นเวกเตอร์ได้) เก็บใน Vector DB ข้อความที่ความหมายใกล้กันจะได้เวกเตอร์ใกล้กัน

ขั้นที่ 3: Vector search

$$ \cos(q,d)=\frac{q\cdot d}{\lVert q\rVert\,\lVert d\rVert} $$

ลากเวกเตอร์ของคำถามไปรอบ ๆ ดู chunk ที่มุมใกล้กัน (cosine สูง) ถูกเลือกเป็น top-k

ยิ่งใกล้ 1 ยิ่งความหมายใกล้ ดึง top-k chunk มาเป็น context

ขั้นที่ 3.5: Sparse, Dense, Hybrid, Rerank

Hybrid = ใช้ทั้งสองอย่าง (สไลด์ 47: ไม่ได้แทนกัน แต่เสริมกัน)

Retrieve กว้าง ๆ ก่อน (recall) แล้ว Rerank ให้แม่น (precision) ส่งเฉพาะ top 5 ให้ LLM

ขั้นที่ 4: Generate

LLM อ่าน question + context ที่ค้นได้ แล้วตอบ ถ้า retrieval แย่ hallucination ยังเกิดได้ (สไลด์ 51: "Higher if retrieval techniques/tools is weak")

3Fine-tuning เทียบกับ RAG

Fine-tuning ปรับ พฤติกรรม (how the model behaves) · RAG ปรับ ความรู้ (what the model knows)

4ธีมของอาจารย์: เลือก pretrained model ให้ถูกโดเมน

5ลองทำ

ติดตรงไหน ถาม Claude ได้เลย บอกเลขบทกับเลขข้อมาด้วย