Lesson 04 · คาบเช้า 28 ต.ค. · ~20 นาที

Deep Learning คืออะไร และ Embedding vector

โยงกับสไลด์ DL 10–16, 24

เป้าหมายบทนี้: อธิบายว่า DL ต่างจาก ML ตารางอย่างไร และบอกได้ว่า embedding vector คืออะไร

1จาก Neural Network สู่ Deep Learning

สไลด์ DL 10: Neural Network ที่มี input X1 X2, hidden H1–H3 (tanh) และ output
สไลด์ 10ดู forward pass กับ backward pass ในสไลด์ 11

จุดเปลี่ยนสำคัญของวงการคือ back-propagation หลังจากมันเกิดขึ้น เราสามารถนิยามโครงสร้างอะไรก็ได้ แล้วให้เครื่อง (solver) หาค่า weight ให้เอง (ช่วงเช้า ไม่มีไทม์สแตมป์)

สไลด์ 12 กล่าวถึงรางวัลโนเบลของผู้ประดิษฐ์ back-propagation และ Hopfield network (เป็นข้อมูลประกอบ ไม่ใช่ประเด็นสอบ)

2ML ตารางกับ DL ต่างกันที่ข้อมูล

สไลด์ DL 13: ตารางตัวอย่าง Age, Income, Gender, Province, Corona
สไลด์ 13ดูว่าแต่ละคอลัมน์ "คนเป็นคนกำหนด"

ถ้าภาพแอปเปิ้ลกับกล้วย คนยังบอกได้ว่าใช้ สี กับ รูปทรง แต่ถ้าเป็นหมากับแมว จมูกเหลี่ยมหรือกลม? คนบอกไม่ครบ ก็ให้คอมบอก

ถ้าแปลงภาพเป็นตารางแล้ว (สกัดสี รูปทรงมาเป็นคอลัมน์) ก็ใช้ Decision Tree, Regression, kNN ได้เหมือนเดิม ปัญหาอยู่ที่การสกัดฟีเจอร์ ซึ่ง DL ทำให้อัตโนมัติ

โจทย์ของ DL ยังเป็น 3 ประเภทเดิม supervised ถ้าภาพมี label, unsupervised ถ้าไม่มี (เช่น จัดกลุ่มรูปภาพ), และ RL

3Embedding vector

สไลด์ DL 15: เลเยอร์ซ้อนกัน แต่ละชั้นแปลงข้อมูลเป็นรูปแบบนามธรรมขึ้น (edge → nose → face) และเวกเตอร์ x1..x4
สไลด์ 15ดูเวกเตอร์ 0.7, 0.2, −0.5, −0.1 ที่ใช้ทำนาย Yes

เวกเตอร์ตัวเลขที่ โมเดล DL สกัดมา เป็นตัวแทนของข้อมูลหนึ่งชิ้น (รูปแมวหนึ่งรูป, ข้อความหนึ่งประโยค) เทียบได้กับ "แถวเดียวในตาราง" แต่ต่างตรงที่ ไม่มีใครรู้ว่าแต่ละมิติหมายถึงอะไร รู้แค่ว่ามัน "เหมาะกับโจทย์"

ความหมายของ feature ที่สกัดจะลึกขึ้นตามชั้น: ชั้นต้น ๆ ได้ low-level feature (เส้นขอบ) ชั้นลึกได้ high-level feature (จมูก ใบหน้า)

อาจารย์ย้ำว่า DL ทุกตัวในโลกจะมี embedding vector ออกมาเสมอ (ใช้ซ้ำในบท RAG: ข้อความก็แปลงเป็น embedding เพื่อค้นหา)

ลากจุด "รูปใหม่" ในแผนที่ embedding สมมุติ (2 มิติ) ดูว่ามันอยู่ใกล้กลุ่มไหนแล้วถูกทำนายเป็นอะไร

รูปแมวหนึ่งรูปแปลงเป็น embedding ได้ [0.7, 0.2, −0.5, −0.1] ฟีเจอร์ที่ 1 หมายถึงอะไร

ไม่มีใครรู้ (เหมือน black box) รู้เพียงว่าเวกเตอร์นี้เหมาะกับโจทย์ เช่น แบ่งหมากับแมว

4ทำไม DL เกิดตอนนี้

สไลด์ DL 24: Why now: Big data, GPU, Deep
สไลด์ 24ดู 3 เหตุผลในสไลด์
  1. ข้อมูลไม่ใช่ตารางเพิ่มขึ้น (ยุคมือถือ ภาพ/เสียง/ข้อความเยอะ) และ DL ใช้ข้อมูลเยอะได้ดีกว่าโมเดลอื่น
  2. GPU: Neural Network คือการคูณเมทริกซ์ GPU เร็วกว่า CPU ราวสิบเท่า ทำให้เทรนโมเดลใหญ่ได้
  3. โมเดลลึกขึ้น/เทคนิคดีขึ้น (ลึกขึ้นหลีกเลี่ยง local minima ที่ไม่ดีได้ง่ายขึ้น)

สมการ regression มีตัวแปรหลักหน่วย ส่วน Neural Network หนึ่งชั้นมีหลักพันถึงหมื่น DL ซ้อนหลายสิบร้อยชั้นมี weight หลักร้อยล้านตัว (VGG19 ราว 144 ล้านพารามิเตอร์ตามที่อาจารย์เอ่ย) นี่คือเหตุผลว่าทำไมมันเก่ง: โมเดลใหญ่จุความรู้ได้มากแต่เทรนด้วยข้อมูลน้อยไม่ไหว (นำไปสู่บท Pretrained)

5ลองทำ

อ่านเพิ่ม / ที่มา

ติดตรงไหน ถาม Claude ได้เลย บอกเลขบทกับเลขข้อมาด้วย