ในการสนทนาครั้งล่าสุดของเรา เราได้แนะนำ "Hybrid RAG" เป็นโซลูชันที่ก้าวหน้าซึ่งช่วยปรับปรุงความแม่นยำและความเร็วของฐานความรู้ AI อย่างมาก แต่สิ่งที่เกิดขึ้นจริง ๆ เบื้องหลังคืออะไร? ทำไมวิธีการ "ไฮบริด" นี้จึงมีประสิทธิภาพมากกว่าวิธีการที่เคยมีมาก่อนหน้านี้?
เอกสารนี้ให้คำอธิบายทางเทคนิคที่ละเอียดแต่เข้าถึงได้เกี่ยวกับ Hybrid RAG การเข้าใจกลไกเหล่านี้เป็นสิ่งสำคัญสำหรับผู้นำที่ทำการตัดสินใจเชิงกลยุทธ์เกี่ยวกับการนำ AI ไปใช้
ปัญหาหลัก: ข้อจำกัดของวิธีการค้นหาเพียงวิธีเดียว
ระบบการสร้างข้อมูลที่เสริมด้วยการค้นหาแบบดั้งเดิม (RAG) ขึ้นอยู่กับวิธีการเดียวในการค้นหาข้อมูล ซึ่งโดยทั่วไปแล้วจะมีอยู่สองวิธีดังนี้:
- การค้นหาด้วยคำสำคัญ (หรือการค้นหาทางศัพท์):นี่คือวิธีการค้นหาที่คลาสสิก มันมีความสามารถในการค้นหาเอกสารที่มี คำหรือวลี ที่ตรงตามคำค้นหาของคุณ มันแม่นยำแต่ "โง่"—มันไม่เข้าใจบริบท, คำพ้อง, หรือความหมายที่ซ่อนอยู่ของคำ มันเหมือนกับผู้ช่วยในห้องสมุดที่ละเอียดถี่ถ้วนแต่มีความหมายตรงตัวมากเกินไป
- การค้นหาเวกเตอร์ (หรือการค้นหาทางความหมาย):นี่คือวิธีการที่ทันสมัยและ "ชาญฉลาด" มันใช้โมเดล AI เพื่อแปลงทั้งคำค้นหาของคุณและเอกสารของคุณให้เป็นการแทนค่าทางตัวเลขที่เรียกว่า embeddings(หรือ "เวกเตอร์ที่หนาแน่น") จากนั้นจะค้นหาเอกสารที่ มีความหมายใกล้เคียงกัน ซึ่งหมายความว่ามีความสัมพันธ์เชิงแนวคิด แม้ว่าจะไม่มีคำสำคัญที่เหมือนกันก็ตาม มันเหมือนกับผู้ช่วยในห้องสมุดที่อ่านหนังสือมาก แต่บางครั้งก็ไม่แม่นยำ ซึ่งเข้าใจแนวคิดต่างๆ
ปัญหาที่สำคัญคือ วิธีการทั้งสองไม่สมบูรณ์แบบการค้นหาด้วยเวกเตอร์อาจล้มเหลวในการดึงผลลัพธ์เมื่อคำสำคัญที่เฉพาะเจาะจงและหายาก (เช่น ชื่อผลิตภัณฑ์ รหัสข้อผิดพลาด หรือชื่อบุคคล) มีความสำคัญ ในทางกลับกัน การค้นหาด้วยคำสำคัญจะล้มเหลวโดยสิ้นเชิงเมื่อคำถามของผู้ใช้ใช้คำที่แตกต่างกันในการอธิบายแนวคิดเดียวกัน
ทางออก: Hybrid RAG – การรวมสิ่งที่ดีที่สุดจากทั้งสองโลก
Hybrid RAG(มักเรียกว่า "Hybrid Search" ในบริบทของ RAG) เป็นสถาปัตยกรรมขั้นสูงที่แก้ปัญหานี้โดยการดำเนินการ ทั้งการค้นหาด้วยคีย์เวิร์ดและการค้นหาด้วยเวกเตอร์พร้อมกันและจากนั้นรวมผลลัพธ์อย่างชาญฉลาด
มันรวมความแม่นยำตามตัวอักษรของการค้นหาด้วยคีย์เวิร์ดเข้ากับความเข้าใจเชิงแนวคิดของการค้นหาด้วยเวกเตอร์ สร้างระบบที่มีความแม่นยำและความยืดหยุ่นมากกว่าวิธีใดวิธีหนึ่งเพียงอย่างเดียว
สถาปัตยกรรมทางเทคนิค: สองเครื่องยนต์ หนึ่งผลลัพธ์
ระบบ Hybrid RAG สร้างขึ้นจากเครื่องยนต์การดึงข้อมูลคู่ขนานสองตัวที่ส่งข้อมูลไปยังขั้นตอนการรวมและสร้างผลลัพธ์สุดท้าย
เครื่องยนต์ที่ 1: Sparse Vector Retriever (การค้นหาด้วยคีย์เวิร์ด)
เครื่องยนต์นี้มีหน้าที่รับผิดชอบในการจับคู่ตามศัพท์ มันไม่ใช้ AI embeddings แต่แทนที่จะแสดงเอกสารเป็น"เวกเตอร์ที่กระจาย"
- เวกเตอร์ที่กระจายคืออะไร?ลองนึกภาพพจนานุกรมที่มีคำที่ไม่ซ้ำกันทุกคำในเอกสารทั้งหมดของคุณ เวกเตอร์ที่กระจาสำหรับเอกสารเดียวคือรายการที่บันทึกว่าคำใดในนั้นปรากฏอยู่ เนื่องจากเอกสารใดเอกสารหนึ่งมักจะมีคำเพียงส่วนน้อยจากคำทั้งหมดที่เป็นไปได้ รายการนี้จึงส่วนใหญ่จะ "กระจาย" หรือว่างเปล่า โดยมีเพียงไม่กี่รายการที่ใช้งานอยู่
- อัลกอริธึม (BM25):มาตรฐานทองคำสำหรับการให้คะแนนการจับคู่คำสำคัญเหล่านี้คืออัลกอริธึมที่เรียกว่า Okapi BM25ซึ่งเป็นเวอร์ชันที่ซับซ้อนของ TF-IDF (Term Frequency-Inverse Document Frequency) โดยพูดง่ายๆ BM25 จะให้คะแนนสูงกับเอกสารที่:
- คำสำคัญในคำค้นปรากฏอยู่บ่อยครั้ง ภายในเอกสารนั้น
- คำสำคัญเดียวกันเหล่านั้นมีความ หายาก ทั่วทั้งชุดเอกสารทั้งหมด
- ผลลัพธ์: ตัวดึงเวกเตอร์ที่มีความเบาบางสร้างรายการเอกสารที่จัดอันดับซึ่งมีความ เล็กซิคัลตรงกับคำค้นหาของผู้ใช้
เครื่องยนต์ 2: ตัวค้นหาวัสดุหนา (การค้นหาความหมาย)
เครื่องยนต์นี้มีหน้าที่ในการจับคู่เชิงแนวคิด มันใช้โมเดล AI ที่ทรงพลัง (เช่น BERT หรือโมเดลการฝังของ OpenAI) เพื่อสร้าง"เวกเตอร์หนา"
- เวกเตอร์หนาคืออะไร?เวกเตอร์หนาคือการแทนค่าทางตัวเลขที่กระชับของความหมายของข้อความหนึ่ง ๆ แตกต่างจากเวกเตอร์ที่กระจาย ทุกหมายเลขในรายการนี้มีค่า และตำแหน่งของมันจับภาพแง่มุมที่ละเอียดอ่อนของความหมายเชิงความหมายของข้อความ
- กระบวนการ:คำค้นหาของคุณจะถูกแปลงเป็นเวกเตอร์หนา และระบบจะค้นหาในฐานข้อมูลเฉพาะทางฐานข้อมูลเวกเตอร์ (เช่น Weaviate, Pinecone, หรือ Milvus) เพื่อค้นหาชิ้นส่วนเอกสารที่มีเวกเตอร์ "ใกล้เคียง" ในพื้นที่มิติสูงนี้ โดยความ "ใกล้เคียง" จะถูกวัดโดยใช้มาตรวัดระยะทาง เช่น cosine similarity.
- ผลลัพธ์: ตัวดึงเวกเตอร์หนาแน่นจะผลิตรายการเอกสารที่จัดอันดับซึ่งมีความ สัมพัทธ์ หรือ แนวคิด ที่ตรงกับคำค้นหาของผู้ใช้.
ขั้นตอนการรวม: การสร้างอันดับเดียวที่เป็นเอกภาพ
ขณะนี้ระบบมีรายการผลลัพธ์ที่จัดอันดับแตกต่างกันสองรายการ—หนึ่งอิงจากคำสำคัญและอีกหนึ่งอิงจากความหมาย ความมหัศจรรย์ของ Hybrid RAG เกิดขึ้นจากวิธีที่มันรวมเข้าด้วยกันอย่างชาญฉลาด วิธีที่ทันสมัยและมีประสิทธิภาพที่สุดสำหรับเรื่องนี้คือ Reciprocal Rank Fusion (RRF) .
- วิธีการทำงานของ RRF: RRF เป็นอัลกอริธึมที่สง่างามซึ่งรวมรายการโดยมุ่งเน้นที่ อันดับ ของเอกสาร ไม่ใช่คะแนนดิบของมัน เอกสารแต่ละฉบับจะได้รับคะแนนใหม่ตามค่าผกผันของอันดับในแต่ละรายการที่ปรากฏอยู่ สูตรโดยทั่วไปคือ: คะแนน = 1 / (k + อันดับ) โดยที่ k เป็นค่าคงที่ (ปกติคือ 60) ที่ใช้เพื่อควบคุมอิทธิพลของรายการที่มีอันดับสูงสุด
- ข้อได้เปรียบ:วิธีนี้มีประสิทธิภาพสูงเนื่องจากมันให้ความสำคัญกับเอกสารที่ปรากฏอยู่ในอันดับสูง ทั้งสองรายการ เอกสารที่ตรงกับคำหลักอย่างชัดเจน (มีอันดับสูงในรายการ BM25) และมีความหมายตรง (มีอันดับสูงในรายการค้นหาด้วยเวกเตอร์) จะได้รับคะแนนรวมที่สูงมาก นอกจากนี้ยังหลีกเลี่ยงกระบวนการที่ซับซ้อนและมักไม่เชื่อถือได้ในการพยายามทำให้ระบบคะแนนที่แตกต่างกันอย่างสิ้นเชิงของ BM25 และการค้นหาด้วยเวกเตอร์เป็นมาตรฐานเดียวกัน
ขั้นตอนสุดท้าย: การสร้าง
เมื่ออัลกอริธึม RRF สร้างรายการที่ถูกจัดอันดับใหม่อย่างชาญฉลาดของเอกสารที่เกี่ยวข้องที่สุด รายการเหล่านี้จะถูกส่งต่อพร้อมกับคำถามของผู้ใช้เดิมไปยัง Large Language Model (เช่น GPT-4, Claude) LLM ตอนนี้มีชุดบริบทที่มีความเกี่ยวข้องสูงและเลือกมาอย่างแม่นยำเพื่อสังเคราะห์เป็นคำตอบสุดท้ายที่ถูกต้อง
สรุป: คุณค่าทางยุทธศาสตร์ของแนวทางแบบผสม
โดยการนำสถาปัตยกรรม Hybrid RAG มาใช้ คุณกำลังสร้างระบบที่สามารถเอาชนะจุดอ่อนที่มีอยู่ของวิธีการดึงข้อมูลเพียงวิธีเดียว มันทำให้แน่ใจว่าคุณสามารถหาหัวเข็มในฟางได้เมื่อคำหลักที่แน่นอนมีความสำคัญ ในขณะที่ยังเข้าใจบริบทและความหมายที่กว้างขึ้นเมื่อคำถามของผู้ใช้มีลักษณะนามธรรมมากขึ้น
วิธีการที่ใช้เครื่องยนต์คู่แบบนี้คือสิ่งที่ช่วยลดข้อผิดพลาดได้อย่างมาก มันมอบข้อมูลที่หลากหลายและเชื่อถือได้มากขึ้นให้กับ LLM ซึ่งช่วยปรับปรุงคุณภาพของคำตอบที่สร้างขึ้นในที่สุดอย่างมีนัยสำคัญ และมอบความได้เปรียบทางการแข่งขันที่ทรงพลังให้กับองค์กรของคุณในโลกที่ขับเคลื่อนด้วยข้อมูล
