
523: OpenSearch עם דותן מ-AWS
בפרק 523 של רברס עם פלטפורמה, אורי להב ורן תבורי מארחים את דותן הורוביץ מ-AWS לשיחת עומק מרתקת על עולם החיפוש המודרני. יחד הם צוללים אל מאחורי הקלעים של פרויקט הקוד הפתוח OpenSearch, מבינים את ההבדלים בין חיפוש לקסיקלי לסמנטי, ומגלים איך בינה מלאכותית ו-Agents משנים לחלוטין את הדרך שבה אנחנו שולפים מידע. [00:20] היכרות עם דותן ואסטרטגיית ה-Open Source ב-AWS היכרות עם דותן הורוביץ, שמוביל את תחום ה-Open Source גלובלית ב-AWS. הצוות מתעסק באסטרטגיית קוד פתוח (Inbound ו-Outbound), תרומה לפרויקטים, וקרדיטים לקהילה ול-Foundations. הפרויקטים הבולטים כוללים את OpenSearch וכן את Valkey (שהתחיל כפורק של Redis). [03:46] מה זה בעצם OpenSearch ולמה לעשות Fork? OpenSearch הוא לא רק מוצר, אלא פרויקט קוד פתוח רשמי תחת ה-Linux Foundation (Top level project). מנוהל על ידי Governing Board של חברות כמו IBM, Intel, SAP ו-Uber, מה שמבטיח שלא יהיה נשלט בלעדית על ידי חברה אחת. הרקע להקמת הפרויקט: בשנת 2021, חברת Elastic החליטה לשנות את רישיון הקוד הפתוח (Apache 2.0) של ElasticSearch לרישיון מסחרי סגור יותר (SSPL). הצעד הזה, שמכונה "Rug pulling" (משיכת השטיח מתחת לרגליים), הוביל את הקהילה לייצר Fork כדי לשמור על הפרויקט פתוח באמת. השיעור החשוב: בבחירת פרויקט Open Source, אסור להסתכל רק על הרישיון, אלא גם על ה-Sustainability והמודל העסקי מאחוריו (Vendor-owned vs. Foundation-owned). שימושים נפוצים (Use cases): Observability (לוגים, ניטור, APM, Tracing). מנוע חיפוש מתקדם (לקסיקלי, סמנטי והיברידי). Vector Database שמגיע Out of the box. [12:05] חיפוש לקסיקלי (Lexical Search) חיפוש המבוסס על התאמת Keywords ומילים (Tokens). מצוין לחיפושים מדויקים שבהם אנחנו יודעים בדיוק מה אנחנו מחפשים ורוצים אפס אינטרפרטציות (למשל: חיפוש כתובת IP ספציפית, מק"ט או שם מותג כמו "נייקי" מול "ריבוק"). כולל יכולות מתקדמות של Full text search כמו Stemming (הבנת הטיות של פעלים: "רץ", "רצתי", "רצים") וסינון לפי טווחים נומריים (Facets). איך מסיקים רלוונטיות? מנגנון הדירוג משתמש באלגוריתמים קלאסיים כמו TF-IDF ו-BM25, שבודקים כמה פעמים המילה מופיעה במסמך ביחס לגודלו ולכמות המסמכים הכללית. המנוע הלקסיקלי של OpenSearch מבוסס על ספריות Apache Lucene. [20:50] חיפוש סמנטי (Semantic Search) בניגוד לחיפוש לקסיקלי, בחיפוש סמנטי אנחנו מחפשים על גבי ייצוג וקטורי (Embeddings) במרחב רב-מימדי. Embedding model (רשת נוירונים) הופך טקסט או דאטה אחר למערך של אלפי מספרי Floating points (וקטורים). פריטים שקרובים במשמעותם הסמנטית "ישבו" קרוב אחד לשני במרחב (למשל, נעלי אדידס וריבוק, גם אם המילים עצמן שונות לחלוטין). היציאה מגבולות הטקסט: מודלים שהם Multi-modal מאפשרים לאנדקס ולחפש לא רק טקסט אלא גם תמונות, קול, וידאו ואפילו קבצי PDF שמכילים שילוב של טבלאות, דיאגרמות וטקסט. האתגר ההנדסי בשליפה של וקטורים: אלגוריתם KNN (K-Nearest Neighbors) קלאסי רץ ב-Brute force על כל הווקטורים ומחשב מרחקים, מה שלא סקיילבילי בעליל. הפתרון בתעשייה הוא שימוש באלגוריתמים מסוג ANN (Approximated KNN) כמו HNSW ו-IVF כדי לשפר ביצועים תוך התפשרות קלה על דיוק. מתקיים כל הזמן טרייד-אוף בין Recall (אחוז התוצאות הנכונות מכלל המידע שהבאנו) ל-Precision (כמה מתוך מה שהבאנו הוא רעש). [35:50] חיפוש היברידי (Hybrid Search) ודירוג מחדש (Re-ranking) שילוב של חיפוש לקסיקלי וסמנטי באותה שאילתה כדי לתת מענה מיטבי לכוונת המשתמש. האתגר הגדול: נורמליזציה. צריך לחבר ציונים (Scores) שמגיעים משני מנועים ומרחבים שונים לחלוטין ולהפיק רשימת תוצאות אחת קוהרנטית (Unified list). שימוש ב-LLMs בשלב האחזור (Over-fetching ו-Re-ranking): … להמשך הערות הפרק באתר
- Transcript
- Chapters


















