אדווה: היי לכולם, אני אדווה שיסגל ואתם הגעתם ל-Startup for Startup . חודש אוגוסט הגיע ואנחנו עומדים להקדיש את כולו לנושא שיהיה לכם קל וכיף לצרוך, גם אם אתם בחופש. בכל פרק בחודש נזכור איך אפשר להשתמש ב-AI כדי לאפטם ולשפר תחום אחר בסטארטאפ שלנו, מה הכלים שקיימים ואיך נכון להשתמש מהם. ובפרק של היום נדבר על איך אפשר להשתמש ב-AI כדי לייעל את כל תחום שירות הלקוחות,ה- CX ולצורך זה נמצאים איתי אוהד הגדיש Data Scientist ליד במאנדי, היי אוהד.

אוהד: היי אדווה.

אדווה: וזיו שכטמן System Project Manager ב-CX שביחד הובילו את המהלך במאנדי, היי זיו.

זיו: היי כולם.

אדווה: זהו. ואנחנו באמת נדבר היום על למה בעצם, מה ההזדמנות בלהכניס AI לתוך השירות לקוחות שלנו, איך עשינו את זה בפועל ומה עדיין מהאתגר. שנתחיל?

אוהד: יאללה.

זיו: בואו נעשה את זה.

[מוזיקת פתיח] 

אדווה: אז זיו, אז אני רוצה להתחיל איתך, רגע, לפני שאנחנו נכנסים לאיך ומה עשינו בפועל, ולהבין למה, למה בכלל צריך להכניס AI לשירות לקוחות. 

זיו: אוקיי, אז שאלה מצוינת. אני חושב שבראש ובראשונה הבנו שיש הזדמנות בפנינו. אני חושב שהגענו באמת לנקודה מבחינה טכנולוגית שלא מה שהיה פעם. בסופו של דבר, הרבה מהשאלות מהפניות שאנחנו מקבלים מהלקוחות שמשתמשים במאנדי, יחסית גנריות ושאלות שלאו דווקא מצריכות הבנה נורא עמוקה של אותו לקוח, אלא שאלות שהן באמת יותר כלליות, ובסוף הרבה מהמידע נמצא בנולדג' ביס. 

אדווה: ואני מניחה גם כלליות וגם חוזרות על עצמן.

זיו: בהחלט חוזרות על עצמן, אין ספק, ואני חושב שבסוף באמת היה פה שילוב של סיטואציה של win win כי מצד אחד אנחנו רצינו לאפשר לנציגים שלנו כמה שיותר להתמקד בפניות שהן יותר מורכבות, יותר מצליחות את הסקילס, את הסיבה שבגללה הבאנו את אותם נציגים ומצד שני לתת ללקוחות מענה למעשה מידי על שאלות של למה צריך שבן אדם יענה עליהם אם אפשר לענות עליהם בצורה אוטומטית ברמה שהיא גבוהה ואיכותית. אני חושב שאם מסתכלים ככה ברמה קצת יותר הוליסטית הדבר הזה לגמרי נותן לנו ערך ל-CX, הוא מאפשר לנציגים שלנו כן להתמקד בדברים מורכבים יותר, כן מאפשר לנו לעמוד גם ב-SLA שלנו בצורה יותר טובה. 

אדווה: אבל תגיד, אני חייבת לשאול מה שנקרא, על הפיל שבחדר. אם מהפיכת ה-AI שהגיעה, אחד הקולות שעולים כל הזמן, בין אם הם לגיטימיים או לא, זה החשש שמחשבים יחליפו אותנו ושלא יצטרכו ושיש הרבה מקצועות שיחליפו אותם. אתה ב-CX, אתם מטמיעים מערכת שתוכל לענות במקומכם, אין את החשש הזה?

זיו: אני ישר נזכר במשפט שאני מאוד אוהב שהדירקטור שלנו ב-CX אמר, רון רפלוביץ', המשפט הולך ככה, או יותר נכון, הרעיון של The Harmony Between Man and Machine. והרעיון מאחורי הזה, אני זוכר שראיתי כאילו אנלוגיה ואני מרגיש שזה די דומה, שכמו שהביאו מחשבון ופתאום יגידו, אה, זהו, בני אדם לא הצטרכו לחשוב יותר. אז אני חושב שב-AI בסוף, כאילו מה שקורה זה שזה פשוט משנה את הדרך שבה אנחנו עובדים וכן, ויש לזה כבר היום אימפקט שלא ציפו שהוא, כאילו אימפקט באמת מטורף. אני חושב שההבנה היא שני דברים, אם אנחנו שנייה קצת יותר פרקטיים. אחת זה שבאמת כן, כנראה שיגיעו יותר ויותר פניות יותר מורכבות CXA שלנו, לנציגי השירות, ומנגד זאת, גם יתחילו להיוולד, כבר עכשיו אנחנו בונים את התפקידים האלה, תפקידים שהם ממש quality, כאילו מישהו שאחראי על הquality של הבוט, מישהו שאחראי ממש לעבור על הבוט, לאמן אותו, לראות מה קורה שם, להרים דגלים כשצריך. אז כן, אני כאילו, אם אנחנו מסתכלים קצת יותר רחוק, אני חושב שזו הנחה סבירה להגיד שיהיו פחות נציגי שירות, כן מאוד יכול להיות, אבל מנגד זאת יהיו יותר תפקידים חדשים גם שהם סביב ה-AI ואימון של הבוט ולימוד של הבוט וכו'.

אדווה: זאת אומרת זה לא מחליף, זה רק משנה את ה-skillset שצריך.

זיו: נכון, נכון מאוד. 

אדווה: מעולה, ואוהד, אני יודעת שיש עוד נקודה לפני שאנחנו צוללים בעומק, שיש שני מושגים בעצם שצריך להכיר, נכון? Embeddings ו- LLM שזה Large language model.

אוהד: יפה מאוד.

אדווה: אחלה. אז מה המושגים האלו אומרים? 

אוהד: אוקי. LLM זה באמת Large language model ובאמת זה מודלים שהם, למה הם large?  כי הם אומנו על כמויות עצומות של דאטא טקטואלי, תדמייני את רוב הדאטא מהדפי אינטרנט, קוד, ספרים וכולי, ולמעשה המודלים האלה חוזים את המילה הבאה או את הסיקוונס הבא של המילים, בהינתן איזשהו קונטקסט שנתנו לו, נותן לו קונטקסט ואז הוא יחזה את המילה הבאה ואת המילה הבאה אחריה, אז זה בגדול מה זה LLMs ואז אנחנו מגיעים לאמבדינג, שאמבדינג זה בגדול וקטורים שכאילו איזה שהוא ייצוג וקטורי למילים או לחלקים בשפה במרחב רב מימדי.

אדווה: כן, איזה שהוא ייצוג, נגיד אם אני ממש מפשטת את זה, למי מאיתנו שעשה קורס אחד בחדווה ואלגברה לינארית באוניברסיטה, זה בעצם איזה שהוא ייצוג מספרי, נכון? שאפשר  לשים למשל על גרף של שני צירים ואחר כך לראות איזה ייצוגים אחרים מספרים נמצאים לידו, וככה להבין איזה מילים קרובות זו לזו. 

אוהד: מדהים. כן ובאמת הווקטורים האלה שומרים על משמעות סמנטית ובאמת וקטורים שיש להם את אותה משמעות הם יהיו קרובים יותר אחד לשני במרחב הזה, למשל אם אנחנו נייצג בצורה ווקטורית, אם embeddings  אתStartup for Startup ונייצר לו איזה שהוא ווקטור  embeddings , הוקטור שלו יהיה דומה וקרוב במרחב לוקטורים של פודקאסטים דומים לו כמו- 30 דקות או פחות.

אדווה: כן, זה קצת כמו מי שמכם מכיר ומאזין את המשחק סמנטל, אם אתם לא מכירים אני ממליצה בחום, שאתם צריכים לגלות את המילה שלכם לפי המילים האחרות שקרובות אליה, אז זה עובד אותו הדבר. 

אוהד: ומשהו אחרון שחשוב להבין זה גם מה שנקרא Semantic Search, חיפוש סמנטי, שלמעשה אנחנו רוצים למצוא מה הוקטורים הכי דומים לוקטור מסוים, ואז אנחנו גם נקבל וקטורים שהם דומים במשמעות הסמנטית שלהם כמו מה שדיברנו מקודם על הוקטורים של הפודקאסטים. למשל את הוקטור embeddings  של Sturtup for Startup, אני אגיד לו בוא נחפש מי הכי דומה לווקטור הזה, ואנחנו נקבל נגיד את 30 דקות או פחות וכו'.

אדווה: מעולה. אז עכשיו הבנו מה זה LLM, מה זה Embeddings ומה זה Semantic Search, איך כל אלה מתחברים למה שעשיתם בפועל ומה למעשה עשיתם בפועל?

אוהד: אוקיי, אז אנחנו השתמשנו בשיטה במתודולוגיה שנקראת RUG, שזה למעשה Retrieval Augmented Generation. ולמעשה אנחנו בתור התחלה לקחנו את כל ה-knowledge שיש לנו ב-help center, כל הדאטה של מאנדי, שלמעשה עוזר לאנשים להבין איך עושים דברים בצורה טקסטואלית, וזה דאטה שהוא public, ולקחנו את כל הדאטה הזה, והעברנו אותו דרך מודל embeddings, והפכנו את כל הטקסט לוקטורים של embeddings, שמאצגים את הטקסט הזה ואחסנו אותו באיזשהו דאטא בייס.

אדווה: אוקיי, שתי שאלות טכניות שעולות לי, אחד בעצם, אז אם אני רוצה לעשות את זה, אני חייבת שיהיה לי כבר איזשהו מאגר ידע בארגון, נכון? אם אני עכשיו סטארט-אפ שקם, אני לא יכולה להתחיל ככה את השירות לקוחות שלי.

אוהד: לגמרי, כן, צריכה שהידע הזה יהיה קיים איפשהו בצורה טקסטואלית.

אדווה: מעולה, והשאלה הטכנית השנייה היא, אמרת שכנסתם לזה לאיזשהו מודל של embeddings, זה משהו שקיים ברשת? זה משהו שאתם בניתם?

אוהד: אם אנחנו באמת התחלנו עם משהו שקיים, עם מודל embeddings  של open ai, כן אז כאילו גם קיימים כל מיני מודלים נוספים שהם source open, ואפשר להשתמש בהם ולבנות משהו שהוא custom made. אנחנו התחלנו בשלב הראשון עם מודל של open AI 

אדווה: אוקיי, מעולה. אז עשיתם את זה, מה השלב הבא? 

אוהד: אוקיי, אז  זה באמת השלב הראשון שאנחנו באמת הופכים את כל הטקסט שלנו ל- embeddingsושמים את זה באיזה שהוא database ואז השלב הבא מגיעה איזושהי שאלה, כאילו איזושהי שאלה טקסטואלית, גם אותה אנחנו הופכים לווקטור של embeddings, באמצעות אותו מודל embeddings, ואז מגיע השלב של הרטריבל, שכאן אנחנו למעשה עושים את החיפוש הסמנטי ומחפשים בתוך המאגר של הוקטורים שלנו, איזה מאמרים, איזה וקטורים הכי דומים לאותה שאלה ששאלו, ואנחנו בסוף נחזיר את הtop 5 או top 10 מאמרים מהדאטה בייס הכי דומים לאותה שאלה וזה מה שהRetriever מחזיר למעשה, הוא מחזיר לנו איזשהו קונטקסט וכל הדבר הזה, הקונטקסט עם השאלה, נכנסים לתוך הג'נרייטור שזה המודל שפה, במקרה שלנו השתמשנו ב-GPT 3 וחצי, של open ai, והג'נרייוטר למעשה פשוט עונה, מחזיר את התשובה, כאילו בפרומפ אנחנו מכניסים לו את ה- "תענה על השאלה הבאה על בסיס רק הקונטקסט הזה" וככה אנחנו גם מגבילים אותו לא לענות בצורה, לא לענות מדברים שהוא למד במקום אחר.

אדווה: זאת אומרת זה איזה שהוא תהליך דו שלבי, השלב הראשון זה בעצם למשוך את כל הלינקים שיש בהם את התוכן הרלוונטי לשאלה, והשלב השני זה שהמודל ייקח את כל התוכן הזה ויפיק ממנו תשובה. 

אוהד: כן. לא כל הלינקים, אלא ממש אנחנו מביאים את הטקסט עצמו.

אדווה: אה, אוקיי.

אוהד: עשינו חיפוש סמנטי עם הוקטורים, מצאנו  איזה וקטורים הכי דומים לוקטור של השאלה והחזרנו את הטקסט שלהם, ואז אנחנו לוקחים את הטקסט של המאמרים האלה ביחד עם השאלה ומכניסים את זה לתוך פרומפ, לתוך מודל שפה שעונה לנו על השאלה בסופו של דבר.

אדווה: אוקיי, מעולה. אז עשינו את זה, אני מניחה שזה היה איזה שהוא פיילוט, נכון, רצינו לבדוק שזה עובד, שאלתם כמה שאלות, קיבלתם כמה תשובות. איך אתם יודעים שאלה תשובות נכונות, איך אתם יודעים שהדבר הזה אפשר להתחיל לעשות לו סקייל ואשכרה שיענה ללקוחות?

אוהד: שאלה מצוינת, אז כאילו באמת אין לנו איזשהו ground truth לדבר הזה, בדרך כלל במודלים של machine learning אז יש לנו איזשהו label, במקרה הזה לא היה לנו, אז היינו צריכים חבר'ה מהCX, במקרה שלנו ויקטוריה שלמעשה דגמה כאילו בחלק מ-POC אז היא עברה על התשובות ועל השאלות ודרגה אותם ונתנה להם score וכך הבנו איפה אנחנו עומדים מבחינת האיכות של התשובות וה… שלהם. 

אדווה: זאת אומרת ההתחלה היא מאוד ידנית, אנחנו ממש נותנים את זה לבן אדם שיכול לבחון את זה ולהגיד: כן לא ובאיזה רמה?

אוהד: כן, גם עבדנו בצורה אוף ליינית, הרצנו את זה לוקלית והוצאנו כזה קובץ CSV וככה עבדנו כאילו ידנית כזה ב-revwe,  וגם להבין איפה אנחנו טועים ולמה, איפה חסר לנו מידע, איפה אולי אנחנו רואים שאנחנו טועים יותר מדי בדומיינים מסוימים, נגיד שאלות בילינג, שראינו שאנחנו לא מספיק טובים בהם, אז הוצאנו את זה מהסקופ, ובמקביל אנחנו משפרים את התחום הזה של הבילינג ומוסיפים עוד knowledge לתוך ה-help center, וזה גם אחר כך ייכנס לתוך המודל, וככה נוכל לענות על יותר שאלות גם בהמשך. 

אדווה: עכשיו תגיד, על כמה שאלות כאלה מדובר? כאילו מה צריך להיות גודל, כמה שאלות כאלה אתה צריך לתת לויקטוריה, לצורך העניין, למישהו מה-CX לבדוק, לפני שתוכל להגיד: אוקיי זה בשל.

אוהד: אז כמה מאות כאילו, נראה לי עברנו על איזה 200.

אדווה: אה זה פרויקט רציני,

אוהד: כן, עשינו איזה כמה סייקלים כאלה עד שהם אמרו: אוקיי, אנחנו מרוצים, אפשר לצאת לדרך. 

אדווה: אוקיי, אז רגע זיו אני רוצה לשאול אותך, לעצור רגע. אוהד סיפר שוויקטוריה מה-CX בעצם ישבה ועברה על 200 תשובות עד שבכלל הרגשתם בנוח לשחרר את זה ללקוחות. מה אתם מחפשים לראות בתשובות, כאילו איך אתם יודעים שהגיע הרגע שהוא מוכן? 

זיו: אוקיי, אז מה שבאמת עשינו זה שרצינו דבר ראשון להגיע לאיזשהו Baseline בתור התחלה. לקחנו אז באמת, כמו שציינת, כמות מאוד גדולה של טיקטים, נתנו לויקטוריה שהיא נציגה ככה ותיקה, יש לה ידע מאוד רחב ועמוק לגבי המוצר וכל עולם השירות, ורצינו לראות מה הביצועים של הבוט. מה שעשינו זה למעשה ממש איזשהו דירוג לכל תשובה לפי הרמה שלה, ובסוף הגענו לאיזשהו מספר. אני חושב שמה שבסוף אפשר לנו להגיד, this is good enough, א', לא רצינו להגיע לשלמות, כי אם היינו מחכים לשלמות אז לא היינו עולים לאוויר עם זה. אז בגדול שני דברים שרצינו לראות, אחד זה שהדיוק הכללי, זאת אומרת, התשובה שהבוט עונה, היא לא רחוקה אפילו הייתי אומר, ממה שנציג היה עונה, חיפשנו לראות, בסוף לא רצינו לפגוע שזה יבוא על חשבון רמת השירות. הדבר הנוסף, שזה אזור שהייתי אומר שעוד היום יש איתו אתגרים, זה איך אנחנו, בוא נאמר, נמנעים ממצבים שיכולים להיות סוג של דגל אדום, מה לא היינו באמת רוצים להגיד ללקוח, דברים שאולי יכולים אפילו להטעות, אולי דברים שלא קיימים במוצר ופתאום- כי הדברים האלה יכולים לקרות עם הטכנולוגיה הזאת.

אדווה: אבל אני רגע מאתגרת אותך עוד קצת, לנסות לחשוב, הגדרתם איזה שהם, שאתה אומר, רצינו שזה יהיה קרוב למה שנציג יענה. יש איזה guidlibe שממש חיפשתם שאמרתם: אוקיי, אם א', ב', ג' מתקיים, זה אומר שזה קרוב למה שנציג אומר, כי אחרת זה מאוד אינטואיטיבי, יכול להיות שוויקטוריה תגיד התשובה הזאת דומה ומישהי אחרת שתסתכל תגיד התשובה הזאת לא דומה.

 זיו: כן, אז בשונה מנציג שירות במקרה הזה של הפתרון שהרמנו, הדגש היה יותר על התשובה התכלסית, פחות כאילו, הבוט אין ממש את החלק של הבעת אמפתיה מהבחינה הזאת, זאת אומרת התשובה היא לרוב תהיה מאוד מאוד עניינית ומה שהיה חשוב לנו לראות זה שהתשובה היא באמת עונה על השאלה בצורה ישירה, התשובה גם ספציפית יחסית, לא סתם לשלוח לינק למאמר ובהצלחה. אני חושב שפה הופתענו, וואו, המון מאיתנו הופתעו, גם אנשים שהם המון זמן ב-CX, שממש ראו דוגמאות לשאלה נורא ספציפית, אחת הדוגמאות שעולות הרבה זה שאלות של פורמולה. פורמולה זה שאלות שאתה באופן כמעט כמו קסם במרכאות אני אגיד, הבוט מצליח ממש להרכיב נוסחה שהיא עונה ממש ספציפית על מה שהלקוח ביקש מאיתנו. לפני שעלינו לאוויר עם סוג של A-B טסט, אנחנו הגענו ל-70% אקרוסי, וזה הרגיש לנו שזה עבר את ה-threshold, עשינו איזושהי פגישה פנימית עם הסטייקולדרים ואמרנו, אוקיי, זה לא מושלם, אנחנו מרגישים מספיק בנוח כדי לעלות עם זה. מה שפה נורא חשוב לי להגיד, אנחנו לא עשינו שגר ושכח, להפך, עשינו המון המון מוניטורינג על הדבר הזה. מהיום הראשון שהתחלנו לשלוח אימילים ללקוחות, כבר מאותו יום דגמנו כמות מאוד מאוד גבוהה של טיקטים אמיתיים שהבוט ענה, מה קרה איתם, נפתחו, לא נפתחו, מה הלקוח הגיב לנו, האם היה לזה השפעה אחר כך על ה…, על השביעות רצון של הלקוח, ואני חושב שזה מה שאיפשר לנו, זאת אומרת, המיטיגציה הזאת, באמת מאוד אפשרה להרים דגלים מאוד מהר אם משהו נראה לא תקין ופשוט להיות מחוברים לשטח, כי אני באמת חושב, אתה גם יכול לבוא בתיאוריה, הנה יאללה, הרמתי אימיילבוט, יענה עכשיו לכל הלקוחות ויענו יהיה מה שיהיה, אז אנחנו ממש לא, הלכנו בגישה מאוד הנדזון, בוא נראה מה קורה שם, אנחנו מספיק קנאים וחשוב לנו רמת השירות שלנו כדי לראות מה קורה שם, ואני יכול להגיד שעוד היום, שזה שלושה חודשים אחרי שכבר עלינו לאוויר, אנחנו עדיין דוגמים, כאילו זה תהליך מתמשך, תהליך כזה של continuous improvement, שכל שבוע אנחנו בין 100 ל-200 טיקטים, פשוט דוגמים, רואים מה קורה, ואני חושב שגם ה-Task Force הזה שיצרנו, כאילו, זה מדהים, יש המון, כולם נורא רתומים וכולם יודעים שה-Impact, מאוד קל לראות ה-Impact של הדבר הזה, זה טיקטים שאנחנו נותנים תשובה מיידית ואנחנו ממש, לקוחות גם נותנים לנו פידבק, אומרים: וואו, תקשיבו, עשיתם עבודה, תדווחו למעלה שמי שהרים את הדבר הזה, זה מדהים.

אדווה: הלקוחות יודעים שזה בוט שמדבר איתם?

זיו: שאלה מצוינת, אז האמת שאנחנו כמו ברוח של מאנדי, אנחנו סופר שקופים, זאת אומרת, המייל שאנחנו שולחים ללקוח, אנחנו ישר בהתחלה רשמים, זה אימייל מג'ונרט על ידי המערכת, הנה התשובה שאנחנו ממליצים עליה. עם זאת, בתחתית המייל יש לנו סוג של call to action, לא פתרנו לך את הבעיה, אין שום בעיה, בוא תגיב לנו ונציג בן אדם, זאת אומרת, ישמח לעזור לך.

אדווהף ותגיד, אתה חושב שאתם לתמיד תצטרכו להמשיך לדגום את המיילים, או שלאט לאט זה הולך לכיוון של כבר תוכלו לסמוך על זה? 

זיו: אני חושב שהרמה שבה אנחנו נעשה זה היא תפחת, קשה לי להגיד שאנחנו נפסיק לחלוטין, אבל אני כן חושב שעם הזמן אנחנו גם, למדנו לייצר פרוססים שהם קצת יותר, זאת אומרת פרוססים שנותנים לנו יותר חיווי, אחד הדברים שאנחנו עובדים עכשיו לעשות כאיזשהו צעד הבא, זה לעשות ממש C-SAT  על הנציגים שלנו, על הנציגים שנותנים את השירות, אין לנו בדיוק C-SAT  על הבוט, האינדיקציה שיש לנו על האפקטיביות של הבוט היא בגדול, האם הלקוח, זאת אומרת עשה reopen לטיקט, האם הוא הגיב ופתח את הטיקט, ואנחנו כן רוצים לקחת את זה לשלב הבא וממש כמו שיש לנו C-SAT  על נציגים, גם לעשות איזשהו C-SAT  על הבוט כדי לקבל כאן קצת יותר אינפוט מהלקוחות שלנו על איך הם חווים את הדבר הזה.

אדווה: מעולה, עכשיו, אוהד, זיו נגע בזה ממש בקצרה, מה באמת השלב הבא הטכני מבחינתכם ברגע שקיבלתם את האוקיי מהם להתחיל לצלול פנימה? זה בבת אחת כל השאלות שמגיעות יכולות לעבור פתאום דרך בוט, איך עושים את זה באופן הדרגתי או האם עושים את זה באופן הדרגתי?

אוהד: כן אז כדאי מאוד לעשות את זה בצורה דרגתית, גם להוריד כל מיני, שוב פעם דיברנו מקודם על trust, אז להתחיל במשהו שלהוריד כמה שיותר את הסיכונים שיכולים להיות, אפשר להחריג כל מיני אוכלוסיות, נגיד לקוחות enterprise, שזה נגיד מה שאנחנו עשינו וגם להתרכז אולי בשאלות שראינו שהם מודל מאוד טוב בהם ושאין בהם מידע רגיש כמו בילינג, אז אנחנו התרכזנו בשאלות של How to בעיקר, שגם את זה אנחנו יודעים כי אנחנו מתייגים את השאלות שמגיעות, גם באמת שיש מודל שעושה טגינג לשאלות האלה, אז אנחנו יודעים מראש שהשאלה הזאת היא How to? ובנוסף מומלץ לעשות A-B-Test. אז זה למעשה, כאילו אנחנו שחררנו את המודל הזה, את כל הארכיטקטורה הזאת ב-A-B-Test, ולמעשה 50% מהטיקטים נשלחו למודל ו-50% לא, ומדדנו, עשינו השוואה בין שתי הקבוצות בשביל לראות שאנחנו מקבלים ביצועים יותר טובים.

אדווה: רגע מה זאת אומרת? אז נניח היו שני אנשים ששאלו את אותה שאלה, אז אחד מהם המודל ענה לו ואחד מהם איש CX הנה לו, ואז בחנתם והשוויתם ביניהם?

אוהד: כן, למעשה 50% מהטראפיק של הטיקטים הולך למודל ו-50% מהטראפיק הולך לאיג'נטים.

אדווה: אה, אוקיי, לא בהכרח בעבור אותן שאלות.

אוהד: לא בעבור אותן שאלות.

אדווה: מעולה, ואז?

אוהד: אבל כן באותו סקופ,

אדווה: כן, כי בעצם הגדרת מראש מה יהיו הסקופים שאתם רוצים לפעול בהם, ואז מה ראיתם? מה התוצאות שקיבלתם?

אוהד: קיבלנו תוצאות משמחות, אז קודם כל מן הסתם בזמן שלקח למודל לענות, לעומת בן אדם, אז זה היה כאילו משמעותית יותר מהר, למודל לוקח כמה שניות לענות, שזה מדהים. בנוסף, המטריקה שהסתכלנו עליה, על ההשוואה, זה היה אחוז הטיקטים שנפתחים אחרי המענה הראשונית, Reopen Rate. ושם קיבלנו 20% Uplift של שיפור, לעומת טיקטים שנענים בצורה אוטומטית, כלומר, אנחנו מקבלים 20% פחות פתיחה מחדש של טיקטים שנענים על ידי המודל.

אדווה: שזה בעצם אומר שהתשובות של המודל מספקות בצורה כזאת שאין צורך לשאול עוד שאלות המשך אחר כך.

אוהד: בדיוק.

אדווה: מדהים.

אוהד: ובנוסף, גם ה-C-SAT של הטיקטים. 

אדווה: שמה זה C-SAT? בוא נגיד רגע במשפט.

אוהד: Customer Satisfaction. 

אדווה: איזה שהוא מדד לשביעות רצון של המשתמש מהמענה שהוא קיבל.

אוהד: כן, 

אדווה: אוקיי, מעולה. 

אוהד: אז גם שם ראינו טיקטים שנענו על ידי המודל, קיבלו ציון הרבה יותר גבוה של C-SAT גם באיזה מעל 20% לעומת טיקטים שאייג'נטים ענו אליהם. 

אדווה: כן, וגם כאילו נשמע לי שזה הרבה מאוד השקעה, אז אני מניחה שזו השקעה לצורך כאילו מין הצלחה עתידית. כמה משאבים היית אומר על איזה סטארט-אפ יכול להשקיע בזה, האם זה מתאים לסטארט-אפים קטנים במיוחד, לאיזה רמת בשלות אתה חושב שצריך להגיע בשביל שכדאי, זה יהיה שווה לעשות את ההשקעה הזאת.

אוהד: נראה לי שכל סטארט-אפ צריך לחשוב על הדבר הזה אפילו מ-day one. אם יש לך, לא יודע, יותר מכמה עשרות טיקטים ביום, ואתה כבר מחזיק איזשהו בן אדם שעונה על זה, אז כדאי לך לחשוב על איך אתה עושה את זה בצורה אוטומטית, עם AI, עם הרבה דברים שכאילו כבר קיימים ואפילו הרבה דברים שהם כבר out of the box ואפשר להשתמש בהם עם מודלים קיימים שלא צריך גם להמציא דברים, אפשר להתחיל עם דברים כבר בנויים. ולא צריך להמציא את הגלגל בשלב ראשון, בשביל להגיע להעלות הרמה אחר כך כן צריך לשפר את המודלים, לעשות אותם יותר מותאמים אליך. אבל בשלב ראשון להתחיל לרוץ אפשר כן, כאילו אני ממליץ לכל סטארט-אפ כן להסתכל על הכיוון הזה. 

אדווה: כן, לפחות אני מניחה, גם אם אתם עדיין מאוד מאוד קטנים ואין לכם כמות טיקטים שמצדיקה את ההשקעה הזאת, או כמות כוח אדם שיכול לעזור לה, לפחות תתחילו לאסוף דאטה, כי עכשיו שהטכנולוגיה הזאת קיימת, בוודאות תגיע נקודה שבה תרצו ויהיה לכם שכדאי להשתמש בה, ואז תרצו שיהיה לכם את הדאטה. אז אני מניחה שזה יכול להיות, אני יודעת שיש לנו במאנדיי הרבה מאגרי ידע, אבל זה גם יכול להיות דברים כמו פשוט לשמור את כל התשובות שאנשי ACX אי פעם ענו לטיקטים, ואחר כך גם את הדבר הזה המודל יכול ללמוד.

אוהד: כן, ותכלס, אם יש לך כבר knowledge base של help center, של data שהמודל יכול להשתמש בו בשביל לענות על השאלות, אז אפילו מהיום הראשון הייתי באמת חושב על איך אני עושה את זה בצורה אוטומטית, מה שכן באמת צריך להשקיע איזושהי משאב של מישהו שעובר על התשובות באיזושהי צורה, עושה איזה שהוא סמפל של טיקטים, באמת לוודא שדברים לא נהיים גרועים יותר. 

אדווה: אחלה, אז אנחנו מתקרבים לסיום, שאלה אחרונה היא- האם יש עוד דברים שהיום מאתגרים אתכם ועוד לא הצלחתם לפתור, או אתם עובדים על לפתור?

אוהד: אוקיי, אז כאילו לא דיברנו על המספרים, אבל אנחנו היום פותרים 6% מהטיקטים בצורה אוטומטית ואנחנו עונים על איזה שהוא אחוז מעל זה ואנחנו מן הסתם שואפים להגדיל את האחוז הזה שאנחנו פותרים בצורה אוטומטית, אז זה האתגר העיקרי שלנו, אנחנו רוצים להרחיב את זה ולהגיע ל-15% מהטיקטים שנענים בצורה אוטומטית. אז האתגר הוא לשפר את המרכיבים בתוך המודל, זה אחד. גם להבין איזה דאטה חסר לנו בשביל לענות על יותר טופיקים שאנחנו רוצים להרחיב.

אדווה: בעצם מה שצריך בשביל להצליח לעשות לזה סקייל ולהצליח להגדיל זה בתוך הארגון. ותגיד זיו, שאלה אחרונה אליך לפני שמסיימים, מה הדבר האחד שהיית ממליץ אם יש מישהו או מישהי שמאזינים לנו ורוצים להתחיל להטמיע גם את זה אצלם בסטארט-אפ, אולי כבר באמצע התהליך, דבר אחד שהיית ממליץ להם לעשות.

זיו: אז אני חושב שהדבר אולי הכי חשוב זה תבינו עם עצמכם מה אתם ומה הארגון צריך לראות שיקרה, כדי לא לפחד כל כך מהדבר הזה. עכשיו זה יכול להיות כל מיני דברים, אבל אני חושב שמה שלנו מאוד עזר זה כן להתחיל מבדיקה מדגמית נקאא לה, שהיא אוף ליין, זאת אומרת  אנחנו לוקחים טיקטים אמיתיים של לקוחות, רואים מה המודל היה עונה להם, אבל לא שולחים את זה. ואני חושב שזה באמת פשוט עבודה תהליכית, התהליך פה הוא נורא חשוב, לראות מה הרמה, להבין מה הפערים, וכל הזמן לתכנן הלאה כאילו איך עושים את הדבר הזה בצורה שהיא תהיה כן מבוקרת, כן עם יד על הדופק וגם לדעת לשחרר אבל בהדרגתיות וכשמרגישים מוכנים לזה. 

אדווה: מעולה. אז עם זה אנחנו נסיים. אני אזכיר שאם יש לכם איזה שהם שאלות המשך לאוהד או לזיו או אלינו, אז אפשר לשאול אותן בקהילה שלנו או באתר, ואם אתם רוצים לדעת כל פעם שיוצא פרק חדש או עוד פרקים על AI, תעקבו אחרינו בכל אחת מהאפליקציות. תודה זיו,

זיו: תודה רבה.

אדווה: תודה אוהד.

אוהד: תודה אדווה.

אדווה: ותודה לכם שהאזנתם. 

סוף הקלטה