רן: ‏ שלום לכולם, אני רן ארז ואתם הגעתם לפודקאסט שבו אנחנו מדברים עם מנהלי ומנהלות מוצר מחברות שונות, על בעיות מוצריות שהם נתקלו בהם, איך ניגשו לפתור אותם ומה הלמידות שהיו להם בדרך. ואנחנו בעוד פרק עם דוברת מעולה, שעומדת לדבר בכנס פורודקטX  שהתקיים ב 12 ו-13 בפברואר. והשנה גם אנחנו נתארח בו ונקליט פרק בלייב ישר מהאירוע אז מצפים לפגוש אתכם. ובפרק של היום אנחנו נדבר על הבעיה המוצרית הבאה. איך מבינים אם ai נכון למוצר שלי. ומי שתספר לנו על התמודדות שלה עם האתגר הזה היא שלי שמורק, Product Leader בחברת  Walmart Aspectivaומקימת הפודקאסט מוצרלה. מה קורה שלי?

שלי: מה אני שומע? 

רן: מצוין. אני ממש שמח שאת פה. 

שלי: תודה, אני גם ממש שמחה להיות פה.

רן: מעולה. אז אולי שלי תני לנו קצת קונטקסט עלייך ועל הבעיה שאנחנו הולכים לדבר עליה היום? 

שלי: אוקיי, אז בעצם אפשר לומר שש שנים האחרונות אני מנהלת מוצר בתחומי הדאטה וה-ai ובשנים האחרונות אני באמת מתעסקת ב-end-to-end דאטה פרודקט, שזה אומר כל החלקים שקשורים לניהול מוצרי דאטה חלקם הצד של ה-AI חלקם לא רק, אם זה איסוף הדאטה, השלב של האנליזה והכל ה- magic source של ה-AI וגם לשלב האפליקציות עצמם, זאת אומרת החוויה שפוגשת בסופו של דבר את המשתמש. יצא לי לגעת באמת בכל האזורים האלה. והניהול מוצר של עולמות ה-AI הוא קצת שונה מניהול מוצר סטנדרטי. יש לו כל מיני אלמנטים שהם קצת אחרים ביום יום שלהם, והשיקולים שאנחנו בעצם צריכים לקחת בחשבון כשאנחנו מכניסים איזשהו magic source כזה למוצר שלנו, הם באמת קצת שונים מאשר שיקולים בטכנולוגיות אחרות. 

רן: אוקיי. אבל באמת האתגר הזה של להכניס AI בטח עם כל הבאז הזה שקורה בתעשייה בשנה פלוס האחרונות, למה זה רלוונטי למנהלי מוצר.

שלי: אז קודם כל הבאז הוא מוצדק, כי יש התקדמות טכנולוגית מטורפת מדהימה ויש לנו  יכולות שלא היו זמינות בעבר שאפשר להשיג איתם תוצרים מדהימים. ולכן זה מרגש, ויש באמת המון המון התקדמות שיכולה לעשות enablement למוצרים מאוד מגניבים ומרגשים ונפלאים. עם זאת, זה לא קסם, בסוף יש מגבלות לטכנולוגיה, עם כמה שהיא התקדמה, והמגבלות האלה זה חלק ממה שאנחנו צריכים להבין כסט השיקולים שלנו, כשאנחנו רוצים להשתמש במוצרי ai. אם זה לקחת איזה שהוא מודל ג'נרטיבי, ולהבין שיש השלכות לזה שאתה נותן למודל לבצע פעולה, אם זה בגלל שהוא מאומן על דאטה מאוד ספציפי והתוצרים שלו תמיד יהיו קשורים למה הדאטה שהוא אומן עליו, ואם זה העובדה שכשאנחנו עובדים על מוצרי ai, אנחנו בחיים לא נקבל תוצאה שהיא מושלמת. מי שרגיל לעבוד על מוצרים דטרמיניסטיים, שאין בהם בעצם מודלים בצורה כזו או אחרת, רגיל שכשאתה מגדיר איזושהי חוויה, היא מ-א' ועד- ת' מתנהגת כמו שהגדרת אותה. ופה בעצם יש מלא edge cases, ולכל edge case כזה צריך להתייחס. אז יש אלמנטים שצריך להתייחס אליהם שהם ממש משפיעים על הרגולציה וה-privacy וה-security  והרבה מאוד אלמנטים שקשורים לעולמות האלה, אבל יש גם המון המון אלמנטים שקשורים לחוויה ולאיך בסוף הצרכן, היוזר, הלקוח, הולך לקבל ולראות דברים שלפעמים הם יכולים להיות גם מביכים.

רן: אני חושב שאת אמרת את זה בהתחלה, יש באמת באז חיובי ובצדק. אני מרגיש שיש גם הרבה באז שלילי, אני שומע מהרבה מנהלי ומנהלות מוצר, וגם אני לפעמים חווה את זה ביום יום, של- אוקיי, בוא פשוט נדביק על זה ai ויהיה לנו מוצר חדש. וממש ראיתי את זה גם במוצרים אחרים שפשוט הוסיפו עוד ai אבל לא סיפרו עוד value והייתי שמח קצת שנדבר על הבעיה הזאת שבכלל איך אנחנו יודעים אם נכון לנו בכלל להטמיע את זה. 

שלי: מעולה. אז באמת היום אחת הבעיות הכי גדולות בהתחלת פרויקטי ai זה הוכחת ה-value שלהם. זה מאוד ברור שכולנו מאוד רוצים לעשות את זה בכל טאון הול של כל חברה. כמות הפעמים שהמילה ai מופיעה, קפצה, בפי כמה וכמה מונים. אז כולנו מאוד רוצים להטמיע את הטכנולוגיה הזאת, להראות ברמת הדמיתית שהחברה מתקדמת וטכנולוגית ו-cutting edge וכל הדברים היפים האלה של להיות חדשני ולהיות ראשון. עם זאת באמת הנקודה, ואתה אמרת את זה בצורה מאוד מאוד מדויקת בצורה אינטואיטיבית, הנקודה של הvalue היא לא פתורה בהכרח. ונשאלת השאלה כשאנחנו רוצים להוסיף AI, האם אנחנו רוצים להוסיף feature, שהולך לייצר איזושהי יכולת על גבי המוצר הקיים שלנו, והוא ייתן איזשהו enhancement, או איזשהו insight, או משהו שהוא extra על ה-core value שאנחנו כבר גם ככה נותנים, או שאנחנו רוצים להפוך את המוצר שלנו, את ה-core value עצמו ל-AI. כבר השאלה הזאת היא שאלה מהותית באיך אנחנו מתחילים לקחת ולהטמיע את ה-value הזה במוצר שלנו. אז קודם כל אנחנו צריכים להבין מה ה-AI זה הולך לשרת אותנו. האם זה איזה שהוא פיצ'ר או את המוצר עצמו את ה-core value proposition.

רן: מדהים. אולי רגע נתעמק בזה שנייה. אז את אומרת: רגע, יש לי שתי אופציה, יש לי אופציה אחת שאני אומרת: אוקיי, יש לי כבר core value שאני מדלברת לשוק, בוא נראה אם אני יכולה להעצים אותו בעזרת AI, ואז דיברת על הנושא הזה של האם ה-core value הוא AI  וקצת מעניין אותי להבין רגע אולי איזה דוגמה, של מה זה אומר פתאום שאנחנו מחליפים ל-core value שהוא AI. 

שלי: אז תראה, יכול להיות שיש לי מוצר שבסופו של דבר נלך באמת נגיד על עולמות של, של chat botים זה הכי קל כרגע לחשוב עליו. מוצר של אפילו כזה costumer successes ב-chat bot  או כל מיני כאלה. בעבר הטכנולוגיה הייתה פחות טובה באזורים האלה, ומה שהגענו אליו עם היכולות שהיו לנו ועם כל הפיתוח מאוד מאוד חכם שהיה לנו, אם פיתחנו איזה שהוא chat bot כזה, היה ברמה מסוימת. היום אם אני חברה כזו שזה המוצר דגל שלה למשל, ומתעסקת בעולמות של chat botטים,  יש טכנולוגיה שיכולה להקפיץ את ה- core value proposition שלי קדימה. כי האיכות של הרמת שיחה ושל יכולת עיבוד תשובות ובאמת כל התהליך היא הרבה יותר גבוהה בתוך היכולות טכנולוגיות שקיבלנו מעולמות של gpt וחבריהם. אז זה מאוד מאוד תלוי מה מוצר שלי בא לפתור. במקרה הספציפי הזה המוצר בא לפתור עולם שהוא מאוד מאוד קרוב לעולם שהמודלים האלה בעצם באים לפתור מלכתחילה. אם אני מנסה לחשוב על נגיד מוצרים בעולמות שהם לאו דווקא מלכתחילה עולמות שמקושרים בצורה מאוד מאוד הדוקה לעולמות הגנרטיביים החדשנים המגניבים, אם זה בתמונה ואם זה בטקסט, אז יכול מאוד להיות שזה לא סביר שזה ישנה את ה-cure product שלי. כי הטכנולוגיה עצמה היא מאוד במסגרת של יכולות ספציפיות של אזורים מסוימים, ואולי להטמיע אותה ממש יכול לשנות לי את חווית המשתמש או לעשות איזה שהוא. overview משמעותי ב- core value propositionלמשל אני יכולה לדמיין עכשיו איזה שהוא מוצר שכל הממשק שלו פתאום הופך להיות בטקסט. אז יכול להיות שהחוויה עצמה וה- core value proposition הוא לאו דווקא בצ'אטבוט, אני נתקעתי קצת על הצ'אטבוטים, אבל בעצם לצורך הדוגמה. אז כן זה משהו שיכול להשפיע על core product, אבל ה- core value כנראה לאו דווקא ישתנה, אולי הדרך להנגיש אותו ללקוח קצת השתנתה. אז בגדול זה קצת קשור לעד כמה העולם המוצרי שלך מחובר לעולם של המודלים האלה. וכמה הפתרונות הטכנולוגיים החדשנים האלה באמת יכולים להתחבר בצורה אינטואיטיבית ל-core value שלך, אבל זה לא בהכרח מחייב, זאת אומרת באמת כל מוצר צריך לחשוב עליו לעומק בפני עצמו ולהבין מה נכון לו. שוב, אם דיברנו קודם על דברים דטרמיניסטיים למול דברים מושלמים, על עלויות. אפשר לדבר עוד קצת תיכף באמת על כל הסיבות ללמה לא להתחיל פרויקט AI ולמה בהכרח זה מגניב וזה נחמד וזה מה שאנחנו רוצים לעשות, אבל זה לאו דווקא הדבר שנכון למוצר שלנו כרגע עם כל ההתקדמות הטכנולוגית ועם כל הבאז שיש סביב זה, אבל בסופו של דבר it's come to the value, בדיוק כמו בכל ניהול מוצר אחר. הקושי הוא שהרבה מאיתנו לא יודעים איך בכלל to address it איך להתייחס לvalue בעולמות הטכנולוגים האלה אם אין לנו את הידע, את הרקע ואת הבסיס להבין את העולם הזה. 

רן: אני חושב שזה מביא למנהלי ומנהלות מוצר איזה שהיא הזדמנות רגע לשאול את השאלות העסקיות שלהם מחדש. הרבה פעמים אנחנו אומרים: טוב, בעולם מושלם היינו עושים א' ב' ג', אבל העולם לא מושלם, אז בוא ננסה לעשות רגע זה משהו שאנחנו כן. וזה פתאום בא ופותח שאלות שאתה יכול לשאול את השאלה העסקית מחדש ואולי סוף סוף לקבל תשובה שהאמת שזה דווקא כן אפשרי. אני חושב שזה אזור אחד. והאזור השני זה באמת את מדברת על זה, זה כמה קרבה לסוגי בעיות הטכנולוגיה הזאת נמצאת. כאילו העולם הזה של תקציר ועולם של ג'נרישן, ודברים כאלה, זה באמת דברים שמאוד קרובים זה יכול להסביר.  בצד של הפיצ'ר value אני חושב שזה באמת להגיד: אוקיי, אנחנו מביאים כבר value בעולם הבעיה המוגדר, אנחנו יודעים שאנחנו מביאים value. עכשיו נדבר על רגע על איזה עולמות משיקים יש לעולם הבעיה הזה ואז שמה יכול להיות שזה מעניין להסתכל על זה. 

שני: בדיוק. ושם הרבה פעמים אנחנו רואים דברים שהם קצת מאולצים. כי אנחנו רואים פיצ'ר חדש שהוא לא ממש בביזנס או ב-value של הלקוח, אבל יש לו flavor של AI ואז זה נראה קצת מצחיק שחברות או מוצרים מטמיעים את זה בפנים רק בשביל לסמן V על זה שכאילו הנה יש לנו AI.

רן: אז בואי נדבר בדיוק על זה. אז במקום לסמן V, בואי נדבר על מתי לא מטמיעים AI במוצר. בואי ננקה את זה רגע מהשולחן, נדבר על הפיל שבחדר, נגיד: רגע, זה לא. אוקיי, איך לדעת איך לא?

שלי: אז קודם כל יש מחירים להוספה של AI, הראשון זה עלויות. אם זה עלויות של בעצם  שימוש, הרצה, הוספה של מודלים, כל הדברים הטכניים שצריך בשביל לעבוד עם מודל. ואם זה עלויות של אנשים שצריכים ללמוד את היכולות האלה, או לגייס אותם בשביל שיהיו מסוגלים לעשות את הדבר הזה, ואם אין לי את כל הדברים האלה מהצד של העלויות, זה יהיה מאוד מאוד יקר, זה יהיה פרויקט מאוד מאוד יקר. אנחנו רוצים להסתכל על ROI, אנחנו רוצים להבין שמה שאנחנו עושים make sense,  אז קודם כל העלות פה תהיה מאוד גבוהה מלכתחילה, אם אין לי שום בסיס להתחיל איתו. זה דבר אחד. דבר שני, גם נשאלת השאלה מה הטכנולוגיות שיש לי? האם הן מתחברות בצורה הגיונית לשימוש במודלים? האם לעשות עכשיו דיפלוימנט של איזשהו מודל, לא משנה מאיזה סוג, אם זה משהו ש… גם אם זה נגיד איזה open source מודל שאני לא צריך עכשיו לבנות שום דבר מאפס, אבל הוא לא מתקפל עם הטכנולוגיות שאני עובד איתן, ואני צריך עכשיו לעקם את העולם כדי לנסות לעשות את זה, או לשבור את המערכת שלי בשביל להוסיף אותו. שוב, יש פה עלות או בזמן או במחיר שאני צריך להחליט אם היא נכונה לי. ומן הסתם ה-value כבר דיברנו עליו מבחינת איפה זה תורם למוצר שלי, האם זה משפר משהו ליוזר, למשתמש, האם זה נותן לו איזה שהוא ערך מוסף. יש שאלה גם כמה value ארגוני זה יכול להביא לי. זאת אומרת, יכול להיות שבשלב ראשון להטמיע טכנולוגיה כזאת יעלה לי טיפה יותר, אבל יש פה value ארגוני שברגע שעשיתי את זה פעם אחת אני יודע לעשות את זה, אני יכול להשתפר ואני רואה אסטרטגית שהעתיד הולך לשם, ולכן אולי יש פה כאילו value שהוא לא רק מוצרי, אלא גם ארגוני. ובסופו של דבר גם אני יכול להרשות לעצמי. אנחנו בסופו של דבר כמנהלי מוצר כל הזמן נמצאים על הסקאלה הזאת שבין Quick win לבין  Perfect longer term פי 2 פי 3 זמן ייקח לי לעשות את זה, אבל זה יצא מוצר מושלם. וגם פה נמצאת השאלה הזאת של מה אני יכול להרשות לעצמי במוצר הנוכחי, והאם זה יביא אותי באמת לערך מספיק טוב, בתוך כל זה. אז אם מצאתי משהו שיכול לתת לי ערך במוצר שלי, אבל אם אני לא מדלבר אותו עד X, הוא לא רלוונטי, נפל. אם מצאתי משהו שיכול להביא ערך במוצר שלי, אבל העלויות פיתוח פה, והמחיר שאני הולך לשלם היא מאוד גבוהה וגם בטווח הארוך זה לאו דווקא כזה ישתלם לי שזה הולך לקרות כי זה הולך להיות פיצ'ר צדדי שאין לו כזה הרבה משמעות ובסופו של דבר הוא לא הולך להשפיע על כל צורת העבודה שלנו, אולי לא כדאי. זאת אומרת יש פה באמת הרבה מאוד סט שיקולים שבסוף זה ROI קלאסי, אין פה איזשהו גלגל להמציא, פשוט עם הרבה שיקולים שאנחנו לא רגילים לקחת אותם בחשבון, כי עבודה עם מודלים היא קצת שונה, היא מצריכה מאיתנו משאבים אחרים, אקספרטיז שונה ויש לה עלויות שונה. שלא נדבר על זה שאם אנחנו מחליטים לאמן מודל משלנו כי יש value אמיתי בלקחת ולהשתמש בדאטה שלנו, ולייצר את הדבר הזה שהוא לא commodity, שהוא שלנו, אז עלויות של אימון מודל יכולות להגיע למיליוני דולרים. אם אתה לוקח מודל חדש, מאמן אותו from scratch, בונה משהו מאפס, זה עלויות מטורפות שאתה יכול להגיע אליו. אז יש פה באמת עניין של מה אני יכול להרשות לעצמי, מה החברה יכולה להרשות לעצמה וגם ליישר קו מול כל הסטייקהולדרים הרלוונטיים בהקשר הזה, כי זה שיש איזה שהוא townhall שבו אנשים זורקים את המילה AI לא בהכרח אומר שתקציבית ו-operational wise זה יהיה לגיטימי עכשיו לצאת למסע של 10 חודשים- שנה עד שתדלבר משהו. 

רן: אני חושב שמעבר לכל הנקודות המעולות האלה יש עוד נקודה שאני מרגיש שמנהלי המוצר קצת מפספסים, וזה ההבנה שאם אנחנו דורשים עכשיו מהמשתמשים לעשות עוד שלבים ולהכניס עכשיו כל פעם עוד input ולכתוב, ולנסות לג'נרט ודברים כאלה, זה כמו כל מוצר שהוספנו לו פריקשן, זה מוריד משמעותית את הסיכוי שמשתמשים ישתמשו וזה ששמנו על זה AI לא אומר משתמשים אוטומטית ישתמשו, ומרגיש לי שזה כזה קצת  זרקנו את זה לפעמים מהחלון ואמרנו: טוב, בואו פשוט נשים פה איזה שהוא צ'אטבוט בתוך המוצר, כל פעם משתמשים יבואו ישאלו: מה קורה עם הדאטה שלי ויקבלו תשובה. אבל פשוט משתמשים לא עושים את זה. משתמשים לא רוצים לעבוד בשביל המערכת הזאתי.

שלי: זו נקודה ממש מעניינית. אני חושבת שהתנהגות של משתמשים קצת השתנתה ממה שאנחנו רגילים מהעבר בעקבות באמת כל מה שאנחנו רואים, אבל זה לא כל המשתמשים. בסופו של דבר-  וגם עוד נתון מפולפל- הוא אמנם לא שיא העדכני אבל בשיא הבאז של chat gpt רק 14% מהאמריקאים בכלל נגעו בו, בכלל השתמשו בו. זאת אומרת אנחנו מדברים על זה בכל מקום, זה בכל פינה. אם מגיע אליך הבנאדם שלא שמע על chat gpt אתה חושב שהוא חי מתחת לסלע, משהו פה לא הגיוני. אבל בפועל זה ממש לא כזה בכל מקום עדיין. ובאמת יש עוד פער. אז נכון שההתנהגות של המשתמשים באמת השתנתה, אבל זה אחוז קטן מהמשתמשים בסופו של דבר, ויכול להיות שבמוצר ספציפי שלי זה אחוז יותר גבוה של משתמשים, אני צריכה להבין את זה, אני צריכה לדעת איך המשתמשים שלי מתפלגים ואיך הם השתנו. אני כן חושבת שברמה מסוימת הרבה מאוד חברות או סטייקהולדרים או מנהלי מוצר רואים את השלב הזה של ה-chatbot או של הניהול שיחה כשלב ביניים בדרך ל-conversational ui. ואז, זאת אומרת, הניסיון הזה של לייצר חוויה שהיא שיחה, שהיא שיחתית, אז זה משהו שהוא זמני שהם רוצים לבחון ולהתנסות בו עד שנגיע בעצם לממשקים שהם לחלוטין … שוב, אני חושבת שברמת הטיים ליין, מנהלי מוצר קצת מניחים שהטיים ליין קצר יותר ממה שיהיה בפועל, מצד שני אין לדעת, ההתקדמויות האלה באמת לפעמים בקצב מסחרר, ולפעמים יש עצירה והאטה ואנחנו נגלה פשוט לראות מה קורה.

רן: אוקיי. אז באמת דיברנו על הנושא הזה של למה לא, אמרנו רגע, קודם כל אנחנו צריכים להבין את העלויות של הדבר הזה, אחר כך דיברנו על האם זה שובר לי את המערכת, אני צריך ללכת בכיוונים מאוד מאוד פתלתלים כדי להטמיע את הדבר הזה. ושלוש, האם יש לי באמת את הצוות שמסוגל לעשות את הדבר הזה גם אם יש באזווורדס  בטאון הול, האם באמת מישהו מסוגל ליישם את זה בזמן ובתקציב. וארבע, לא לשכוח את הבסיס של עקרונות המוצרים של מה אני מבקש מהמשתמש לעשות כדי לקבל את הערך בקצה. יש לך איזה דוגמה למוצר שהכנסתם בו AI אבל תכלס לא הייתם באמת צריכים?

שלי: אז אני יכולה לתת אולי דוגמה של איזה שהוא שיתוף פעולה שהוא הוצע לנו, או הגיע אלינו בתוך הצוותים, שבו צוות אחר שמבין קצת פחות בעולמות האלה, מאוד רצה לייצר חוויה של ג'ינרוט טקסט, ולהקל על חייו של היוזר במקומות שבו היוזר צריך להכניס טקסט. וזה היה רעיון נורא חמוד. את המטריקות שהם רצו להזיז, הוא כנראה היה מזיז בצורה טובה. כי זה באמת היה מקצר את תהליך כתיבת הטקסט עבור יוזר ומשפר את ה-conversion בדף הזה. פה ספציפית לנו כאנשים שקצת מכירים כבר את העולמות האלה ורגילים לעבוד בו, הדגלים הראשונים שעלו הם דווקא דגלים של איגל ו- Trust and safety במקומות שבהם אתה מכניס מילים ללקוח כשבעצם הוא אמור להיות מי שמביא אינפוט, והאינפוט הזה צריך להיות נייטרלי, אז אם אתה עוזר לו לכתוב טקסט בעולמות כאלה, אתה בעצם קצת מתווה לו את מה שהוא הולך להגיד. ושם באמת זה איזה שהוא קונפליקט, איזה שהוא דיון שבו, כן, אתה מקצר, אתה משפר את המטריקות שלך, אתה יכול להגיע למוצר מאוד מאוד מדהים. אבל ברמת חוויית המשתמש אתה תפגע בה בסופו של דבר, כי אתה תפגע בטראסט של היוזר. ואיזה שהוא דיון ואיזה שהוא מהלך שבו בעצם אנחנו כמחזיקי הדגל של הטכנולוגיה הזאת, או לפחות ככה אנחנו רוצים לראות את עצמנו, דווקא התנגדנו, בצורה פוליטית ואמריקאית ויפה, אבל לא היינו בעד היכולת הזאת, או לא דחפנו אותה קדימה, כי הבנו שיש פה risk מאוד מאוד גדול ומאוד מורכב, שיפגע ב- core value של המוצר באופן כללי. ופה במקרה כזה למשל לקחת איזה שהם data point שנאספו על ידי לקוחות אחרים בצורה אגרגטיבית, ולבוא ולהגיד ליוזר הנה ה-top x נושאים שיוזרים אחרים כתבו עליהם, אתה מוזמן לכתוב עליהם אבל אתה לא חייב, עדיין נותן הרבה יותר empowerment ליוזר לכתוב ולג'נרט את הטקסט בעצמו בלי שאנחנו נפגע בטראסט או ביכולת של היוזר הזה או יוזרים אחרים שאחר כך יקראו את הטקסט הזה. אז היכולת לג'נרט מודל, לג'נרט טקסט ולברוא עולם מתוך יכולת טכנולוגית, נורא מרגשת, נורא מגניבה, פשוט לא היה נכון במצב הזה. הרבה יותר נכון היה לקחת משהו יוריסטי, פשוט, כן מבוסס מאחורה אולי על כל מיני מודלים של חילוץ טקסט זה דברים חכמים שעשינו לפני כן. אבל להשקיע הרבה פחות בפיצ'ר הספציפי הזה, ולתת מוצר עם value יותר צנוע אפשר להגיד, שכנראה יזיז את הconversion rate ואת המדדים הספציפיים שעניינו אותנו פחות. אבל הcore value שלו והסיכון שהוא מביא איתו הרבה יותר נמוך. 

רן: אני חושב שזה מעולה. באמת צריך שנייה לזכור האם זה רלוונטי באמת לעולם האמיתי. זה לא שנתחיל עכשיו להטמיע gpt chat במשטרה בשביל לגבות תצהירים. כאילו גם אם זה יקל על כמות התצהירים, זה לא עוזר לנו, זו בדיוק הנקודה.

שלי: דוגמא מעולה.

רן: אז בואי ניקח את זה רגע דווקא למתי כן. אז מתי אנחנו כן רוצים לשקול הטמעה שלה, איך יודעים?

שלי: אוקיי, אז קודם כל דיברנו המון על למה לא, וזה לא אומר שאני נגד, אני ממש בעד, אני אוהבת את העולמות האלה ואני חושבת שהם  באמת באמת יש בהם פוטנציאל אדיר. אני חושבת שבהרבה מצבים אנחנו צריכים לעשות פה איזה שהוא שילוב. אנחנו נצטרך לעשות איזה שהוא שילוב של דברים שהם קצת יותר יוריסטיים, קצת יותר אולד סקול, עם מודלים, כדי שנוכל גם לעשות מיטיגציה לכל הבעיות, לכל הסיכונים, וזה בהנחה שבאמת אנחנו יכולים להרשות לעצמנו את עקומת הלמידה, את הזמן שזה ייקח. ואת כל  סט השיקולים שדיברנו עליהם קודם. אבל הכל מתחיל ונגמר באמת בזה שאנחנו צריכים לבחון את ה-value שאנחנו נותנים למשתמש, ולוודא שאנחנו מגבירים אותו. בסוף AI זה יכולת טכנולוגית ולכן אנחנו נחפש אותו כ-enhancer, אנחנו נחפש אותו כמגביר, כתוספת, אבל לא כמחליף. אז כנראה שאנחנו נצטרך להיעזר בו ככזה, זאת אומרת לא לנסות לתת לו את כל המקום. ובהנחה ועשינו את העבודת חשיבה והבנו שאנחנו יכולים להגביר את הערך שלנו למשתמש, ושיש לנו את הזמן ויש פה value ארגוני גם קצר טווח וגם ארוך טווח בלהיכנס לעולם הזה וללמוד אותו, בלהכשיר אנשים או לגייס אנשים חיצוניים עם האקספרטיז הזה, אז כן, חד משמעית גם לטווח הארוך זה ישרת אותנו. זה יביא לנו ערך גם בתוך הארגון וגם למוצר עצמו, כי מוצרי AI הם מוצרים שהם ongoing. אתה לא יכול לפתח מודל, לסמן V, סיימתי, הלכתי, נגמר. אם תעשה את זה, מהר מאוד המודל שלך יפסיק להיות רלוונטי, הדאטה שלך יהיה stale, יהיה לך drift, ופשוט כל החוויה תהיה… אז ברגע שאתה מטמיע את הדבר הזה, אתה מתחייב לזה שאתה תמשיך לעשות את זה, אתה תמשיך לשפר את זה בהמשך, אתה תמשיך להזין דאטה שישפר את המודל, ובעצם אתה נכנס לאיזשהו אקו סיסטם, לאיזשהו עולם שאתה צריך להבין בו. 

רן: אני חושב שעוד דבר אחד שצריך להוסיף, אני ממש מסכים עם העובדה הזאת שצריך להמשיך לתחזק את זה. אני מסתכל על זה רגע במוצרים שאני נוגע בהם, אני חושב שאחד הדברים שחשובים לזכור זה שאנחנו צריכים להסתכל רגע על המשתמשים לאורך זמן. זאת אומרת בוולידציה הראשונה אנחנו עולים לאיזה user testing ואנחנו מדברים ממש עם AI, ולרוב יעוף לו המוח או יגיד: וואו! זה מדהים, זה עכשיו משנה לי את העבודה, ואז תכלס לאורך זמן זה לא באמת משנה, כי אנחנו צריכים ממש לשים לעצמנו ביומן, אוקיי, בוא נחזור ורגע נבדוק את ה-value הארוך טווח של הדבר הזה, אם זה באמת מקיים את ההבטחה הזאת. 

שני: לגמרי. וזה באמת מתקשר גם לבאזיות ולטרנדיות. כי עכשיו ברגע שאתה רושם על משהו AI, הוא נורא מרגש, וגם יוזרים ישר באים לנסות פיצ'רים חדשים, גם אם הם לא AI. אז ברגע שאתה עוד מוסיף על זה את הבאז, אז חד משמעית, אורך זמןף לראות לטווח הארוך זה באמת ממשיך לשרת את הצרכים שלנו ואת ה-value למשתמש. 

רן: יש איזה שהוא משהו שניסיתם ולא עבד? או עדיין לא עובד?

שני: אני חושבת שהמקום של המיטיגציה כשהמודלים נותנים תוצאות לא מספיק טובות, הוא נושא שמלווה וימשיך ללוות בעולמות האלה, תמיד. כי תמיד יהיו edge cases או תוצאות מביכות שלא חשבת או לא תכננת אליה מספיק טוב. ותמיד יהיה יוזר או סטייקהולדר שיתקלו בדבר הזה וזה ייצר חוויה לא טובה. והתהליך של לנסות לייצר לזה מיטיגציה, בין אם היא בדרך החוויה או דרך אנג'ינירינג, או דרך הדאטה סיינס, לא משנה באיזה אפיק אתה מנסה לעשות את המיטיגציה הזאת, הוא תהליך שהוא- שוב, מוצר שהוא לא מושלם, מודלים תמיד יביאו לנו טעויות, תמיד יביאו תוצאות מביכות ברמת כזו או אחרת, אז אנחנו תמיד נצטרך לחשוב על מה שיכול היה להיות. והיכולת שלנו היא מוגבלת לזה בסוף, אנחנו לא יודעים את מה שאנחנו לא יודעים ועד שלא נתקל בתוצאות כאלה בפרודקשן כנראה שלא נדע שדברים מסוימים יכולים לקרות, שלא נוכל לחשוב על הדבר הזה. אז כן, לגמרי הדברים האלה ממשיכים וימשיכו לקרות. אני חושבת שלאט לאט אנחנו נתרגל אליהם יותר ונדע אולי להתרגש מהם פחות, אולי בעצם לתקשר אותם בצורה יותר טובה גם למשתמש וגם לקולגות בארגון. אבל בסופו של דבר זה נראה לי אזור שלא יעזוב אותנו. מודלים לא הולכים להיות מושלמים, זה בסוף הסתברות סטטיסטית ותמיד תמיד תהיה סטייה. אז כן, אז אני חושבת שבאמת האזורים האלה תמיד ימשיכו להפתיע אותנו, תמיד יהיה פאדיחות. השאלה אם אנחנו מצליחים להימנע מכמה שיותר פאדיחות, לצמצם את זה מראש, לחשוב על זה לעומק. וזה גם קצת מחזיר אותי לעובדה שאנחנו צריכים קצת להבין בעולם תוכן, אנחנו צריכים להבין מה מודל עלול לעשות, מה מודל עלול להציע. ולחשוב עשר צעדים קדימה על – what could have bean, כדי לנסות ולתכנן עד כמה שאפשר את ה- edge cases האלה מראש. 

רן: איזה תובנה ככה שהיית רוצה לשתף עם מנהלי ומנהלות מוצר שמקשיבים לזה ומתלבטים עכשיו אם להכניס או לא? 

שלי: אני חושבת שבסופו של דבר, זאת אומרת, אין ספק שכולנו נצטרך בצורה כזו או אחרת להסתגל לטכנולוגיה החדשה הזאת ולהבין איך לעבוד איתה. אז אני ממש ממליצה כן להיכנס ולקרוא, וללמוד ולהתעניין ולהבין מה זה אומר. גם אם זה משהו שנכון לכרגע לא נכון למוצר שלכם. אבל כן כאנשי מקצוע להשאיר את עצמכם ולהגיע למצב שבו אתם מסוגלים לקבל את ההחלטה הזאת ממקום מושכל ולא ממקום של רק כי אני לא מבין, או רק כי אין לי את האקספרטיז. כי זה סיבה קצת מבאסת. אז כן הייתי מעדיפה שנקבל את ההחלטה לא להטמיע AI מהסיבות הנכונות, כי אנחנו יודעים שזה לא נכון למוצר שלנו כרגע, ואנחנו מבינים מה ההשלכות שזה. אז אני ממש ממש כן מאמינה שזה עולמות שימשיכו להיות רלוונטיים, הם ימשיכו להיות סביבנו. אנחנו צריכים להתחיל להבין בהם יותר. הם דורשים להיכנס לפעמים יותר לפרטים ממה שאנחנו רגילים, רוצים, בעולמות טכניים קלאסיים. יש אנשים שיש להם passion לזה והם נהנים מזה מאוד, יש אנשים שפחות, ואתם צריכים למצוא איפה אתם נמצאים על הסקאלה בשביל להבין איך אתם יכולים בסופו של דבר להביא value לעולמות האלה בהמשך. 

רן: מגניב, מה שאני לוקח ולמדתי ככה, זה אחד- קודם כל לשאול את עצמי, האם זה ה-core value של המוצר שמשתנה או שזה value enhancer במקום שאני כבר מתקדם בו. שתיים- הנושא הזה של להבין רגע, אוקיי, גם אם אנחנו עושים, יש באז ו-AI מופיע בהמון המון מילים ויש באז חיובי, יש גם באז שלילי, האם באמת הצוות שלי מסוגל לעשות את זה, גם מבחינת תקציב, גם מבחינת ידע וגם מבחינת הפריקשן שאני מוסיף למשתמשים. והדבר האחרון זה באמת האם זה עושה היגיון בעולם האמיתי. האם באמת, נכון, זה יעלה את הקונברז'ן, נכון יותר אנשים ימלאו טפסים, אבל האם באמת זה עושה היגיון בעולם האמיתי. אז שלי, תודה רבה רבה לך. ורגע לפני שנסיים, אני רק אגיד שאם אתם רוצים לדעת כל פעם שיוצא פרק חדש בתוכנית שלנו, אתם מוזמנים לעקוב אחרינו בכל אחת מהאפליקציות. תודה רבה שלי.

שלי: תודה.

רן: ותודה לכם שהזמנתם. 

שלי: ביי. 

[נעימת סיום]