אדווה: הי לכולם, אני אדווה שיסגל ואתם הגעתם ל- Startup for Startup, והיום נדבר על AB test למתקדמים. ולצורך זה נמצאים איתי אלדר מוזיקנסקי ומיכאל אלבז, הי אלדר, הי מיכאל.

מיכאל: הי.

אלדר: הי, מה קורה?

אדווה: ששניכם Senior product analyst ב- Monday, נכון? ואנחנו נספר שבעצם הפרק הראשון אי פעם בפדוקאסט שעשינו היה על AB test, ודיברנו בו על מה זה בעצם אומר ואיך אנחנו עושים טסטים למוצר, אבל היום אנחנו כבר 5 שנים או קצת יותר מ- 5 שנים אחר כך, Monday גדלה הרבה יותר כחברה, וסוג הטסטים שאנחנו עושים היום הרבה יותר מורכב ומגוון ממה שעשינו פעם. אז אנחנו באמת נדבר היום על סוגים שונים של טסטים שאנחנו עושים, נניח ההבדל בין פיצ'ר חדש לפיצ'ר קיים, או טסטים על חשבונות בגדלים שונים, ונשתף בפרקטיקות שאתם משתמשים ביום יום שלכם. שנתחיל?

מיכאל: כן.

אלדר: יאללה.

אדווה: טוב, אז אלדר, אני רוצה להתחיל איתך, למה בעצם אנחנו עושים את הפרק הזה, ומה בעצם משתנה ב- AB test ככל שהחברה גדולה?

אלדר: אז קודם כל כמו שאמרת, עברו בערך 5 שנים מאז הפודקאסט הקודם, החברה הייתה במקום אחר לגמרי. אז באמת התמקדנו המון בטסטים של Grow, איך אנחנו מצמיחים את החברה, איך אנחנו מכניסים אליה יוזרים. ובאמת הדגש הוא גם על הצמיחה והגדילה, אבל גם על החוויה של המשתמשים הקיימים, ולכן אנחנו צריכים לעשות הרבה מאד טסטים על הפיצ'רים, על המוצר עצמו. מעבר לזה, יש לנו גם הרבה יותר Data, אנחנו יכולים כמעט בכל אזור לבצע טסטים די מהירים, ואני חושב שגם היום ההשפעה של כל דבר שאנחנו עושים, כשיש לנו כל כך הרבה משתמשים, אז ההשפעה היא יכולה להיות מאד טובה, אבל היא יכולה להיות מאד מזיקה, ולכן אנחנו חייבים להצדיק במספרים כל דבר שאנחנו עושים, ולכן אין מנוס מלבדוק כל שחרור קטן שאנחנו עושים למשתמשים.

אדווה: כן, אני חושבת שזאת באמת נקודה מאד חשובה, כי ככל שהחברה גדולה ה- Risk שבשינוי מה שכבר קיים – זאת אומרת, גם ההרגל של המשתמשים למוצר הוא כבר גדל, וה- Risk שבלשנות משהו שאולי פתאום משתמשים רגילים אליו, הוא פתאום נהיה הרבה יותר משמעותי, כי מה אם פתאום הם לא יאהבו? מה אם תיקח להם משהו שהם כבר התרגלו? כשעשינו את הפרק הזה לפני 5 שנים, זה לא היה ביום הראשון של Monday, אבל יכולנו להגיד אוקיי, פעם עשינו ככה, עכשיו אנחנו עושים ככה, וזה בסדר, כי אנשים אולי עוד לא הספיקו להתרגל, ואנחנו במקום אחר היום.

אלדר: לגמרי.

אדווה: אז זו באמת אחת הסיבות שרצינו לעשות, וכמו שאמרנו בפתיח, נדבר על 3 פרקטיקות שונות ב- AB test שהוא ככה בשלבים קצת יותר מתקדמים, ואם יש כמישהו או מישהי שרוצה לחזור אחורה ורוצה לשמוע איך עושים AB test מההתחלה וקצת יותר את הבסיס של זה, אז אנחנו נשים את הלינק לפרק הראשון גם בתיאור של הפרק, ולפני שאנחנו צוללים לפרטיקות – מיכאל, אני רוצה להתחיל בהתחלה. כל טסט שאנחנו עושים, יש לו איזה בסיס משותף, נכון? לא משנה מה אנחנו בוחנים, וזה ה- Test plan.

מיכאל: נכון.

אדווה: אז מה זה בעצם אומר?

מיכאל: אז אני רק אגיד שלפני שבעצם אנחנו מתחילים לצאת לטסט יש איזה שהוא תהליך חשיבתי שקורה לפני, אנחנו מזהים איזה שהיא בעיה במערכת או במוצר בעצם מאד משמעותית, שמונעת מ- Monday לצמוח. אנחנו מעלים היפותזות ללמה היוזרים לא מצליחים במוצר ולמה הם לא מתנהגים כמו שאנחנו מצפים להתנהג, ואז אנחנו מחליטים להוציא טסט. לדוגמא, אנחנו יכולים לזהות שיוזרים נופלים בשלב מסוים ב- Sign up, או יש להם איזה שהוא Friction מסוים באזור הזה. בעצם אם הם לא ישלימו את ה- Sign up, Monday לא תקבל את היוזרים האלה, אז אנחנו יודעים שזו בעיה קריטית לצמיחה של Monday, אז אנחנו מעלים היפותזה. למשל היפותזה שהם באיזה שהוא next mode ואנחנו סתם מפריעים להם בשלב הזה, אנחנו סתם מבקשים מהם מידע לא רלוונטי, ואז ה- AB test שיהיה זה, נשנה את השלב הזה? נוריד אותו לגמרי? ואז אנחנו בעצם יוצאים לטסט. אז זה בעצם, למה בכלל אנחנו הולכים לצאת לטסט? כשאנחנו בעצם מתכננים את הטסט, אנחנו צריכים להגדיר קריטריון להצלחה, אז זה בעצם מבוסס על התהליך המחשבתי שעשינו. אם אמרנו, יש לנו בעיה שיוזרים לא משלימים את זה הם ב- Next mode, הם רוצים להמשיך קדימה והם לא משלימים את ההרשמה, אז הצלחה של הטסט הזה יהיה סיום ההרשמה, אז אנחנו מגדירים גם קריטריון להצלחה, וחשוב שבסוף יהיה לך KPI אחד שעל בסיסו אתה תחליט אם לדחות או לקבל את הטסט. זה בסדר שיהיו לך עוד KPI's שיהיו לך עזר, שיהיו להבנה של אם הם עוברים את השלב הזה ספציפית כן או לא, אבל בסוף ה- Output הסופי צריך להיות KPI אחד, שבמקרה שלנו זה סיימו את כל תהליך ההרשמה, ולאו דווקא את השלב הספציפי הזה שהורדנו. לאחר מכן אנחנו צריכים להבין מה ה- Sample size שייכנס לנו לטסט, וזה נקודה ממש חשובה, שלא כולם מודעים אליה. אנחנו לא יכולים לעצור טסט אם לא הגענו למאסה קריטית של Sample size. 

אדווה: ש- Sample size רק נגיד, זה כמות האנשים שדגמנו בתוך טסט, נכון?

מיכאל: נכון מאד.

אדווה: אוקיי מעולה, אז אני מחזירה אותנו רגע ל- Test plan, אז בעצם דיברנו על המטרה, להגדיר את המטרה, מה נחשב תמונת ניצחון מבחינתנו, זאת אומרת מה ה- KPI, מי האוכלוסייה, Sample size, מה השלב הבא שאנחנו רוצים להגדיר – Test plan?

מיכאל: אז בעצם אנחנו רוצים להגדיר כבר בזמן תכנון הטסט מין איזה שהוא Mind map של עצי החלטה של מה נעשה לפי כל תוצאה שתתקבל במהלך הטסט, וגם בסיום הטסט, ועל בסיס זה להחליט איפה הטסט בעצם, מה המנועים של הטסט ואיפה הטסט נעצר. אז בעצם אם דיברנו על בעיית Growth, אז עוד בעיית Growth שלא קורית ב- Sign up אלא קורית אחרי, זה שיוזרים נתקעים במערכת, ואחוז מאד מאד גדול לא עושה כלום במערכת, ואז הנה הבעיה, היא בעיית Growth כי היא מונעת מ- Monday בעצם לקבל יוזרים שימשיכו קדימה. אז אחת ההיפותזות שהייתה לנו זה שהם לא מוצאים את ה- Value ש- Monday נתנה להם. זאת אומרת, הם יכולים לבוא מקמפיין של גאנט או kanban, והם באים למערכת מאד גנרית שלא משדרת את מה שדיברו עליו, ש- Not resonating to what they want it for, ככה הגדרנו את זה. ואז אחד הטסטים היה שבוא נעשה wizard, ב- Wizrad הזה נציג Views של Monday, ונראה להם בבחירות שונות של ה- Views איך המערכת משתנה לפי זה. זאת אומרת הם יבחרו kanban, הם יראו את Monday בתצורה של kanban, הם יבחרו Itemcard אז הם יראו את זה בתצורה של Itemcard, או Gant, וכו'. ואז כשישבנו בזמן 0 ותכננו את התוצאות של הטסט, פשוט בנינו Mind map של עצי החלטה. קודם כל, הדבר הראשון שאמרנו זה שכמה אחוז יצטרכו בעצם לבחור את ה- Views כדי שיהיה לו אימפקט. כלומר, אם אני עכשיו מציג לכל היוזרים שלי Views ב- Wizard, ו- 99% לא בוחרים את זה, פשוט מדלגים על השלב הזה ועושים Next, הטסט כבר בזמן 0 ייכשל. וכבר בזמן 0, אם דיברנו על קיצור זמן של טסטים, אני אדע שרוב הסיכויים שלא כדאי לי להמשיך עם הטסט הזה. אז זה כבר מכשול ראשון שהייתי צריך לעבור ב- Mind map. מכשול שני זה שנניח והם כן מחליטים להסתכל ו- To explore the views זה לא בהכרח אומר שהם בסוף יחליטו להתקין את זה. ואז נניח והם עברו את שני הפיצולים האלה, הפיצול השלישי זה שזה באמת נותן להם את ה- Value. אז עשיתי אקספלורציה, בחרתי – האם זה הוריד לי את האסימון ש- Monday יכולה לתת לי את הערך שאני מחפש, וכך לפתור פשוט את הבעיה המקורית של ה- Growth. את כל הדברים האלה פשוט הגדרנו בזמן 0 ב- Mind map, ככה ידענו גם להציב את ה- KPI, ה- Execution KPI's לפני, וגם ידענו להחליט איפה הטסט נופל מה המנועים של הטסט. כי אם נראה שהם בכלל לא בוחרים Views, אז בטסט הבא שלי אני אנסה לעשות את זה More appealing לבחור את ה- Views. אם אני רואה שהם כן בוחרים  Views  אבל הם לא מקבלים את הערך, אז אני בטסט הבא שלי אני אגיד אוקיי, מה צריך לקרות עכשיו כשהם נוחתים על Views, איך אני צריך להוליך אותם קדימה?

אדווה: ולמה אתה עושה את זה, למה אתה מחליט מראש מה יהיה ההסבר לכל תוצאה? למה לא לחכות שיגיעו התוצאות ואז להגיד אה אוקיי, אם זו התוצאה אז אני מניח שזו הסיבה.

מיכאל: מדהים. אז בעצם, זה לא שנתנו את הסיבות בשלב 0, זה שפשוט אמרנו מה ה- Outcome שיכול לקרות בכל צומת החלטה של היוזר? סיבות, יכול להיות המון סיבות ללמה הוא לא קיבל Value בסוף מה- Views, ואת זה אולי נבין אחרי זה מה- Data. אבל בזמן 0 אני יכול לבוא ולהגיד שיש ציפיה מסוימת שהטסט יעמוד בה, שזה אומר, אני אחקור את ה- Views, אני אבחר Views, אני אגיע כתוצאה מזה ל- Output metrick שלי, שזה אקטיבציה ראשונית במערכת, ואם זה לא קורה, אז אני אבדוק את כל שלושת הצמתים האלה להבין איפה נפלתי, ואז בדיעבד כשיש לי את התוצאות, אני אתחיל להעלות היפותזות בתוך הטסט, ללמה הם לא עשו אקספלורציה ל- Views, או ללמה הם עשו אקספלורציה ולא בחרו Views, או ללמה הם בחרו Views ולא נפל להם האסימון שזה ה- Value ש- Monday יכולה לתת להם.

אדווה: מעולה, ואני גם מניחה שאני לא רוצה להטות את התוצאות לפי מה שאני רוצה שהם יגידו.

אלדר: לגמרי. יש נטיה לפרשן תוצאות בדיעבד בהתאם למה שרצינו שיצא, וברגע שעושים את התכנון הזה שמיכאל דיבר עליו, אז אנחנו כבר יודעים מראש שאם יצאו תוצאות כאלה, מה הדפוס פעולה שלנו, ואם יצאו תוצאות אחרות, מה יהיה הדפוס פעולה שלנו, ופחות יש מקום לפרשנויות והסתכלויות על ה- Data.

אדווה: אז אנחנו עוברים עכשיו בעצם לפרקטיקה הראשונה שאנחנו רוצים לגעת בה, והיא ההבדל בין טסטים שאנחנו עושים במוצר לבין טסטים שאנחנו עושים ב- Growth, ונגיד גם אולי רגע, לא אמרנו את זה עדיין, אבל הסיבה שיש לנו פה שני אנשים שיש להם את אותו תפקיד, זה כי אתם אולי עושים את אותו תפקיד אבל בחלקים אחרים של Monday. אז נכון אלדר, אתה במוצר, ומיכאל, אתה ב- Growth. אז אנחנו נתחיל איתך אלדר בלהבין רגע א', מה זה בכלל אומר Growth אל מול מוצר ולמה יש פה את ההפרדה הזאת,ואז נצלול למה ההבדל בין הטסטים.

אלדר: אז אני אתחיל לספר קצת על מה זה אומר אנליסט של מוצר. באמת אנחנו מסתכלים על יוזרים שהם יכולים להיות חודש במערכת, הם יכולים להיות שנתיים במערכת, ובאמת הניתוחים שאנחנו עושים והפיצ'רים שאנחנו עושים הם באמת קשורים לליבת המערכת ופחות לשלבים הראשונים שה- Growth מתמקד בו, של הצמיחה וההכנסה של משתמשים חדשים. וזה משפיע בעצם על המדדים שאנחנו מסתכלים עליהם לעומת טסטים של Growth, על איך אנחנו מנתחים את הטסטים.

אדווה: עכשיו, זאת אומרת, יש בעצם את הסקטור של כל מה שקיים לנו כבר ב- Monday, ואנחנו הולכים ועושים אופטימיזציה כל הזמן, ויש בעצם חלק אחר לגמרי שזה ה- Growth, שעסוק במנוע הצמיחה הבא, או מה הדבר הבא שאנחנו יכולים לעשות בלהצמיח, בלהביא עוד יוזרים חדשים, נכון?

מיכאל: נכון. אנחנו נשאל איך אנחנו יכולים לייצר Activiation ו- Retention, Monitization, זה השאלות שאנחנו נשאל. זאת אומרת שהפיצ'רים הם סוג של תפאורה והם פחות כאילו ב- Details שלנו, כדי לייצר איזה שהוא Growth. 

אדווה: אוקיי מעולה. אז אלדר, מה בעצם, איך נראה טסט במוצר, מה הדברים שאתם מודדים, מה התהליך?

אלדר: אז באמת הרבה פעמים טסטים במוצר יכולים להיות או לעשות אינקרמנטים לכל מיני פיצ'רים קיימים כדי לשפר אותם, שאנחנו מזהים איזה שהיא בעיה בשימושיות, או בעצם פיצ'רים חדשים שאנחנו חושבים עליהם, שאנחנו מאמינים שהם יועילו ליוזרים ושהם ישפרו את החוויה. אני חושב שמבחינת נגיד מדדים שמסתכלים עליהם, אז ב- Growth הרבה פעמים מסתכלים על מדדי Retention, אבל אם יש לי יוזר שהוא שנתיים במערכת, הוא כנראה גם ימשיך להיות שבוע הבא במערכת, כי כבר החברה שלו משלמת והוא רגיל, ולכן זה מדד שהוא פחות רלוונטי למוצר. אנחנו כן נסתכל האם העלינו את כמות הזמן שהוא משתמש במערכת, כמות הימים שהוא נכנס ומשתמש, אפילו גם נוכל לעשות שביעות רצון, דברים שהם יותר, ואלה בעצם ככה המדדים המרכזיים שנסתכל עליהם.

אדווה: ומה המדדים המרכזיים שאתם מסתכלים עליהם ב- Growth?

מיכאל: אז כמו שאמרנו, ב- Growth אנחנו בעצם מסתכלים על Activiation, retention and monetization. אז אם אנחנו נעשה של Activation אנחנו ננסה לבנות כל מיני מטריקות שאומרות מה הערך הראשוני המהיר ביותר, או הבנת הערך הראשוני המהיר ביותר שהיוזר יכול לקבל. ב- retention אנחנו נשאל נגיד על Retention לאורך פרק זמן מסוים, למשל אחרי שיוזרים קונים את המוצר, איך הם retained  לאורך השבועות הראשונים לאחר מכן, האם הם מצליחים לבנות את ה- Habit שלהם, וב- monitization אז אנחנו בעצם נשאל שאלות של Convertion to paying או ARR, וזה גם אגב המקום לומר שיש לנו שלושה צוותים מדהימים שעושים את זה. אני מייצג רק צוות אחד שזה הצוות Activation, אבל יש פה קבוצה שלמה סביב זה.

אדווה: אוקיי, אז אלה ההבדלים, אני רוצה לדבר רגע קצת על האתגרים שאתם פוגשים כל אחד בסוג הטסטים שאתם עושים. אז מה האתגרים המרכזיים של טסטים במוצר?

אלדר: אז אצלנו באמת הרבה פעמים קשה להזיז מדדים, כי ליוזרים שהם קיימים, יוזרים שהם כבר בחשבונות משלמים, יש איזה שהוא Habit, איזה שהוא דפוס שהם רגילים להשתמש בו, והרבה פעמים אנחנו עושים טסטים, אנחנו משקיעים המון בפיצ'רים, ובסוף אנחנו לא מצליחים באמת להזיז את המדדים, וזה ככה אתגר שיכול להיות. ואז הרעיון הוא לנסות להבין איך אנחנו כן מודדים את ההצלחה, איך אנחנו מצליחים להבין את ההשפעה של הדברים שעשינו ולמצוא את המדדים היותר ספציפיים והמדויקים שיעזרו לנו להבין את זה.

אדווה: וגם אני מניחה שהסיכונים הם אחרים. כי אם אתם מדברים, אם נניח אני מניחה שב- Growth, אם כבר ניגע בזה, הסיכון המשמעותי זה שמשמתמש, בכלל לא נעשה לו אקטיבציה, זאת אומרת שהוא לא יהפוך להיות משתמש פעיל, אז ה- risk  פה זה שמשתמש יעשה Churn ואולי יעזוב את המערכת, נכון?

אלדר: לגמרי, לגמרי. ואם נגיד יש שינויים שהם ממש משמעותיים, כמו העיצוב של המערכת, זה דברים שאנחנו צריכים לעשות אותם מאד מאד בזהירות, כי הם כמובן משפיעים על מיליונים של משתמשים, ובאמת זה משתמשים שהם מחשבונות משלמים, ופגיעה בהם יכולה באמת לפגוע בכל המדדים של Monday.

אדווה: אז איזה פרקטיקות חשובות אתה חושב שצריך להכיר בעולם הזה כדי באמת להיזהר ולמזער את הסיכון הזה עד כמה שאפשר?

אלדר: אז קודם כל, השיטות שאנחנו משתמשים בהם בלעשות טסטים, קודם כל אם זה באמת איזה שהוא פיצ'ר שהוא מאד גדול ומשמעותי ואנחנו חושבים שהוא יכול לתת איזה שהיא השפעה גדולה, אז לשחרר אותו בהתחלה לאוכלוסייה שהיא קטנה יותר, ספציפית יותר, לראות את ההשפעה עליו, ואז להגדיל את האוכלוסייה, להתמקד במדינות מסוימות שאנחנו יודעים שבהן ההשפעה יכולה להיות יותר ברורה, ואז נוכל לקחת מסקנות.

אדווה: מעולה. לפי מה אתם בוחרים את האוכלוסייה שעליה תפעלו? 

אלדר: אז בדרך כלל אנחנו נלך על מדינה שהיא באמת מייצגת, שיש בה יוזרים שהם חזקים, שהם כן מייצגים את האוכלוסייה ב- Monday – ארה"ב, קנדה, אנגליה, כי אנחנו מאמינים שהם באמת הכי חשובים לנו, ואם אנחנו נראה עליהם השפעות חיוביות, אז אפשר להגיד שהטסט הצליח.

אדווה: אוקיי מעולה, אז לפני שאנחנו עוברים לאתגרים של ה- Growth, יש עוד איזה שהוא הבדל או משהו שהוא אחרת מבחינת איך שאתם עושים דברים?

אלדר: אני חושב שאצלנו לעומת ה- Growth יש לנו גם לא מעט טסטים שהם דפנסיביים. כלומר, אנחנו מטמיעים איזה שהוא שינוי שמגיע או מצורך של לקוחות, או כי אנחנו חושבים שהוא יעשה את החוויה בתוך המוצר יותר Delightful, יותר נעימה, יותר, נגיד להוסיף אנימציות, שאנחנו כנראה לא חושבים שזה עכשיו יזיז מדדים, אבל אנחנו כן נרצה לפתוח את זה בטסט, שלא פגענו בשום דבר. שלא זמני הטעינה התארכו, שאין באגים.

אדווה: זאת אומרת שאנחנו לא מחפשים לראות שאנחנו משפרים בהכרח, אלא בעיקר מחפשים לראות שלא פגענו.

אדווה: מעולה. אז אנחנו עוברים ל- Growth עכשיו – מה האתגרים המרכזיים שאתם פוגשים בטסטים ב- Growth?

מיכאל: מדהים. אצלנו, אני אגיד משהו שהוא טיפה קשוח, אבל אנחנו לא נטמיע שינויים דפנסיביים, כי בעצם מבחינתנו אם לא הצלחנו להזיז Activation, retention, monetization, אז אנחנו מטמיעים שינוי שיש לו מחיר. שינוי שלא עשה משהו מבחינת Growth, ואז זה אומר עוד קוד שצריך לתחזק, UI שהיוזר פוגש שלא בהכרח תורם לו, מורכבות שסתם הוספנו למוצר.

אדווה: זאת אומרת, אין דבר כזה אצלכם טסט שהוא לא מזיז את המחט בצורה נחרצת מה שנקרא.

מיכאל: נכון. אני כאנליסט עומד על המשמר שגם אם אנחנו מאד מאוהבים ברעיון מסוים, אנחנו לא נעשה אותו אם הוא לא שיפר, כי בעצם כמו שאמרתי, ה- Output שלנו זה להזיז Activation, retention and monetization. אז זה כבר אתגר ראשון שיש לנו, בעצם בלפצח מה יוביל לזה, ולא כל טסט על הפעם הראשונה יצליח להוביל ל- Activation retention, ואנחנו כל הזמן בתהליך של בעצם לוודא היפותזות ולאשש אותן דרך AB Testing.

אדווה: אז אתם בעצם גם מחפשים מראש לנסות לצאת רק לטסטים שאתם חושבים שיכולים משמעותית להזיז את המחט, ואם יש טסט שלא עשה את זה אז אתם לא תמשיכו ותעשו עליו Follow up ותעשו טסטים המשכיים עליו.

מיכאל: אז אם נחזור למקרה של ה- Mind map, אז כנראה שההיפותזה של Promise VS actual, אני חיפשתי מערכת של Gant ולא קיבלתי Gant, או ה- Execution שבחרנו לעשות את זה, כנראה שזה לא טוב. ואז אנחנו נחזור לשולחן השרטוטים, או שנחשוב על Execution אחר לגמרי, מחוץ לקופסא, או שנגיד ההיפותזה הזאת חלשה יותר, נעבור להיפותזה אחרת שדרכה ננסה להבין אם זה מה שישפר. למשל, They need a clear next step, שזה סט של פתרונות אחרים מלהראות להם Views, שרק יוצר מורכבות.

אדווה: מעולה. יש עוד אתגרים?

מיכאל: כן, יכול להיות שעוד אתגר מסוים זה זמן הלמידה שנובע מזה. למשל, אני אתן דוגמא לצוות אצלנו, צוות אח שלנו, של צוות Monitization – בגלל שהם עושים טסטים של Converstion to paying, הם צריכים בעצם המון המון זמן ללמידה כדי להבין אם הטסט הצליח או לא הצליח, ואז האתגר שלהם זה במקום להגיד Conversion to paying שזה אחוז מאד מאד קטן של היוזרים, זה יהיה המדד של ההצלחה שלי, זה למצוא Proxies הרבה יותר מוקדמים באחוז הרבה יותר גבוה, כדי שהם יוכלו לסגור טסט לא בחודשיים, אלא בשלושה ארבעה שבועות.

אדווה: עכשיו, מבחינת משמתמשים, אתם בעצם מסתכלים על סוגי משתמשים שונים, נכון? אתה אלדר בטסטים שלך יותר עוסק במשתמשים קיימים, ואתה מיכאל טסטים שאתה עושה יותר מתעסק במשתמשים חדשים, נכון?

מיכאל: כן.

אדווה: אז כשאתם עושים טסט אלדר, ואני מניחה שזה גם קורה הרבה במוצר, אתם מחפשים לא רק שהוא עבד או לא עבד, אלא גם איך הוא השפיע על סוגי יוזרים שונים?

אלדר: כן, אז אנחנו, גם כשאנחנו מנתחים טסט אנחנו יכולים לנתח את הניתוח, נגיד יש לנו אוכלוסייה של High intent user, כלומר יוזרים שהם מאד חזקים, האם עליהם השפענו יותר, או האם על היוזרים שמבקרים פעם בשבוע, עושים רק מה שחייב – אז זה נגיד יכול להיות ניתוח שאנחנו נפצל את הסוגי אוכלוסיות כדי לראות איך ההשפעה על האוכלוסייה הזאת לעומת האוכלוסייה הזאתי. עוד לדוגמא, אנחנו יכולים לפעמים להסתכל על סוגי חשבונות, נגיד לראות אך השפענו חברות Enterprise לעומת חברות קטנות יותר. 

אדווה: אז יכול להיות תיאורטית טסט, בוא נניח שהייתה לכם היפותזה, ניקח משהו קטן, שאם משנים את הכפתור לכחול, יותר יוזרים יכנסו לפיצ'ר הזה נניח. ואז שיניתם, והיה נראה שהטסט עבד, ובאמת נראה שזה נכון, אבל פתאום כשאתם חוקרים בפנים אתם מגלים שהוא אמנם עבד על משתמשים שקיימים במערכת על למעלה משנה, אבל כל מי שפחות משנה זה גרם לו לעזוב. ואז בעצם הטסט ייחשב כלא מצליח? זה משהו שיכול לקרות?

אלדר: זה יכול לקרות. לא יודע אם נחשיב אותו כלא הצליח, אבל כן נעשה טסט המשך ונחשוב איך אנחנו משפרים את החוויה גם לאלה שהם חדשים יותר, אלה שהם פחות משנה, וננסה כן לשחרר אותו למשתמשים שהם ותיקים יותר, ולמשתמשים החדשים יותר ננסה להביא איך אנחנו יוצרים עבורם חוויה טובה יותר.

אדווה: אז זה מביא אותי לפרקטיקה השניה שאנחנו נדבר עליה היום. עד עכשיו דיברנו קצת על משתמשים חדשים אל מול משתמשים קיימים, אבל עכשיו אנחנו נדבר על זה גם ברמת הפיצ'ר. בסוף במערכת יש לנו כל מיני שינויים שאנחנו עושים, נכון? יש לנו גם פיצ'רים קיימים שאנחנו עושים עליהם כל מיני אדפטציות ו- Optimzing אותם, אבל יש לנו גם פיצ'רים חדשים שאנחנו מפתחים. מה בעצם ההבדל בין איך שעושים טסט על פיצ'ר קיים לעומת פיצ'ר חדש?

אלדר: אז בואי נתחיל עם פיצ'ר חדש. אז כמו שאמרת, באמת הרבה פעמים אנחנו חושבים על רעיונות חדשים – אני אשמח לתת דוגמא, לדוגמא אצלנו במובייל, באפליקציה של Monday, זיהינו בעיה שהרבה מהיוזרים הם נכנסים באמת רק שהם חייבים, השימושיות שלהם היא מאד טכנית. אנחנו בעצם רצינו לייצר עבורם חוויה שהיא יותר פרסונלית, יותר לייב, יותר דינמית, וחשבנו על מה יכול לעשות את זה, אז חשבנו על פיצ'ר חדש, משהו שהוא לא היה קיים, הוא גם לא קיים במערכת ב- Web, הכנסנו אותו לאפליקציה, וזה בעצם Widget שמופיע במסך הבית שהוא נקרא What new widget, שהוא בעצם נותן ליוזר כל מיני עדכונים שהם פרסונליים לגביו, לגבי החשבון שלו, לגבי משתמשים אחרים בחשבון שלו, ובעצם המטרה הייתה גם להעלות את ה- Engagement במסך הבית, וגם בעצם להעלות את כמות הימים שהיוזר נכנס, לראת שהוא נכנס להתעדכן לא רק במשימות הטכניות והבסיסיות שהוא חייב לעשות, אל גם בדברים שהם פרסונליים עבורו, וכשאנחנו מסתכלים על פיצ'ר חדש אז אנחנו תמיד מנתחים את זה בשלוש רמות – אנחנו קודם כל בודקים את ה- Discovery שלו, כלומר כמה מהמשתמשים שלנו גילו אותו. אחרי זה אנחנו מסתכלים על ה- retention, כמה מאלה שגילו גם המשיכו להשתמש, ואז הדבר הבא שאנחנו נסתכל עליו זה ה- Adoption, כלומר מאלה שחזרו להשתמש, כמה באמת אימצו אותו. ואז אנחנו מנתחים את הנתונים של הפיצ'ר. ואז אנחנו בעצם חוזרים לשאלה – למה לעשות AB test? חצי לא מקבלים כלום, וחצי מקבלים את הפיצ'ר החדש, אז מה, אז מה אני יכול פה להשוות? ובאמת, אנחנו כן נרצה לראות את ההשפעה הכללית בשימוש במוצר – לצורך העניין, מה שדיברנו על זה באפליקציה, האם יוזרים שעכשיו קיבלו את הפיצ'ר החדש נכנסים יותר ימים בשבוע? הסשנים שלהם יותר ארוכים? לעומת הוזרים שהם בקבוצת ה- Controll שהם לא קיבלו את הפיצ'ר החדש.

אדווה: עכשיו באיזה שלב אתם עושים את הטסט? כי אני מניחה שאתם גם לא רוצים להגיע למצב שהפיצ'ר גם מאד בשל וכבר הושקע בו הרבה זמן.

אלדר: נכון, זו נקודה מאד חשובה, והיא קשורה לטכניקה שנקרתא NVP ב- Product, שהרעיון הוא באמת להוציא איזה שהוא מוצר שהוא כן נותר ערך, שנוכל ללמוד ממנו כמה שיותר, אבל שלא נצטרך להשקיע בו ולעבוד עליו שנה, ובסוף התוצאות לא יהיו טובות. אז אנחנו מראש מגדירים איזה דברים יתנו לנו סיגנל לכך שיש צורך, שיש בו שימוש, ואז אנחנו נשחרר איזה שהיא גרסה רזה, בגלל זה גם אנחנו נשחרר אותה לחלק מהאוכלוסייה, על מנת שנוכל להשאיר עוד יוזרים שלא קיבלו, כדי שאחרי שנשפר ונשדרג אני אוכל לשחרר אליהם את הפיצ'ר היותר משודרג, את האיטרציה הנוספת. אבל כן, זה גם משהו מאד חשוב.

אדווה: עכשיו, במה זה שונה מאיך שאנחנו עושים טסטים על פיצ'רים קיימים?

אלדר: אז פיצ'רים קיימים, אני גם אתן איזה שהיא דוגמא, יש לנו איזה שהוא אזור במוצר שנקרא My work, שזה אזור שמרכז עבור משתמש את כל המשימות שלו מכל ה- Boards. זה אזור שאנחנו מאד מאמינים בו ואנחנו חושבים מאד, יש לו פוטנציאל, במיוחד במובייל, שאתה רוצה לרכז עבורך את ה- Highlight, וזה אזור שאנחנו מרגישים שהפוטנציאל בו הוא עדיין לא ממומש. אנחנו כל הזמן עושיים אינקרמנטים, כל פעם מנסים לשפר אותו, את העיצוב שלו, את הפונקציונליות שלו, את האגרגציה של המשימות, ואז יש לנו תמיד קבוצה אחת שמקבלת את החוויה הרגילה, הישנה יותר, לעומת הקבוצה שמקבלת את החוויה החדשה, ואז אנחנו ממש נבדוק את הפעולות הספציפיות שאנחנו חושבים שבתוך הפיצ'ר הושפעו, שזזו בין הקבוצות, וככה נוכל להגיד האם השיפור הזה היה טוב יותר.

אדווה: עכשיו הזכרת פה כמה פעמים מובייל, וזה גורם לי לחשוב – אנחנו עושים טסטים בין מובייל ל- Web צורה שונה, או האם אנחנו מסיקים מסקנות על ה- Web מטסטים שעשינו במובייל.

אלדר: כן, באופן כללי ההתייחסות ליוזרים במובייל היא באמת מעניינת. אנחנו באמת מתעסקים המון בלהבין מה היוזרים מחפשים כשהם נמצאים עם הטלפון שלהם במובייל לעומת מה כשהם מול המחשב במשרד, להבין מה הפיצ'רים המרכזיים שחשובים להם. יש לנו גם משתמשים שהם ממש עובדים רק עם המובייל, אם זה חברות של בנייה בשטח שהם חייבים להשתמש אך ורק באייפדים או במובייל. יש הרבה מאד שבמת זה החוויה ההיברידית, כלומר הם רוצים להתעדכן בערב במשימות, ואז הם צריכים את הדברים החשובים ביותר ולא בהכרח את כל הדברים שיש במערכת של Monday.  

אדווה: אז זה אומר שכן יש קווים משיקים, אבל אתם לא אוטומטית מסיקים שמה שעבד פה יעבוד גם שם או הפוך.  

אלדר: כן, אני אפילו אתן דוגמא על טסט שקיים עכשיו. ב- web פיתחו פיצ'ר חדש של Reactions. עד עכשיו היה אפשר לעשות מן לייק לפוסטים, אז עכשיו הוסיפו גם יכולת לעשות reactions, קצת כמו בפייסבוק, שיש לך כל מיני תגובות כאלה שהן לא רק הלייק של האצבע, ואנחנו עוקבים באדיקות אחרי התוצאות של הטסט ב- Web לפני שאנחנו נטמיע אותם במובייל. יגיעו לאיזה שהיא אופטימיזציה, ואז אנחנו ניקח את הדבר הזה ונטמיע אותו גם בטסט במובייל. כמובן אנחנו לא נסיק שבהכרח זה אותו דבר, אבל אנחנו כן ניקח את הלמידות שלהם ואז נטמיע את זה.

אדווה: אז אנחנו עוברים עכשיו לבעצם פרקטיקה השלישית והאחרונה שאנחנו ניגע בה, שזה הנושא של חיבור בין המטרות העסקיות של החברה לסוג הטסטים שאנחנו עושים. דיברנו על זה בהתחלה שבאמת אחת הסיבות שאנחנו מוציאים את הפרק הזה זה כי Monday השתנתה הרבה כחברה, וכחלק מהדברים שהשתנו, גם המטרות העסקיות של Monday השתנו. בסוף אנחנו מסתכלים על הדברים קצת אחרת, בין אם זה סוגי החשבונות או סוג המשתמשים שאנחנו מביאים. איך זה פוגש אתכם בטסטים? בוא נתחיל עם ה- Growth ואז נעבור למוצר.

מיכאל: כן, מדהים. אז בעצם יש איזה שהוא Life cycle של היוזר. הוא נרשם, מתאקטב, עובר סטאפ, קונה את המוצר, ואז צריך לבנות Habit ומשם ל- Long term retention. אז אם עד היום הצוות Growth היה ממוקד בעיקר עד לקנייה, שזה אומר לאקטב אותו, להעביר אותו סטאפ, לגרום לו לקנות בפעם הראשונה – בגלל ש- Monday הולכת למקום שהיא צוברת המון המון יוזרים, וקיימת כבר הרבה שנים, יש לנו user base מאד מאד גדול שצריך לשאול את עצמנו איך אנחנו יכולים לייצר עבורו ערך, שזה אומר שני אזורים עיקריים – Retention או Lng term retention ובנייה של habit אחרי התשלום, או monetization, אבל Moitization after payment, שזה Upgrades, קרוסלים, אפסלים שאפשר לעשות. זה למשל משהו שכבר עכשיו Monday, כאשר היא משנה את פניה לכיוון חברה מאד מאד גדולה, אנחנו חושבים על זה ב- Growth. עוד מקום שאנחנו חושבים עליו זה Aquisition של Monday. אז ב- Monday יש Paid aquisition, שזה מקמפיינים ב- גוגל, יוטיוב, אתרי השוואות וכו'. אפשר אפשר לייצר Aquzition של Growth מה- product. מה זה אומר? בואו ניקח מוצר כמו של Monday, Work forms. מה זה Work forms? זה מוצר שיכול לייצר Aquisition אליו. אם המון אנשים שולחים Forms למשתמשים חיצוניים של Monday שלא מכירים את Monday, והמוצר יש לו בעצם Powered by Monday או branded by Monday, הם נחשפים ל- Monday, הם יכולים ללחוץ על זה, או להגיע מזה מיוזמתם ל- Monday, אז הנה עשינו Aquisition שהוא לא paid aquisition.

אדווה: אז בעצם איך זה משנה את סוג הטסטים שאתם עושים? אתם פתאום מוצאים את עצמכם עושים טסטים באזורים שעד עכשיו לא נגעתם בהם?

מיכאל: נכון, וגם אנחנו נשאל את עצמנו שאלות שונות. אז אם עצם ב- Activation אני שואל האם היוזר הבין את הערך הראשוני, כן או לא, ב- retention אני כבר אסתכל על משהו יותר מתמשך. אנ אשאל האם הוא retained איקס שבועות לאחר התשלום. אני אשאל כבר על habit, על Long term retention. ב- Aquisition המדד בכלל יהיה האם המוצר יודע לייצר Uotside aquisitions? זאת אומרת,האם זה שאני יודע עכשיו ליצר מוצר טוב סביב Workforms יניע אנשים שילכו ואני אצליח To acquire them דרך ה- Form שמגיע אליהם והם יגידו אוי, לא ידעתי ש- Monday גם עושה Work forms, או לא הכרתי את Monday בכלל, בואו נלחץ על זה ונראה מי זה בכלל Monday.  

אדווה: אז עקרונית יכול להיות היום שאדלר ומיכאל, אתם שניכם תעשו למשל טסט על Monday work forms, אבל אתה תבחן את האפשרות שלו לעשות Aquisition ליוזרים שלא נמצאים היום ב- Monday, ואתה תבדוק את היכולת שלו לעשות retention ליוזרים שכבר כן נמצאים פה.

אלדר: כן, ואתם הביצועים שלו כפיצ'ר. כאילו, האם היוזרים מתמשים בו, מבינים, ואיך בעצם הם משיגים את המטרה שלשמה בעצם יצרנו את הפיצ'ר עצמו.

אדווה: מעולה. עוד שינוי שקרה ב- Monday, דיברנו על סוגי משתמשים שונים, נכון? דיברנו על user jouney שהשתנה – גם החשבונות שונים. היום Monday, אחד הפוקוסים העיקריים של לקוחות Enterprise, נכון? זה משהו שאנחנו משקיעים בו הרבה מאמץ. האם זה משנה אם שינה את איך שאנחנו עושים טסטטים?

אלדר: אז כן, אז כמו שגם הזכרתי כבר קודם, זה גם משפיע על הניתוח – אנחנו בניתוח כן נסתכל על ההשפעה הספציפית על לקוחות enterprise, נראה שאנחנו במקרה הרע לא פוגעים ובמקרה הטוב אפילו משפיעים עליהם יותר לטובה, וגם בפיצ'רים שנפתח, נפתח פיצ'רים שלמרות ש- Enterprise עדיין הם לא מרבית היוזרים שלנו, הם כן החשובים, ואנחנו לדוגמא, טסט שלא מזמן הוצאנו – נשפר את החווית כניסה עם SSO, שזה אוקטה, ז'ור, שאנחנו יודעים שזה משהו שהוא קיים בכל Enterprise והוא לפעמים מאד מאד מתסכל, וגם ראינו שקיבלנו הרבה טיקטים על יוזרים שלא מצליחים להיכנס עם ה- SSO, והשקענו המון מאמצים טכניים כדי לשפר את זה, וגם זה, הפיצ'ר הזה עלה עם טסט וראינו באמת שיפור משמעותי באחוז היוזרים שמצליחים להיכנס בהצלחה למוצר עם SSO, ובאמת אנחנו שמים על זה דגש משמעותי.

אדווה: עכשיו, יש טסטים שאנחנו אקטיבית נחריג מהם Enterprise, או האם באופן אבסולוטי אולי אנחנו מחריגים Enterprise מטסטים, כדי לא לקחת את הסיכון עליהם?

אלדר: אז כן, יש טסטים שבאמת אנחנו חושבים שיכולה להיות להם השפעה שאנחנו לא סגורים על כמה היא תהיה משמעותית לכאן או לכאן, אז יש לנו ממש אפשרות לעשות Exclude enterprise בכלי שלנו, ואז ככה אנחנו יודעים שאחנו לא הולכים לפגוע בהם.

אדווה: באופן כללי זה גורם לי לחשוב, כי כאילו אוקיי, Enterprise זה דבר אחד, אבל יש סקאלה של חשבונות. אז בוא ניקח רק את העיקריים, אז יש נגיד Enterprise ואז יש חשבונות גדולים שהם גם לא Enterprise, ויש גם חשבונות קטנים. אנחנו עושים טסטים שונים לכל אחד מסוגי החשבונות האלה?

אלדר: אנחנו לא עושים טסטים שונים, אבל כמו שאנחנו בניתוח יכולים להסתכל על Enterprise, אנחנו יכולים גם לחלק את זה ל- Buckets של גודל החברה, כמה משתמשים יש בה, ואז אנחנו יכולים לראות את ההשפעה על גדלים שונים של חברות, פשוט אנחנו צריכים תמיד לוודא שיש לנו מספיק יוזרים כזה בכל אחד מה- Buckets האלה כדי לקחת מסקנות, ואז אפשר לצאת לטסט המשך, ספציפית על איזה שהיא אוכלוסייה שהיא נראית לנו בעייתית יותר או מעניינת יותר.

אדווה: איך יודעים שיש לי Bucket מספיק גדול, ש- Sample size שלי מספיק גדול?

מיכאל: אוקי, אז בעצם יש מחשבונים באינטרנט למכביר, ואצלנו גם מימשנו את זה לתוך ה- AB test הפנימי שלנו, של Bigbrain. יש בעצם איזה שהיא פורמולה שאומרת שבהינתן שיש לי 20 אלף איש שנכנסים כל יום, 50% מתקנוורטים מתוכם ואני מצפה ל- 5% שינוי, זה ה- Sample size שצריך לצאת. אז יש, פשוט מחפשים בגוגל או אצלנו ב- Monday כבר הטמענו את זה בתוך הכלי, Sample size AB test calculator, והוא אומר לך מה ה- Sample size הדרוש, בשביל בעצם להיכנס לטסט. אני יכול להמליץ גם על Evan miller שגם עושה את זה, ואז בעצם אתה פשוט מזין את התוצאות ורואה מה ה- Sample size הדרוש, כדי בזמן האמת לדעת מתי להסתכל על תוצאות הטסט.

אדווה: מעולה. השאלה הבאה שאני רוצה לשאול אתכם היא מה חלק מהטעויות הנפוצות שיצא לכם לעשות, או שאתם רואים בטסטים בשלבים כבר שאנחנו נמצאים בהם עכשיו, בשלבים יותר מתקדמים של החברה?

אלדר: אני חושב שהטעויות הנפוצות הן בדרך כלל קשורות לתכנון, ואם התכנון לא מספיק טוב אז משם מגיעות הבעיות. בעיות נפוצות זה כמו שדיברנו, לפתוח טסט על אזור עם Sample size נמוך, ואז בעצם אנחנו מחכים המון זמן ולא מצליחים לקבל תוצאות מובהקות. לקחת מדדים, KPI's, שבעצם ה- Base line שלהם הוא נמוך מאד, ואז גם יותר קשה להגיע למובהקות. וגם כל העניין של להסתכל על תוצאות מוקדם מדי ולקפוץ למסקנות, זה גם משהו שחווינו בעבר, לפעמים סוגרים טסטים מהר, רואים תוצאות מדהימות, ואחרי זה שמסתכלים על המציאות, התוצאות הן לא בהתאם.

מיכאל: אני יכול להוסיף גם עוד דבר, שלפעמים החלוקה לטסט לא קוראת בזמן השינוי עצמו. אני אתן דוגמא, אוקיי? נגיד אנחנו עושים קמפיין של Email marketing, אז הנקודה שכל אחד צריך להיכנס לטסט זו הנקודה שהוא מקבל את האימייל. אם אני מכניס אותם שלב אחד לפני, ויכול להיות שיש יוזרים שלא יקבלו את האימייל, אז אני לא משווה את היוזרים שאשכרה ראו את השינוי, ואז בעצם אני מכניס אוכלוסייה מלוכלכת לטסט, שלא חוותה את השינוי. אז כאילו, הרבה פעמים צריך לשים לב שהנקודה שהיוזרים מתחלקים זה הנקודה בעצם שהשינוי קורה והשינוי מתחיל.

אדווה: מעולה, ואנחנו ממש שאלה אחת לפני הסוף, זו השאלה הקבועה שלנו, אני אבקש מכל אחד מכם לתת טיפ אחד לאנליסטים או לאנשי מוצר שנמצאים בחברות בשלבים יחסית גדולים, או עם סל יחסית מגוון של משתמשים – מה טיפ אחד שהייתם נותנים להם כשהם ניגשים ל- AB test?  

אלדר: אני חושב שהדגש הוא, כבר די אמרנו את זה, הוא באמת בתכנון. אני חושב שזה משהו שלמדנו עם השנים, איך באמת עושים את התכנון בצורה המדויקת ביותר, איך אנחנו מראש אומרים מה יקרה בכל מקרה של תוצאה של הטסט, ותכנון טוב מונע הרבה בזבוז של זמן וכסף ואכזבות.

מיכאל: ואני אוסיף בעצם על התכנון של הטסט ואני אגיד את זה מכיוון ה- Growth, ושזה אדווה: מעולה. אז ממש רגע לפני שאנחנו נסיים אני אזכיר שאם יש לכם שאלות אלינו, או לאלדר או למיכאל, אתם יכולים לשאול אותן באתר או בקהילה שלנו, ואם אתם רוצים לדעת כל פעם שיוצא פרק חדש, אז אתם מוזמנים לעקוב אחרינו בכל אחת מהאפליקציות. תודה אלדר.

אלדר: תודה רבה, היה כיף.

אדווה: היה כיף. תודה מיכאל.

מיכאל: תודה רבה.

אדווה: ותודה לכם שהאזנתם.