חברות סטארט-אפ נוטות לפעול על פי ההנחה השגויה שאסטרטגיית מותג היא יעד עתידי שיטופל בהמשך הדרך. 

הדעה הרווחת היא שהמותג יהיה חלק מההתפתחות הטבעית של החברה; סוג של תוצר לוואי מקרי של  התוכנית העסקית המתהווה הרחבה יותר. 

כאסטרטג מותג, שמעתי את הטיעונים האלה שוב ושוב בפגישות היכרות עם לקוחות חדשים. "לא פיתחתי אפילו את ה-MVP שלי לצורך מבחן שוק". 

"אני צריכה להגדיר את קהל היעד העיקרי שלי, לפני שאפתח סיפור לספר להם".

"אנחנו מתמקדים בגיוס כספים, לא בספיגת הוצאות. מיתוג זה מותרות שאנחנו לא יכולים להרשות לעצמנו כרגע."  

התגובה שלי? 

מהרגע שאתם יוצאים לשוק – בפניות למשקיעים, בחיפוש קהל, בשכנוע adaptors early, או במאמץ ליצור באזז – כבר יצרתם סיכון שלא תובנו נכון אם אתם לא חדים כתער ובהיר ים כשמש לגבי ה-mission שלכם, החזון, הפילוסופיה והסיבה לקיומכם.  

זכרו את חוק האצבע: יש רק הזדמנות אחת ליצור רושם ראשוני. 

ובמילים אחרות: או שתמצבו את עצמכם, או שאחרים יעשו זאת בשבילכם. 

מומלץ לאמץ עמדה אסטרטגית קשובה לגבי האופן שבו מתייחסים למותג, וכך לשמור על כיוונון מתמיד אל מול השאלה 'למה אנחנו, למה עכשיו' שמרחפת מעל ראשכם בכל שלב של המסע.  

אז מהי הדרך הכי יעילה ליצירת מיצוב אסטרטגי מותגי חזק מבלי להשקיע יותר מדי כסף וזמן?  

בשתי מילים פשוטות וקסומות: Category design

Category design הוא עיקרון מארגן שעוזר לתרגם את הרעיון הגדול שלכם לנדל"ן רעיוני ולייצר ביקוש להיצע שלכם. 

הרעיון נובע מהיגיון מכונן פשוט: כל עסק שמציע מוצר, פתרון או שירות לשוק, בהכרח מתקיים בתוך קטגוריה כלשהי. 

ומכאן קיימות שתי דרכי פעולה אפשריות: להצטרף לקטגוריית שוק קיימת, או להמציא אחת משלכם. 

1. אם החלטתם להשתכן בתוך הנדל"ן המושגי שמישהו אחר פיתח, רוב הסיכויים הם שאתם נכנסים למרחב שאמנם מוגדר היטב, אבל גם צפוף ותחרותי מאוד.  

אז נכון שתשתלבו בקלות במפת גארטנר ולא תצטרכו להשקיע בחינוך השוק, אבל קיים חשש שאף אחד לא ישים לב או יתעניין.  

2. אם החלטתם לעצב קטגוריה משלכם, אתם מראש נכנסים לשבילים בתוליים ולוקחים סיכון מסוים, אבל היתרון הפוטנציאלי הרבה יותר מספק. 

ולעתים קרובות יותר משהייתם חושבים, היזמית שעיצבה את הקטגוריה ובנתה את החברה שתאייש אותה תהפוך באופן טבעי למלכת הקטגוריה, ותשלוט בנתח הארי של השוק במרחב שהיא יצרה. במקביל, היא תמזער את גודלם של המתחרים המעתיקנים למשך שנים רבות. 

Category design נבנה על פי העיקרון המנחה:  

אל תנסו להיות יותר טובים מהתחרות .היו שונים.  

גם אם המנטרה הזאת נשמעת טריוויאלית לחלקיכם, היא לא תמיד ברורה כפי שנדמה. 

ברוב המקרים, יזמים נוטים לטעות בין בידול לבין היות "טוב יותר". ההיגיון הפגום גורס :אם אני גדול יותר/ מהיר יותר/ חכם/ זריז/בר השגה (הוסיפו את שמות התואר כראות עיניכם) - אז אני חייב להיות שונה. אבל למעשה, כל מה שאתם עושים כשאתם מאמצים עמדה זו הוא לדרוש מהשוק לשקול את האותיות הקטנות שבהצעה שלכם מול תזה מוכחת שכבר הוצגה על ידי חברה אחרת. רוב הצרכנים יבחרו לסמוך על יוצרי הקטגוריה המקוריים אם אינכם מציעים משהו חדש באמת. 

ובכל זאת, רוב היזמים, למרות טענותיהם ההפוכות, יעדיפו ליהנות מהעמדה הקלה יותר להשגה של חיקוי  במקום לחפש בידול אמיתי. 

וכפי שאנו יודעים, רוב המיזמים אינם מגיעים לשום מקום. ומהר. 

כאשר אתם שואפים לעצב קטגוריית שוק חדשה שאתם מגדירים ותובעים עליה בעלות, אתם מציעים לקהל היעד שלכם דרך חדשה למסגר ולפתור את הבעיות שלהם, מה שבסופו של דבר משנה את דפוסי הצריכה והשימוש שלהם במוצרים, ואת החלטות הקנייה שלהם. עיצוב קטגוריה מכוון את השוק להתחבר מבחינה לוגית ורגשית לתזה שלכם ויוצר ביקוש מהשטח לפתרון שלך. 

Category design שואף לחקור, להבין ולנסח את מה שמטריד את קהל היעד – אותו הדבר שהפתרון המוצע שלו מבקש להתמודד איתו. 

כי בסופו של דבר, אנשים עסוקים בבעיות שלהם, לא בפתרונות שיש לך להציע. 

כאשר אתם חווים את מה שמטריד את הקהל שלך, אתם זוכים באמון שלו ומציעים סדר יום חדש שדורש פתרון מעשי (ובמקרה יצא שהוא גם הפתרון שלכם).  

חמשת השלבים של עיצוב קטגוריה 

כאשר אני מוביל סדנאות לעיצוב קטגוריה עבור חברה, אני מבקש שבסדנה יהיו נוכחים בעלי עניין מגוונים, אשר דעותיהם ותפקידיהם מכסים טווח רחב של תחומים בארגון. זה כולל מייסדים, משקיעים, ומנהלים בכירים-C Level העוסקים במחקר ופיתוח, ניהול מוצר, שיווק ועוד. 

שילוב של מגוון דעות בחדר מעודד דיון בריא שמוביל להבנה עמוקה יותר של הצורך שהחברה ממלאת, הבעיות שהיא פותרת, והקטגוריה שבה היא פועלת ושולטת. 

התהליך מורכב מחמישה שלבים, הכוללים משימות כתיבה נפרדות שעל כל משתתף להשלים .כתיבה, שכתוב, וליטוש המחשבות מאלצים את כולם לתפוס בעלות על הרעיונות שלהם ומשמשים כזרז מעולה לדיון הקבוצתי שמגיע לאחר מכן. 

1. התחילו עם תובנה  

מה "חסר?" 

השלב הראשון בהגדרת בעיה מתחיל בחזרה לתובנה הראשונית שהציתה את הרעיון הגדול שלכם – הרגע  שבו זיהיתם שמשהו חסר בשוק מסוים, משהו שמחייב יצירה והשקה של מוצר או שירות חדש. • מה זיהיתם בשוק מסוים שאינו קיים או שאינו מספק מענה הולם? 

• התרכזו ורק במה שחסר – לא במה שאתה מתכנן לבנות כדי למלא את הפער. 

2. תפתח הגדרת בעיה  

ביסוס הקטגוריה שאנו מנסים ליצור מחייב הגדרה משכנעת של הבעיה .זה יסייע לנו לתבוע בעלות עליה בתודעתו של קהל היעד שלנו.

• ערכו רשימה של כל הבעיות בזירה העסקית שלהן המוצר/השירות שלכם מספק מענה טוב. • בחר תחום או בעיה אחת שאתם הכי מחוברים עליה רגשית .זה יהיה לב התזה שלכם. • כתוב הגדרת בעיה. התרכזו בכאב המורגש והלא-מורגש (unrealized and realized), כך שהמסר ייגע בקהל היעד שלך. 
• אל תדברו על הפתרון שלכם! המטרה היא להדגיש רק את מה שחסר – וכמה זה מפריע. • בחר "champion "לבעיה .מי קהל היעד המרכזי שלך? זה יסייע לך למקד את המסרים שלך. המסקנה: 

כל מי שיקרא את זה צריך להזדהות עמוקות עם הבעיה –ולהרגיש שהוא רוצה לזעוק לעזרה! 

3. ציינו את "המעברים"  

תכינו רשימה של השינויים המהותיים שהפתרון שלכם מאפשר – מבעיה מטרידה לסילוקה המוחלט .סדרו אותם בשתי עמודות של משפטים קצרים. המעברים יכולים להיות מוחשיים, שיטתיים או פילוסופיים ,אך הם חייבים להיות אמיתיים ומשמעותיים. 

מאתגר לפתרון: 

• איפה היה קהל היעד שלך לפני שהגעת לזירה? 
• לאן אתה לוקח אותו ביצירת הקטגוריה החדשה שלך? 

בדיקת מציאות: 

• עד כמה כל מעבר באמת משנה מציאות? 
• האם הוא מעורר השראה - ללא הבטחות ריקות? 

מיקוד במעברים מ-אל שקטגוריה חדשה מציעה הוא דרך פשוטה ויעילה לנתח את המסע שאתם רוצים להוביל בו את הקהל שלכם. 

4. יצירת שם לקטגוריה  

מציאת שם קליט ובלתי נשכח לקטגוריה הוא המפתח להצתת הדמיון של קהל היעד וליצירת ביקוש לפתרון שלכם. זו לא משימה פשוטה. זוהי רשימת המכולת שעליך לכוון אליה: 

שם הקטגוריה צריך: 

ליצור נדל"ן מושגי ייחודי 

להתרחק משמות קטגוריה גנריים  

להיות אינטואיטיבי מבחינה אסטרטגית 

לשדר הבטחה אמיתית לפתרון הבעיה  

להיות קל לאימוץ והטמעה  

להיות קצר – לא יותר מ4-5 מילים 

אל תסתפקו בשם הראשון שעולה לכם לראש. אתם צריכים להיות באמת נלהבים לגביו, כל מי שמשתתף בתהליך עיצוב הקטגוריה צריך להרגיש חיבור לשם שאתם מסכימים עליו. זהו קו הפתיחה של "נאום המעלית" שלכם, חוד החנית של התזה שלכם, ובתקווה - מה שירתק את הקהל שלכם. 

5. כתובו את נקודת המבט (POV (View of Point

כעת הגיע הזמן לעטוף את כל מה שהגדרתם בשיטתיות בתהליך עיצוב הקטגוריה לכדי חבילה שיווקית מגובשת. 

סיפור טוב תמיד מציג נקודת מבט ייחודית: 

לוקח את הקהל למסע רגשי מ-אל. 

• מעורר שינוי תפיסתי ומוביל את הקהל הפוטנציאלי שלכם מצורת חשיבה אחת לאחרת. • חייב לפגוע להם בבטן הרכה. 

מציב את החברה שלך כשונה – לא כטובה יותר. 

• יצירת POV מעצם הגדרתה עוסקת בלהיות שונה. 
• לטעון שאתם "יותר טובים" רק מחזק את הכוח של מלך הקטגוריה הקיים שאתם מנסים להחליף – וזה  בסופו של דבר מוביל לדיון על מחיר במקום על ערך . 

מציג את ה"דבר החדש" שפותר את מה שחסר - אך לא בצורה ישירה מדי. 

• ה POV-צריך להיות 80% בעיה-כואבת-מעבר לחשיבה חדשה, ו-20%- פתרון בפועל. 
• זהו התוצר ההגיוני של סיפור טוב. 
• אם אתם תפסתם בעלות על הבעיה, כולם באופן טבעי יפנו אליכם לפתרון המיוחל. 
•  

לסיכום  

חשיבה אסטרטגית על מהות המותג ועל המיקום שהוא תובע ותופס בתודעה וברגש של הקהל היעד היא חובה מהרגע הראשון. 

כל מה שאתם מקווים להשיג תלוי בגיבוש מפת דרכים ברורה ונבדלת שכל עובד בחברה יוכל ללכת לפיה כמצפן האמיתי שלו, וששוק היעד שלכם יוכל לאמץ בהתלהבות. 

עיצוב קטגוריה הוא תהליך מובנה ונגיש, המאפשר לבסס בעבור המותג שלך תשתית אסטרטגית חזקה שתשרת אתכם בהצלחה למשך שנים רבות קדימה.

ניהול צוותים מרחוק הוא לא רק בעיה פרקטית שצריך להתמודד איתה, אלא מיומנות נדרשת בעולם הגלובלי של היום. בעידן שבו סטארטאפים פועלים בכל העולם, מהודו ועד פולין, הניהול מרחוק מציב אתגרים ייחודיים, אך גם מספק הזדמנויות לחדשנות ולבנייה של צוותים יוצאי דופן. אחרי יותר מ-25 שנים של ניהול צוותים מרוחקים בחברות כמו Verint, Amdocs, וגם סטארטאפים פורצי דרך, כמו זה שאני עובד בו היום.

בבלוג הזה אני שמח לחלוק תובנות שלמדתי מניסיון – על האתגרים, הפתרונות, ומה שביניהם.

אתגר ראשון: תקשורת ברורה ועקבית

אין דרך לעקוף את זה- כשאין אינטראקציה פנים אל פנים, אי-הבנות הופכות לתדירות יותר. פגישות זום בלבד לא מספיקות. לכן, אני מתחיל בכל הקמת צוות מרוחק בבניית "תשתית תקשורת". זה כולל:

1. מפגשים פיזיים אחת לכמה חודשים: גם אם זה דורש טיסה או מפגש אזורי, אין תחליף לפגישה פנים אל פנים. זה בונה אמון ומחזק קשרים בין חברי הצוות.
2. כלים דיגיטליים עם שקיפות מלאה: הכל חייב להיות מתועד ב-Jira או Lucid, מהמשימות ועד לפרויקטים הגדולים. שקיפות מונעת טעויות.
3. תדרוכים אישיים: שיחות 1 על 1 הן לא רק כדי לבדוק מצב עבודה, אלא גם כדי לוודא שהעובד מבין את המשימות בצורה הנכונה ומרגיש שהוא חלק מהחזון ובעל מוטיביציה.

אתגר שני: מעורבות ובניית תרבות צוותית

בצוותים מרוחקים, קל מאוד להרגיש מנותק. מה שעובד במשרד – כמו שיחות מסדרון או צחוקים במטבחון – פשוט לא קורה. אז איך יוצרים תרבות מרחוק?

• אחריות ושייכות: אני מאמין גדול בהעצמת הצוותים שלי. כשכל אחד מרגיש שהוא אחראי לתחום משלו, הוא הופך למעורב.
• חגיגת הישגים: בכל צוות שאני מנהל, אנחנו עוצרים להכיר בהצלחות. פרויקטים שנסגרו בהצלחה, מטרות שהושגו – תמיד נחגוג עם כל הצוות, בין אם זה בונוס, מפגש וירטואלי, או מייל מהנהלה.
• מפגשים חברתיים מרוחקים: כן, זה אפשרי. אנחנו עושים פעילויות כמו "שעת קפה" בזום, משחקים קבוצתיים, ואפילו שולחים חבילות הפתעה לחברי הצוות.
•  

אתגר שלישי: איזון בין עבודה לחיים אישיים

אחד האתגרים הגדולים הוא לטפל ב"התנגשות" בין החיים לעבודה. עובדים מרחוק מתקשים לפעמים להפריד בין המחשב לסלון. הפתרון שלי:

1. חוקים ברורים: הודעתי לצוות שלי שאין מיילים או הודעות אחרי השעה 19:00. זה כלל פשוט שעוזר לכולם להפסיק "לחיות עבודה".
2. מפגשים במשרדים מקומיים: עודדתי את חברי הצוות להיפגש פיזית כשהיה אפשר, כדי לבנות קשרים אישיים ולרענן את המוטיבציה.
3. סופי שבוע רגועים: אני מקבל שלפעמים ימי חמישי (או שישי אם מדובר בעובדים מחו״ל) לא יהיו יעילים במיוחד. במקום להילחם בזה, בחרתי לנצל את זה לטובת איזון ורענון.

אתגר רביעי: כלים וטכנולוגיה

כל צוות מרוחק תלוי בכלים הדיגיטליים שמאפשרים עבודה משותפת. אבל, כלים יכולים גם להפוך למכשול. איך מתמודדים?

• שימוש בכלים נפוצים ויעילים: במקום להמציא את הגלגל, בחרו כלים שמוכחים בתעשייה. אנחנו משתמשים ב-Jira, Confluence, Slack, ובכלים אוטומטיים לניהול זרימת העבודה.
• פתרונות לבעיות טכניות: הקפידו על גיבוי טכנולוגי. לדוגמה, אנחנו סיפקנו לעובדים UPS כדי למנוע בעיות באספקת חשמל, ופישטנו את הכלים והתהליכים כדי שכולם יוכלו לעבוד בקלות.

הצלחה דרך אמון והעצמה

ניהול צוותים מרוחקים הוא הרבה מעבר לאתגרים טכניים. בסופו של דבר, ההצלחה תלויה באמון, שיתוף פעולה, והיכולת שלכם לתת לכל עובד להרגיש שהוא תורם וחשוב. ברגע שהצוות שלכם ירגיש מחובר, מועצם, ובעל משמעות, הם יפעלו יחד כדי להשיג תוצאות מדהימות ומיוזמתם – גם כשהם נמצאים אלפי קילומטרים זה מזה.

בעולם הסטארטאפים, ישנו קו דק בין התמדה עיקשת לבין התעקשות שעלולה להוביל למבוי סתום. ההבדל המשמעותי טמון ביכולת לזהות מתי שינוי הוא בלתי נמנע, ולבצע אותו בצורה שתשפר את החברה ותוביל אותה להצלחה, ולא להפך.

פיבוט (Pivot) הוא מהלך אסטרטגי חיובי שמטרתו להתאים את המוצר או המודל העסקי בצורה טובה יותר לצרכי השוק. במקום לראות בו כישלון, יש להתייחס אליו כצעד חיוני המאפשר לחברה לתקן את המסלול שבו היא צועדת ולהתפתח. השאלה המרכזית היא כיצד מזהים את הרגע הנכון לפיבוט ומבצעים אותו בצורה חכמה ויעילה.

מתי צריך לבצע פיבוט?

יזמים רבים מתקשים להבחין בין אתגרים שניתן לפתור לבין סימנים לכך שהכיוון העסקי שגוי. פיבוט אינו כישלון, אלא החלטה מחושבת המבוססת על משוב עקבי מהשוק והלקוחות. רבים מהסטארטאפים נכשלים בשנה הראשונה משום שאינם יודעים מתי להתעקש ומתי לשנות כיוון. יזמים מצליחים מבינים שאסור להם להתאהב ברעיון, ואם לקוחות מעלים שוב ושוב את אותן הסתייגויות, ייתכן והמוצר לא עונה על צרכי השוק וזה הרגע לשקול פיבוט.

איך לבצע פיבוט בצורה נכונה?

הקשבה לצרכי הלקוח – פיבוט מוצלח מתחיל בהבנה עמוקה של הצרכים והבעיות של הלקוחות. חשוב לא להתפתות לשנות כיוון באופן אקראי, אלא לזהות את התובנה המרכזית שמצביעה על כיוון מסוים שיוכל להוביל לצמיחה מחודשת וממוקדת.

שמירה על נקודות החוזקה והחזון של החברה – פיבוט לא אמור להוציא אותך לגמרי מהמסלול, אלא לעזור לדייק אותו. חשוב לשמור על הזהות של החברה ולהתאים את השינוי למטרות ארוכות טווח.

שינוי ממוקד, לא מהפכה מוחלטת – פיבוט לא בהכרח אומר "להתחיל מחדש". לעיתים, התאמה של קהל היעד, המודל העסקי או הפיצ'רים המרכזיים יכולה לעשות את כל ההבדל. המטרה היא לתקן את המסלול ולא להתחיל מההתחלה.

ולידציה של המסלול החדש – לפני שמשקיעים משאבים גדולים, כדאי לבצע ניסויים קטנים ולוודא שהכיוון החדש נכון. אם הנתונים תומכים בהחלטה, אל תהססו ללכת All In.

 המקרה של Fullpath - כשפיבוט הופך להזדמנות:

כשהקמתי את Fullpath יחד עם אהרון הורביץ, המנכ"ל, וישי גולדשטיין, סמנכ"ל הטכנולוגיה, החזון שלנו היה להעניק לעסקים קטנים ובינוניים את היכולות הטכנולוגיות של חברות Fortune 500. עם הזמן, הבנו שהרעיון שלנו לא היה מגובש מספיק והמשאבים שלנו החלו להיגמר. יחד החלטנו שהגיע הזמן לשינוי והחלטנו לבצע פיבוט בחברה. למעשה, עברנו שלושה פיבוטים מרכזיים עד שהגענו לרעיון הסופי, כל אחד מהם היווה נקודת מפנה משמעותית. במקום להמשיך באותו הכיוון, התעמקנו בלקוחות שלנו וגילינו שהטכנולוגיה שפיתחנו יכולה לפתור בעיות קריטיות דווקא בתחום הרכב.

השינוי הזה הוביל אותנו להתמקד בשוק האוטומוטיב בארה"ב, מהלך שהתברר כהחלטה האסטרטגית הנכונה ביותר שעשינו. כיום, Fullpath היא פלטפורמה מבוססת AI שמאפשרת לסוכנויות רכב לנהל את הלקוחות שלהן בצורה אוטומטית וחכמה, והחברה חווה צמיחה מתמדת. אנחנו עובדים כיום עם למעלה מ-1,200 לקוחות ברחבי ארה"ב, כולל סוכנויות רכב ויצרניות כמו מאזדה, יגואר ו-GM Motors.

איך מודדים פיבוט מוצלח?

לאחר הפיבוטים שעשינו ב-Fullpath, הבנו שניתן לחלק את ציר הזמן של החברה ללפני ואחרי. השינוי האסטרטגי לא השפיע רק על המוצר, אלא גם על כל המערכת העסקית של החברה. מכיוון שעבדנו בצמוד ללקוחות מהיום הראשון, הצלחנו למדוד את הצלחת הפיבוטים שלנו באמצעות שלושה פרמטרים מרכזיים:

ערך ללקוח ומוכנות לשלם (ARPA – Average Revenue Per User): מדד חשוב להצלחת הפיבוט הוא האם הלקוחות מוכנים לשלם יותר עבור המוצר. למשל, אם לפני הפיבוט לקוחות שילמו 100 דולר לחודש על המוצר שלכם, ולאחריו הם מוכנים לשלם 500 דולר, זהו סימן ברור לכך שהערך של המוצר עלה באופן משמעותי.

שימור לקוחות (Retention): כאשר הפיבוט מצליח, הלקוחות נשארים לאורך זמן ומפגינים שביעות רצון גבוהה, בעוד ששיעור הנטישה פוחת הודות לדיוק המוצר.

צמיחה והתרחבות שוק (Growth): אם הפיבוט מאפשר לחברה להיכנס לשווקים חדשים או להרחיב את קהל היעד שלה, זו עדות ברורה שהחברה מתקדמת בכיוון הנכון. השינוי צריך להוביל להזדמנויות חדשות ולספק אפשרויות לצמיחה יציבה ומתמשכת לאורך זמן.

לסיכום:
פיבוט הוא כלי חיוני בהתפתחות סטארטאפים, ואינו סימן לכישלון. המפתח הוא לבצע אותו בצורה מושכלת – להקשיב לשוק, לשמור על זהות החברה ולוודא שהשינוי תורם למדדים העסקיים. יזמים שמצליחים לאזן בין גמישות אסטרטגית לנחישות עסקית יכולים להפוך אתגרים להזדמנויות ולבנות חברה חזקה לאורך זמן.

הקשבה פעילה ללקוחות ולקיחת משוב מהם היא קריטית להצלחה. מעורבות שוטפת עם הלקוחות מספקת תובנות על הצרכים והאתגרים שלהם ומסייעת בזיהוי מדויק של הצורך בפיבוט. קבלת החלטות מבוססות נתונים ומשוב תגדיל את סיכויי ההצלחה ותסייע להתאים את החברה בצורה מיטבית לדרישות השוק. זכרו, הלקוחות שלכם הם מקור הידע הטוב ביותר!

חברות סטארט-אפ נוטות לפעול על פי ההנחה השגויה שאסטרטגיית מותג היא יעד עתידי שיטופל בהמשך הדרך. 

הדעה הרווחת היא שהמותג יהיה חלק מההתפתחות הטבעית של החברה; סוג של תוצר לוואי מקרי של  התוכנית העסקית המתהווה הרחבה יותר. 

כאסטרטג מותג, שמעתי את הטיעונים האלה שוב ושוב בפגישות היכרות עם לקוחות חדשים. "לא פיתחתי אפילו את ה-MVP שלי לצורך מבחן שוק". 

"אני צריכה להגדיר את קהל היעד העיקרי שלי, לפני שאפתח סיפור לספר להם".

"אנחנו מתמקדים בגיוס כספים, לא בספיגת הוצאות. מיתוג זה מותרות שאנחנו לא יכולים להרשות לעצמנו כרגע."  

התגובה שלי? 

מהרגע שאתם יוצאים לשוק – בפניות למשקיעים, בחיפוש קהל, בשכנוע adaptors early, או במאמץ ליצור באזז – כבר יצרתם סיכון שלא תובנו נכון אם אתם לא חדים כתער ובהיר ים כשמש לגבי ה-mission שלכם, החזון, הפילוסופיה והסיבה לקיומכם.  

זכרו את חוק האצבע: יש רק הזדמנות אחת ליצור רושם ראשוני. 

ובמילים אחרות: או שתמצבו את עצמכם, או שאחרים יעשו זאת בשבילכם. 

מומלץ לאמץ עמדה אסטרטגית קשובה לגבי האופן שבו מתייחסים למותג, וכך לשמור על כיוונון מתמיד אל מול השאלה 'למה אנחנו, למה עכשיו' שמרחפת מעל ראשכם בכל שלב של המסע.  

אז מהי הדרך הכי יעילה ליצירת מיצוב אסטרטגי מותגי חזק מבלי להשקיע יותר מדי כסף וזמן?  

בשתי מילים פשוטות וקסומות: Category design

Category design הוא עיקרון מארגן שעוזר לתרגם את הרעיון הגדול שלכם לנדל"ן רעיוני ולייצר ביקוש להיצע שלכם. 

הרעיון נובע מהיגיון מכונן פשוט: כל עסק שמציע מוצר, פתרון או שירות לשוק, בהכרח מתקיים בתוך קטגוריה כלשהי. 

ומכאן קיימות שתי דרכי פעולה אפשריות: להצטרף לקטגוריית שוק קיימת, או להמציא אחת משלכם. 

1. אם החלטתם להשתכן בתוך הנדל"ן המושגי שמישהו אחר פיתח, רוב הסיכויים הם שאתם נכנסים למרחב שאמנם מוגדר היטב, אבל גם צפוף ותחרותי מאוד.  

אז נכון שתשתלבו בקלות במפת גארטנר ולא תצטרכו להשקיע בחינוך השוק, אבל קיים חשש שאף אחד לא ישים לב או יתעניין.  

2. אם החלטתם לעצב קטגוריה משלכם, אתם מראש נכנסים לשבילים בתוליים ולוקחים סיכון מסוים, אבל היתרון הפוטנציאלי הרבה יותר מספק. 

ולעתים קרובות יותר משהייתם חושבים, היזמית שעיצבה את הקטגוריה ובנתה את החברה שתאייש אותה תהפוך באופן טבעי למלכת הקטגוריה, ותשלוט בנתח הארי של השוק במרחב שהיא יצרה. במקביל, היא תמזער את גודלם של המתחרים המעתיקנים למשך שנים רבות. 

Category design נבנה על פי העיקרון המנחה:  

אל תנסו להיות יותר טובים מהתחרות .היו שונים.  

גם אם המנטרה הזאת נשמעת טריוויאלית לחלקיכם, היא לא תמיד ברורה כפי שנדמה. 

ברוב המקרים, יזמים נוטים לטעות בין בידול לבין היות "טוב יותר". ההיגיון הפגום גורס :אם אני גדול יותר/ מהיר יותר/ חכם/ זריז/בר השגה (הוסיפו את שמות התואר כראות עיניכם) - אז אני חייב להיות שונה. אבל למעשה, כל מה שאתם עושים כשאתם מאמצים עמדה זו הוא לדרוש מהשוק לשקול את האותיות הקטנות שבהצעה שלכם מול תזה מוכחת שכבר הוצגה על ידי חברה אחרת. רוב הצרכנים יבחרו לסמוך על יוצרי הקטגוריה המקוריים אם אינכם מציעים משהו חדש באמת. 

ובכל זאת, רוב היזמים, למרות טענותיהם ההפוכות, יעדיפו ליהנות מהעמדה הקלה יותר להשגה של חיקוי  במקום לחפש בידול אמיתי. 

וכפי שאנו יודעים, רוב המיזמים אינם מגיעים לשום מקום. ומהר. 

כאשר אתם שואפים לעצב קטגוריית שוק חדשה שאתם מגדירים ותובעים עליה בעלות, אתם מציעים לקהל היעד שלכם דרך חדשה למסגר ולפתור את הבעיות שלהם, מה שבסופו של דבר משנה את דפוסי הצריכה והשימוש שלהם במוצרים, ואת החלטות הקנייה שלהם. עיצוב קטגוריה מכוון את השוק להתחבר מבחינה לוגית ורגשית לתזה שלכם ויוצר ביקוש מהשטח לפתרון שלך. 

Category design שואף לחקור, להבין ולנסח את מה שמטריד את קהל היעד – אותו הדבר שהפתרון המוצע שלו מבקש להתמודד איתו. 

כי בסופו של דבר, אנשים עסוקים בבעיות שלהם, לא בפתרונות שיש לך להציע. 

כאשר אתם חווים את מה שמטריד את הקהל שלך, אתם זוכים באמון שלו ומציעים סדר יום חדש שדורש פתרון מעשי (ובמקרה יצא שהוא גם הפתרון שלכם).  

חמשת השלבים של עיצוב קטגוריה 

כאשר אני מוביל סדנאות לעיצוב קטגוריה עבור חברה, אני מבקש שבסדנה יהיו נוכחים בעלי עניין מגוונים, אשר דעותיהם ותפקידיהם מכסים טווח רחב של תחומים בארגון. זה כולל מייסדים, משקיעים, ומנהלים בכירים-C Level העוסקים במחקר ופיתוח, ניהול מוצר, שיווק ועוד. 

שילוב של מגוון דעות בחדר מעודד דיון בריא שמוביל להבנה עמוקה יותר של הצורך שהחברה ממלאת, הבעיות שהיא פותרת, והקטגוריה שבה היא פועלת ושולטת. 

התהליך מורכב מחמישה שלבים, הכוללים משימות כתיבה נפרדות שעל כל משתתף להשלים .כתיבה, שכתוב, וליטוש המחשבות מאלצים את כולם לתפוס בעלות על הרעיונות שלהם ומשמשים כזרז מעולה לדיון הקבוצתי שמגיע לאחר מכן. 

1. התחילו עם תובנה  

מה "חסר?" 

השלב הראשון בהגדרת בעיה מתחיל בחזרה לתובנה הראשונית שהציתה את הרעיון הגדול שלכם – הרגע  שבו זיהיתם שמשהו חסר בשוק מסוים, משהו שמחייב יצירה והשקה של מוצר או שירות חדש. • מה זיהיתם בשוק מסוים שאינו קיים או שאינו מספק מענה הולם? 

• התרכזו ורק במה שחסר – לא במה שאתה מתכנן לבנות כדי למלא את הפער. 

2. תפתח הגדרת בעיה  

ביסוס הקטגוריה שאנו מנסים ליצור מחייב הגדרה משכנעת של הבעיה .זה יסייע לנו לתבוע בעלות עליה בתודעתו של קהל היעד שלנו.

• ערכו רשימה של כל הבעיות בזירה העסקית שלהן המוצר/השירות שלכם מספק מענה טוב. • בחר תחום או בעיה אחת שאתם הכי מחוברים עליה רגשית .זה יהיה לב התזה שלכם. • כתוב הגדרת בעיה. התרכזו בכאב המורגש והלא-מורגש (unrealized and realized), כך שהמסר ייגע בקהל היעד שלך. 
• אל תדברו על הפתרון שלכם! המטרה היא להדגיש רק את מה שחסר – וכמה זה מפריע. • בחר "champion "לבעיה .מי קהל היעד המרכזי שלך? זה יסייע לך למקד את המסרים שלך. המסקנה: 

כל מי שיקרא את זה צריך להזדהות עמוקות עם הבעיה –ולהרגיש שהוא רוצה לזעוק לעזרה! 

3. ציינו את "המעברים"  

תכינו רשימה של השינויים המהותיים שהפתרון שלכם מאפשר – מבעיה מטרידה לסילוקה המוחלט .סדרו אותם בשתי עמודות של משפטים קצרים. המעברים יכולים להיות מוחשיים, שיטתיים או פילוסופיים ,אך הם חייבים להיות אמיתיים ומשמעותיים. 

מאתגר לפתרון: 

• איפה היה קהל היעד שלך לפני שהגעת לזירה? 
• לאן אתה לוקח אותו ביצירת הקטגוריה החדשה שלך? 

בדיקת מציאות: 

• עד כמה כל מעבר באמת משנה מציאות? 
• האם הוא מעורר השראה - ללא הבטחות ריקות? 

מיקוד במעברים מ-אל שקטגוריה חדשה מציעה הוא דרך פשוטה ויעילה לנתח את המסע שאתם רוצים להוביל בו את הקהל שלכם. 

4. יצירת שם לקטגוריה  

מציאת שם קליט ובלתי נשכח לקטגוריה הוא המפתח להצתת הדמיון של קהל היעד וליצירת ביקוש לפתרון שלכם. זו לא משימה פשוטה. זוהי רשימת המכולת שעליך לכוון אליה: 

שם הקטגוריה צריך: 

ליצור נדל"ן מושגי ייחודי 

להתרחק משמות קטגוריה גנריים  

להיות אינטואיטיבי מבחינה אסטרטגית 

לשדר הבטחה אמיתית לפתרון הבעיה  

להיות קל לאימוץ והטמעה  

להיות קצר – לא יותר מ4-5 מילים 

אל תסתפקו בשם הראשון שעולה לכם לראש. אתם צריכים להיות באמת נלהבים לגביו, כל מי שמשתתף בתהליך עיצוב הקטגוריה צריך להרגיש חיבור לשם שאתם מסכימים עליו. זהו קו הפתיחה של "נאום המעלית" שלכם, חוד החנית של התזה שלכם, ובתקווה - מה שירתק את הקהל שלכם. 

5. כתובו את נקודת המבט (POV (View of Point

כעת הגיע הזמן לעטוף את כל מה שהגדרתם בשיטתיות בתהליך עיצוב הקטגוריה לכדי חבילה שיווקית מגובשת. 

סיפור טוב תמיד מציג נקודת מבט ייחודית: 

לוקח את הקהל למסע רגשי מ-אל. 

• מעורר שינוי תפיסתי ומוביל את הקהל הפוטנציאלי שלכם מצורת חשיבה אחת לאחרת. • חייב לפגוע להם בבטן הרכה. 

מציב את החברה שלך כשונה – לא כטובה יותר. 

• יצירת POV מעצם הגדרתה עוסקת בלהיות שונה. 
• לטעון שאתם "יותר טובים" רק מחזק את הכוח של מלך הקטגוריה הקיים שאתם מנסים להחליף – וזה  בסופו של דבר מוביל לדיון על מחיר במקום על ערך . 

מציג את ה"דבר החדש" שפותר את מה שחסר - אך לא בצורה ישירה מדי. 

• ה POV-צריך להיות 80% בעיה-כואבת-מעבר לחשיבה חדשה, ו-20%- פתרון בפועל. 
• זהו התוצר ההגיוני של סיפור טוב. 
• אם אתם תפסתם בעלות על הבעיה, כולם באופן טבעי יפנו אליכם לפתרון המיוחל. 
•  

לסיכום  

חשיבה אסטרטגית על מהות המותג ועל המיקום שהוא תובע ותופס בתודעה וברגש של הקהל היעד היא חובה מהרגע הראשון. 

כל מה שאתם מקווים להשיג תלוי בגיבוש מפת דרכים ברורה ונבדלת שכל עובד בחברה יוכל ללכת לפיה כמצפן האמיתי שלו, וששוק היעד שלכם יוכל לאמץ בהתלהבות. 

עיצוב קטגוריה הוא תהליך מובנה ונגיש, המאפשר לבסס בעבור המותג שלך תשתית אסטרטגית חזקה שתשרת אתכם בהצלחה למשך שנים רבות קדימה.

בשנת 2019, עולם הקולנוע סער סביב "קפטן מארוול". עוד לפני שהסרט יצא לבתי הקולנוע, אתר דירוג הסרטים - Rotten Tomatoes הפך לזירה של קרב בין מבקרים מקצועיים לבין משתמשים אנונימיים. גל של ביקורות שליליות הופיע באתר, כשרובם הגדול כלל לא צפה בסרט. אולפני מארוול היו המומים. שובר קופות ענק היה תחת מתקפת reviews ממוקדת של קהל שאפילו לא ראה אותו עדיין. 

בעקבות המשבר, ב Rotten Tomatoes הבינו שיש כאן בעיית מדידה והחליטו לעשות שינוי מוצרי תקדימי. 

הם הדגישו את הפער בין ציוני המבקרים לציון הקהל, והוסיפו מדדים חדשים להערכת הסרטים. אחרי שהרשתות החברתיות עברו לשערוריה הבאה משהו מהאירוע הזה נשאר איתנו – הכוח ההרסני של אי מדידה, או גרוע מכך - מדידה לא איכותית שעלולה לייצר תמונת מצב שגויה לחלוטין.   

עכשיו דמיינו שהמוצר החדש והמבריק שלכם עולה לאוויר לראשונה, ובמקום לספק תשובות חכמות ומדויקות – הוא ממציא עובדות, מתקשר בשפה זרה למשתמש או סתם שולח תשובה גנרית כמו תקליט שבור. את התרגשות העליה לפרודקשן מחליפה חרדה עמוקה שמא הבאתם לעולם פיצ׳ר מיותר וחסר ערך. האמת היא שיש סיבה טובה לחשוש. אנחנו בעיצומו של צונאמי AI – מודלי שפה מציפים אותנו בשלל תכנים, חלקם גאוניים וחלקם, איך לומר, פחות. 

אז איך אנחנו יכולים לוודא שהמודל שלנו "מתנהג יפה" בפרודקשן לאורך זמן?

מהם בעצם LLM Evaluations (או בקיצור: LLM-Evals)?

במוצרים מבוססי מודלי שפה, הערך למשתמש תלוי באופן ישיר באיכות הפלט (התשובה) שהמודל מספק. הבעיה היא שבשונה ממודלים קלאסיים של Machine Learning, כאן לא תמיד יש "תשובה אחת נכונה". לפעמים נוסחים שונים של הפלט יכולים להיות מצויינים באותה מידה. 

אדם מומחה תוכן (Subject Matter Expert) כנראה יבדוק האם התשובה שימושית בקונטקסט שבו המשתמש נמצא, האם היא מדויקת  מבחינה עובדתית, האם היא כתובה בטון וסגנון מתאים לתחום ולפרסונה ועוד. 

אנחנו זקוקים למנגנון הערכה גמיש, שיודע לומר לנו אם פלט המודל מספיק טוב; אם הסיכום שהמודל יצר באמת קולע, ואם המידע שהצ׳אטבוט שלנו מציג מדויק ולא מטעה. וזה לא טריוויאלי כי האיכות של הפלט מושפעת מפרמטרים רבים, למשל:

עד כמה התשובה בהירה ושוטפת?

האם היא נכונה עובדתית (truthfulness)?

האם היא שומרת על טון מתאים למשתמש (למשל, שירותי ואדיב)?

כמה היא עלולה להיות רעילה (toxicity) או בעלת הטיות לא רצויות (bias)?

LLM-Evals, אם כן, היא קבוצה של כלים ושיטות להערכה אוטומטית (יחסית) של איכות התשובות שמודלי שפה מייצרים – בלי שנצטרך לגייס צוות ענק של מומחי תוכן שייתייגו את הדאטה ויעריכו כל תשובה ותשובה. בפוסט הזה, אתמקד בשיטת הערכה פופולארית שנקראת ״LLM-as-a-Judge" שבה נשלח הטקסט המג׳ונרט למודל שפה נוסף ששופט את טיבו (נקרא לו בפוסט הזה ״מודל שופט״). השיטה הזו מאפשרת לנו -מצד אחד- ליהנות מהסקיילביליות שנדרשת בפרודקשן, ומאידך לשלב איכויות שיפוט של מומחי תוכן כשהערכה גנרית לא מספיקה. 

׳LLM-evals are the new ‘Secret Sauce 

אז למה llm-evals פתאום מקבלים תהודה? אם לפני כמה שנים היינו מדברים על יתרון תחרותי המתבטא בקוד, היום היכולת "לייצר קוד" נמצאת בידיים של כולם. Everything is programmable כפי שטבע דארמש שאה, מייסד Hubspot. 

 אפילו הדאטה האירגוני שעד לא מזמן נחשב ל-IP חזק, גם הוא מתחיל לאבד מעוצמתו בתור חפיר הגנתי יחיד' כשהיכולת לייצר דאטה סינטטי איכותית לטובת ׳לימוד׳ המודל נהיית מספקת דיה.

אם כן, איך מזהים סטארטאפים מבטיחים בעידן שבו הכל אפשרי? משקיעים כמו האקסלרטור המצליח Y Combinator שיצאו ממנו חברות כמו airbnb ו- Stripe  בוחנים חוסן של סטאראפ על סמך תשתית הAI evaluations שבנה, כאינדיקציה חזקה לנבדלות בעידן שבו זול וקל לבנות בן לילה מוצר AI מתחרה. מה שמבדל באמת חברת מוצר אחת ממשנתה הוא היכולת שלנו להעריך ולשפר את איכות התשובות שמודלי השפה מספקים, ולוודא שהן עונות על הצורך המדויק של המשתמש. 

LLM-evals: במגרש של מי זה יושב?

בעבר, איכות הפיצ׳ר הייתה משוייכת אוטומטית לאנשי הפיתוח וה-QA – הרי בסוף מדובר בקוד. אם פעם יכולנו להסתפק בבדיקות QA וקוד תקין, היום כמעט 100% מהערך של פיצ׳רים מבוססי LLM תלוי באיכויות הטקסטואלית שמייצר המודל. ולכן, הגדרת ה-Acceptance Criteria והסטנדרטים לאיכות המודל – ובעצם קביעה של מה נחשב "טוב" בעיני המשתמש – הופכת לאחריות מנהלי המוצר.

 אנחנו שומעים את מובילי המוצר של חברות כמו OpenAI ו-Anthropic מדברים על AI Evals כחלק מרכזי בתפקיד החדש של מנהלי המוצר. למעשה, האחריות על האיכות זולגת מהמפתחים ומהבודקים אל מנהלי המוצר. בעידן הנוכחי, שבו גם המתחרים משתמשים במודלים דומים, הערך האמיתי יגיע מפתרונות שמותאמים לעולם התוכן וליוזקייס הרלוונטי ביותר. כאן בדיוק נכנסת המומחיות של מנהלי המוצר, שמכירים לעומק את הפרסונה, התהליכים העסקיים והצרכים בשטח – ומסוגלים לבנות את מערך ה-Evals המדויק ביותר, ולהבטיח שהפלט באמת מועיל למשתמש. אנשי המוצר הופכים להיות שומרי הסף של תוצר המודל, ואחראים שהמוצר אכן מספק ערך אמיתי במקום סתם לייצר טקסט לא שימושי (או גרוע מכך, מטעה ומזיק).

אוקי, אז איך זה עובד?

הכלי המרכזי שלנו הוא ה-Golden Dataset – זהו מעין בנצ'מרק שמשמש כנקודת ייחוס להערכה של פלט המודל. ה-Golden Dataset מכיל תסריטים שמדמים את הקלט (input) שנשלח למודל הראשי, את הפלט שהוא מחזיר (output) ואת הציון שהפלט מקבל. למשל, במקרה של מוצר צ׳אטבוט, נכניס דוגמאות שמייצגות שאילתות של המשתמשים. עבור כל שאילתא ב-Golden Dataset נגדיר תשובה ונעריך אותה על סמך הקריטריונים שהגדרנו. ה-Golden Dataset משמש לנו כמצפן: הוא מייצג את "האמת" או נקודת הייחוס (Ground Truth) שלפיה המודל השופט אמור לקבוע אם פלט מסוים הוא טוב או לא. ולכן, נרצה לספק למודל השופט מגוון רחב של דוגמאות טובות ורעות.

 ברגע שאנחנו יודעים איך נבדוק אם משהו טוב או לא טוב, אנחנו עוברים לשלב הבא – בניית ה-Eval Prompt. אלו הם בעצם "חוקי המשחק" שאנחנו נותנים למודל השופט על מנת להנחות אותו כיצד לנתח את הדוגמאות ולהעריך לפי הקריטריונים שהגדרנו.

ככל שיש יותר פרמטרים ויותר מורכבות, כך ייתכן שנזדקק ל-Eval Prompt מפורט יותר, או לכמה Prompts שונים. כאן נכנסים לתמונה גם סוגי ה"שופטים" שעומדים לרשותנו:

שופט השוואתי: משווה בין שני פלטים ובוחר מי טוב יותר (נהדר להשוואה בין שתי גרסאות שונות של הפרומפט הראשי של הפיצ׳ר או להשוואה בין מודלים שונים).

שופט לפי קריטריונים גנריים: מודד בהירות (Clarity), טון (Tone), מידת אריכות (Verbosity) ועוד. אידיאלי למקרים שבהם יש שורה של מאפיינים גנריים ואובייקטיביים שמאפיינים תשובה "איכותית".

שופט קונטקסטואלי: בודק תשובה אל מול "אמת מוחלטת" שמוזרקת כחלק מהקונטקסט (למשל, שעות הפתיחה של סניף x). בדוגמה הזו, אם ground truth הוא "פתוחים א-ה בין 8:00 ל-15:00", שופט קונטקסטואלי יבדוק אם התשובה המדוברת תואמת את המידע המדויק.

המטרה שלנו היא לא רק להרשים בדמו הראשוני, אלא להבטיח שהפיצ׳ר יישאר איכותי ועקבי גם חודשים אחרי ההשקה – וישמור על עקביות אפילו אם נחליפו במודל אחר. כדי לעשות את זה, אנו מגדירים מראש מה בדיוק אנחנו רוצים לשפוט: לדוגמה, Truthfulness (נאמנות לעובדות), Clarity (בהירות), Toxicity (רעילות) או Bias (הטיה). לעתים נרצה קריטריונים ייחודיים יותר שנדרשים בעולם התוכן של המוצר.

טיפ של אלופים - תעשו ״הפרד ומשול": אם יש כמה קריטריונים, עדיף ליצור שופט נפרד לכל קריטריון. כך אפשר לקבל תוצאות ברורות יותר, ולהבין בדיוק איפה הבעיה (נניח, Toxicity נמוכה אבל Clarity גבוהה) במקום לנסות להכניס הכול למדד אחד כללי ולאבד שקיפות.

בנוסף, ככל שנגדיר ערכים בינאריים (True/False) או לכל היותר סקאלה פשוטה וחד משמעית ("נכון לגמרי" / "נכון חלקית" / "שגוי לגמרי"), נצמצם את הסיכוי לטעות שיפוט או אי הסכמה בין שופטים. 

ועוד טיפ קטן - תמיד תשאלו את עצמכם: "אם היינו מעבירים את אותם חוקי שיפוט למספר אנשים עם היגיון בריא – האם הם היו מגיעים למסקנות דומות?" אם התשובה היא "כן", סימן שהגדרתם את הכללים היטב.

רגע, קצת בעייתי לתת למודל "לשפוט" את עצמו, לא?

נתחיל בכך שמשימת השיפוט (Evaluation) שונה לגמרי ממשימת היצירה (Generation). כשהמודל מייצר תשובה, הוא צריך להתמודד עם מגוון רחב של גורמים – מידע סותר, פרומפט לא ברור ועוד – ולייצר תוכן קוהרנטי. לעומת זאת, כשהמודל מתבקש להעריך תשובה, הוא בעיקר מבצע סיווג (Classification) על פי קריטריונים מוגדרים, תהליך ממוקד ופשוט יותר עבורו.

ועדיין, עולה התהייה אם אנחנו לא בעצם נותנים למודל ״לשמור על השמנת״ כאשר הוא שופט את ביצועיו. לכן הגישה הרווחת עושה שימוש במודל אחר שישפוט את פלט המודל הראשי. גם השיטה הזו לא חפה מבעיות; מחקרים מראים שלמודלי שפה גדולים עלולה להיות הטיה (Bias) זה נגד זה. כדי להתגבר על הקושי הזה, פותחה גישה נישתית בשם "LLM-as-a-Jury": במקום מודל שפה גדול כשופט, משתמשים במספר מודלי שפה קטנים שמעריכים את אותה תשובה משקללים את הממוצע. כך מצמצמים את ההטיה, ובנוסף נהנים מתהליך זול באופן משמעותי יותר (זול פי 7).

ולכל הפרפקציוניסטים בקהל, הנה לכם נתון נחמד: מודלי שפה שונים מגיעים להסכמה בכ-80% מהמקרים –  בדיוק אותה רמת הסכמה שנשיג בקרב מומחי תוכן שיעריכו את אותן התשובות באופן ידני. 

אז מה עושים מחר בבוקר?

הגדרת דרישות ופרמטרים

לכל פיצ'ר מבוסס LLM מגדירים מראש מה הופך את התשובה ל”מספקת”: דיוק (Accuracy), טון (Tone), בהירות (Clarity), הימנעות מדיסאינפורמציה, ועוד – תלוי בצרכים של המוצר.

בניית Golden Dataset ראשוני

תתחילו בקטן: אספו כמה עשרות או מאות שאלות אפשריות ביחס לפיצ’ר שיצרתם. תייגו תשובות כ”טובות” או “לא טובות” (או לפי סקאלה פשוטה שהגדרתם). למשל, בצ’אטבוט של חנות: וריאציות על השאלה “מהן שעות הפתיחה לסניף בראשון לציון?”, עם תשובות נכונות, חלקיות או שגויות.

ניתן להשתמש בדאטה פתוח, ליצור דאטה סינתטי או לאסוף דאטה אמיתי מהמוצר שלכם (האחרון הוא הטוב ביותר). העיקר הוא לרכז מספיק דוגמאות איכותיות שמייצגות את המציאות.

כתיבת Evaluation Prompt

הסבירו למודל השופט מה הקריטריונים (Accuracy, Tone, וכו’), איך למדוד אותם, ואיך עליו להגיב לתשובות שעומדות או לא עומדות בסטנדרט שהצבתם. אם יש הרבה פרמטרים, אפשר להפריד לפרומפט ייעודי לכל פרמטר.

הרצה, השוואה ושיפור

הריצו את המודל השופט על ה-Golden Dataset שהכנתם, בחנו את התוצאות, וראו היכן הוא מסווג תשובות כשגויות או מוצלחות. הסוד הוא איטרציות. תריצו ותכווננו הן את הפרומפט הראשי של המודל (שמייצר את התשובות) והן את הפרומפט השיפוטי – עד שתגיעו לרמת איכות שעומדת בדרישות. 

ברגע שהמערכת עומדת בקריטריונים שהגדרתם, תוכלו לעקוב באופן שוטף גם אחרי עלייה לפרודקשן, להריץ בדיקות תקופתיות ולוודא שהאיכות נשמרת או משתפרת. קיימים בשוק לא מעט כלים שיאפשרו לכם לבנות בקלות את ה-llm evals שלכם. כמה דוגמאות הן  snorkle, mlflow arize ואפילו openai יצאו בחודשים האחרונים עם בטא לevals.  

״הכל אפשרי״* עם כוכבית

אנחנו חיים בעידן שבו “הכול אפשרי” בזכות הבינה המלאכותית—אבל לפעמים הגמישות הזו פותחת דלת גם למצבים פחות מחמיאים, אם לא מקפידים על בדיקות נכונות. אז תבנו Golden Dataset מדויק, תכתבו Eval Prompts חכמים ותפעילו מערך Evals קבוע. תראו איך כל התהליך הזה עושה את ההבדל בין מוצר “חמוד בדמו” למוצר שבאמת כובש את השוק.

 בפוסט הבא נקח את הAI evals לרמה הבאה כשנדבר על יצירת ״שופטים״ עבור Agents. כשנכנסים לממלכה הזו, כבר אי אפשר להסתפק רק ב”תשובה נכונה”- המודל צריך לנווט בשטח מורכב, לקבל החלטות ולהמשיך למסלול הבא בלי ללכת לאיבוד. ועד אז… may the evals be ever in your favor