265: למה ואיך לבנות GPT משלנו (אורלי ספיבק ויונתן פרש)
התמלול לפרק הזה נעשה באמצעות שירות AI – אם מצאת טעות, נשמח אם תעדכנו אותנו כאן
אדוה :
היי לכולם, אני אדוה שיסגל ואתם הגעתם לסטארטאפ פור סטארט אפ והיום נדבר על איך לבנות כלי GPT פנימי לארגון שלנו או אפילו למחלקה מסויימת בתוכו ולצורך העניין נמצאים איתי פה יונתן פרש. היי יונתן שלום. שאנחנו נגיד שקראנו לך יונתן, אבל אתה פה במאנדיי אתה ג׳ונה אז אנחנו נקרא לך ג'ונה. מעכשיו.
אין בעיה.
אדוה :
ואתה Full stack developer ואורלי ספיבק. Product manager. במאנדיי גם.
אורלי :
נכון. שלום, אני אורלי
אדוה :
את גם רוצה כינוי?
אורלי :
זה בלי כינוי.
אדוה :
ואתם [00:00:30] בעצם שניים אנשים שעובדים על ai brain שזה איזשהו כלי GPT פנימי שיש לנו ב Monday ואנחנו נדבר היום באמת על למה אנחנו בכלל צריכים כלי פנימי לארגון? בהינתן כל הכלים שקיימים היום בחוץ ואני אעשה ספויילר קטן לפרק, ואני אגיד שזה לא רק בגלל ענייני סקיוריטי, אבל גם נצלול לאיך בונים אותו בפועל, מה עדיין מאתגר וכאלה דברים שפגשתם בדרך ולמדתם שנתחיל?
אורלי :
יאללה נתחיל. [00:01:00]
אדוה :
אז ג'ון, אני רוצה שניה להתחיל איתך. בואו נדבר. בעיה ופתרון. מה הבעיה שהוביל אותנו בכלל לחשוב שצריך לפתח משהו פנימי לארגון?
יונתן (ג׳ונה) :
הייתי אומר שהבעיה המרכזית היא מאנדיי. כמו כל ארגון אני מניח. יש שם מלא מידע שהמידע [00:01:30] הזה יכול להיות גורו קרדיט שמישהו כתב באופן מסודר ומידע. זה יכול להיות גם שיחה שקרתה בסלק בין ארבעה אנשים, ואחרי חמישה חודשים צריך להבין רגע, אז איך אמרנו שהשיטה הזאת בנויה וכל המידע הזה מפוזר בכל מיני מקומות בארגון שעכשיו אתה רוצה להבין איזשהו פרט מידע אתה לך תחפש לך תתחיל לחפש איפה מצאת, איפה המידע הזה שמור בכלל? ועד שאתה מוצא את זה זה יכול סתם לשרוף לך מלא זמן. אז זאת הייתה הבעיה המקורית. איך אני מוצאת את פרט הפרט המידע [00:02:00] שאני רוצה כמה שיותר מהר ובצורה כמה שיותר מדויקת ובאיזשהו Conversation כזה שזה לא עכשיו. חיפוש גוגל כזה. ואז נכנס הדבר הזה של רגע. יש לנו פה משהו שבדיוק יודע לקבל מלא טקסט ולגרד לך תשובה על בסיס כל מני מקורות מידע. אז זה ממש בקצרה.
אדוה :
מגניב. ואני חושבת שנגיד מה שתפס אותי כשהצעתי את הרעיון לפרק הזה זה שהרבה פעמים חושבים על כלי GPT בתוך ארגון כמשהו שנגיד יכול לעזור לנו לעשות כזה אנליזות של דאטה. ובאמת [00:02:30] אולי ב use case של AI ברנדס זה הרבה. אנחנו משתמשים בזה בתוך ביג בריין, שזה כזה מערכת BI הפנימית שלנו, אבל זה לא רק לצורך העניין. גם למשל מחלקת It. נגיד שזה צוות שתמיד מקבל אינסוף שאלות וב 90 אחוז מהמקרים זה אותן שאלות שחוזרות על עצמן. גם הוא יכול לפתור הרבה, כאילו רפטטיבית הזאת אם הוא יבנה לעצמו מין כלי פנימי פעם אחת יזין את התשובה וזהו. אז אמרנו ai brain. אורלי, אולי שנייה במשפט מה זה בדיוק ai brain? כאילו מה? כמה [00:03:00] זמן אתם כבר עובדים עליו? ואולי כזה במילה? מה זה אמור להיות? איפה זה עכשיו ומה זה אמור להיות בסופו של דבר?
אורלי :
מגניב. אז אנחנו עובדים על בריאן משהו כמו שנה לדעתי, אולי כמה חודשי הפסקת מילואים של ג'ונה ששום דבר לא זז. ג'ונה לא פה שתדעו על זה. אז אנחנו עובדים על זה בערך שנה, משהו כזה. הגלגול הראשון של זה היה בעצם איזשהו צ'אט הכי הכי פשוט שאתה מגיע אליו. ואתה שואל שאלה, והוא אמור להיות מחובר לכל הריסוסים של מאנדיי ואתה מקבל תשובה? אני שואלת [00:03:30] למשל, והכי הכי פשוט איפה החדר שמקליטים בו פודקאסטים ומקבל תשובה שבקומה 29 ליד המטבחון.
אדוה :
כי פעם יש. כי יש לנו בגור, נניח מסמך שמראה איזה חדרים נמצאים באיזה קומה ונכנסתם לזה בדיוק.
אורלי :
והתחלנו באמת מלהכניס בעצמנו את כל התוכן הזה. וגם אמרנו אוקיי, כאילו פשוט ניתן לו הכל. הוא יאכל את זה ויהיה סבבה כאילו זה היה. הוא יעשה קסם והוא יענה. אולי אני אמרתי את זה. יכול להיות שחלק מהאנשים פה בחדר אמרו לי אחרת ובאמת ניסינו את זה. ניסינו [00:04:00] לשים המון המון מידע ולתת את התשובות וראינו שזה לא כל כך מצליח בעצם, שהתשובות לא מספיק טובות, שאנשים לא מספיק כזה וינגייט, וגם לפעמים שהם לא כל כך יודעים מה לשאול, כי הם מגיעים לאיזשהו מסך חלק שהוא צ'ט והם לא בטוחים שזה מה Conversation סטארטר הנכון ומה הם יכולים לשאול בתוך הדבר הזה. ואז הם שואלים שאלות שאנחנו לא יודעים תשובות עליהם ומתאכזבים, ומשם החלטנו להבין שאנחנו רוצים לעשות איזשהו שינוי ובעצם למקד אנשים וגם למקד את המידע שלנו, להגיד אוקיי, עכשיו אנחנו הולכים לאסוף מידע בנושא מסוים [00:04:30] ולהביא צ'מפיונס שיודע את הנושא המסוים הזה. ואז אנחנו ניתן לאנשים את הדרך לראות את כל השאלות על It. הם יכולים לשאול והם יקבלו תשובות והם לא יתאכזבו ולא יבואו לשאול עכשיו שאלה על הדאטה או על ביג בריין או עד שלא הכנסנו ויהיה להם כזה באסה.
אדוה :
אז אנחנו בדיוק מתחילות להיכנס. יש לי עוד שאלות שעולות לי כבר עלה כזה, איך זה נראה בפועל? אבל אני כן רוצה. שנייה לפני זה רגע לשאול אתכם. בסוף את אומרת עבדנו על זה שנה. אתם משקיעים בזה די הרבה מאמצים. גם מבחינת חברה, החברה בסוף יש פה מנהלת מוצר, יש פה מפתח. [00:05:00] אני מניחה שיש עוד אנשים שעובדים איתכם על זה.
יונתן (ג׳ונה) :
כן, יש לנו עוד חבר צוות, לפעמים מעצבת עוזרת גם.
אורלי :
Data Science.
יונתן (ג׳ונה) :
סיינס.
אדוה :
נכון? אז זה בין שלושה לחמישה אנשים שאני בעצם נותנת להם לעבוד על דבר אחד. במקביל לזה יש אינסוף כלי AI שכבר נמצאים בחוץ. בטח ובטח נגיד כשאני מדבר גם הרבה על עולמות של דאטה, בטח בעולמות של דאטה. אז למה לפתח משהו חדש ולא להשתמש במשהו קיים?
יונתן (ג׳ונה) :
זו שאלה שאנחנו מתעסקים איתה כל הזמן.
אורלי :
אני מצוינת.
יונתן (ג׳ונה) :
פעם בשבוע הולך לאורלי ואני אומר לה תקשיבי, [00:05:30] למה אנחנו עושים את זה? כי יש את הכלי הזה ויש את אניש ויש את Ski ויש את מטאפורה. זו שאלה טובה. אני חושב שאורלי יודעת לענות על זה הכי טוב שיש. אני התשובה הפשוטה שלי זה פשוט לחבר כל מיני מקורות AI למקום אחד של בסוף. מי זה הלקוח שלנו? זה עובדים של החברה והעובד לא רוצה ללכת לאנליזה בשביל ה 4 נושאים האלה ולמטה For בשביל שאלות על דאטה וכלי AI בשביל שאלות על מה הוא רוצה או היא רוצה להגיע למקום [00:06:00] אחד, לשאול שאלה ולקבל תשובה. אז בסוף זה נראה לי מה שאנחנו רוצים לעשות להיות המקום. אני שונא את המושג הזה, אבל הוא one stop shop. לכלי AI מאנדיי זה נראה לי ככותרת.
אורלי :
כן, נראה לי תשובה טובה באמת. פשוט אנחנו תמיד במתח הזה של בילד ובי וגם אנחנו באמת לא Building הכל כאילו יש דברים שאנחנו אומרים. אוקיי, יש כלי קיים סתם. אני אתן דוגמה. יונתן, כמה דוגמאות. אני אתן דוגמה לכלי של Data דווקא קוראים לו מטאפורה שהמטרה שלו היא לא. Ai הוא פשוט כלי שאנחנו משתמשים בו בשביל [00:06:30] לתאר את הטבלאות שלנו, את הדאטה שלנו, וזה משהו שגם רצינו שיהיה חלק מהיי brain וכמובן שכולם מכניסים עכשיו. היי, אז גם להם יש איזושהי דרך לפנות אלינו, לעשות את האינטגרציה, לפנות אליהם API ולשאול אותם את השאלה ולקבל את התשובה. אז זה משהו שאנחנו לא נבוא ונפתח עכשיו את כל התיעוד של Snowflake ואיך שואלים אותו שאלות, אלא פשוט נבוא ונכניס את מטאפורת לתוך היי לתוך הדבר שלנו. אבל אם היינו משתמשים באיזשהו כלי חיצוני שהולך ושואל על דאטה, אז לא היה לנו איך להכניס אליו את המטאפורה, כי זה לא הפוקוס של הכלים האלה. הפוקוס של הכלים האלה הוא יותר [00:07:00] דוקומנטציה ומסמכים וטקסט ולא דאטה. הם לא היו עושים בחיים שלהם אינטגרציה עם מטאפורות. אז בעצם המטרה היא כבר בסוף. יש לנו המון המון צרכים סופר ספציפיים. מאנדיי, שכשאנחנו לוקחים איזשהו כלי חיצוני שהוא נותן, אולי בייסיק ואולי אפילו הרבה יותר בייסיק, אבל לא בהכרח יש לו את ה and features שאנחנו חייבים, ואם לא יהיה לנו את הבסיס שלנו לא נוכל לבנות אותם ולהוסיף אותם.
יונתן (ג׳ונה) :
בדיוק.
אורלי :
וזה בדיוק הדברים שנתקלנו בהם בכל מיני קצוות כאלה של אבל בא לנו שהכל יהיה באותו מקום כי יוצא שכאילו [00:07:30] נהיה כבר אינפלציה של כלי AI. במקום שזה יעזור לך אתה הולך וחושב אוקיי, באיזה כלי AI אני צריך לשאול את זה? בדיוק. אז אנחנו הכלי AI שאתה שואל בו איפה אתה צריך לשאול את זה ומקבל כבר את התשובה ישר בלי לחשוב יותר מידי.
אדוה :
והיה לכם את זה. נגיד משהו שחשבתם להשתמש בכלי חיצוני והחלטתם לפתח בסוף כאילו זה כן קורה לפעמים.
אורלי :
בוודאי ברגעים אלו ממש.
אדוה :
אז תספרו קצת גם על התהליך. מחשבה כאילו.
יונתן (ג׳ונה) :
האמת שאני יכול להביא דוגמא ממש. גיליתי לפני שבועיים גורו. [00:08:00] זה אחד מהמקורות שלנו שיש שם מלא data ואנחנו בינתיים פיתחנו איזשהו מנגנון שהולך ופשוט מביא את כל הגורו קארד ושומר אצלנו. ואז על בסיס זה אנחנו עולים על תשובות עם תהליכי במירכאות API משלנו. עכשיו מסתבר שלאחרונה גורו פתחו Endpoint ממש API Endpoint שאתה יכול לשאול אותו שאלה ואז הוא עושה את כל ה API קסם עבורך כאילו הוא יכול כבר לעשות את מה שאני עושה. אז יש פה שאלה. רגע, אני ינטוש את כל התהליך שלי, לא בקטע של best Buy. אפילו לא בקטע של [00:08:30] רגע. אם אני משתמש ב Endpoint הזה אז הם יודעים להסתכל רק על Guru. כי זה גורו. אבל אז אני לא יכול להשוות רגע את הגורו שיש לי ואת Slack שיש לי ואת הידע שיש לי כדי להביא איזושהי תשובה הוליסטית, או שהיא יותר מגוונת. אז פה דווקא החלטנו בינתיים להישאר עם מה שאנחנו פיתחנו, כי אנחנו יכולים להביא את המגוון הזה של גורו לבד. לא יכולים, למרות שהם ממש פיתחו את מה שאנחנו עשינו וכנראה יותר טוב באיזשהו מובן, כי זה הם כאילו זה שלהם.
אדוה :
מגניב ממש. אני גם. אני באמת חייבת להגיד שהרבה פעמים מדברים על לפתח את הדברים האלו פנימית, [00:09:00] אז זה כמעט תמיד בהקשר של Security. נכון? כי יש פשוט data שאנחנו לא רוצים להכניס ל GPT גם לצ'אט GPT של open AI כי אנחנו לא רוצים שיהיה לו את הדלת הזאת או שהוא ילמד עליה עכשיו. נכון, יש חשבונות Enterprise ואז זה לא, אבל פתאום זה נהיה משמעותית יותר יקר, בטח לסטארטאפים קטנים יותר. אז יכול להיות שזה הוצאה כבדה ואף פעם לא חשבתי על זה. לפתח משהו שהוא כמו שאמרת one stop shop. כאילו עקרונית אתם גם יכולים לא להכניס אליו דאטה משלכם בכלל נכון? ורק להשתמש בו כמכון מקום שמאגד כל מיני כלים אחרים [00:09:30] רק בשביל שיהיה לך מקום אחד שאליו את באה לשאול שאלות. ובאמת אני מוצאת את עצמי הרבה פעמים כשיש לי שאלה. ואני אומרת רגע, זה בערוץ של משרד בתל אביב. זה כאילו, איפה זה נמצא בכלל?
יונתן (ג׳ונה) :
זה בדיוק הדרך הנכונה לחשוב על זה.
אדוה :
אז אנחנו נחזור עכשיו לאיזה משהו שאת התחלת לדבר עליו. אורלי שבסוף איך בונים את הדבר הזה בפועל? ואני כן אעשה איזה דיסקליימר קטן ואגיד שאנחנו ננסה לדבר על זה יחסית ב high level ובאיזשהו משהו שייתן תחושה לאיך בונים את זה ובאמת [00:10:00] אסביר. לא נצלול ממש ממש ממש לפרטים הטכניים עד הסוף. אבל אם כן יש לכם שאלות טכניות, אז אפשר לשאול אותם כזה באתר בקהילה שלנו. ואנחנו נביא את התשובות מ אורלי או מ. ג'ונה מי שיהיה מהיר יותר לענות. אז בואו נתחיל רגע מההתחלה החלטתם שאתם רוצים לפתח את זה? מאיפה מתחילים? איך זה בגדול הולך? איך זה נראה?
אורלי :
אני חושבת שזה התחיל קצת לפני שהגעתי, אז קשה לי להגיד איך זה התחיל התחיל, אבל היו פה כמה מחשבות. אני חושבת שהפיתוח הראשוני ראשוני [00:10:30] של זה בכלל התחיל עם להביא GPT.
יונתן (ג׳ונה) :
פשוט נכון, כי אז באמת היו בעיות סקיוריטי.
אורלי :
אבל.
יונתן (ג׳ונה) :
זה היה רק GPT.
אורלי :
כן, בהתחלה זה היה באמת רק GPT ואז התחלנו באמת לדבר גם על הבעיה הזאת של הדאטה, כאילו התחיל לעלות מכל מיני אנשים. אני הגעתי בהתחלה לחברה יש גם את עוד מישהו שהיה איתנו על זה. עמית עדיין עובד איתנו על זה וביחד איתו ועם ליגל התחלנו בעצם להבין. אוקיי, יש לנו פה כלי חזק שאנחנו עושים איתו עוד דברים והלכנו למרפאת הבעיות. מה שדיברנו עם כל המחלקות בחברה ומה הבעיות שלהם ומה אנחנו יכולים לעזור [00:11:00] להם עם היי ואיזה שאלות הם שואלים שהם לא מקבלים עליהם תשובה וגם להפך. איזה שאלות שואלים אותם כל הזמן וזה מעצבן וקיבלנו הרבה דברים שהיו מאוד משותפים לכולם. נגיד מי עובד על מי יושב איפה? אני לא יודעת.
אדוה :
שאלה נכון מי מגייס או מגייסת לתפקיד הזה?
אורלי :
גם זה פטור. ג'ונה פתר בהאקתון.
יונתן (ג׳ונה) :
כן.
אורלי :
כן, אבל לגמרי המצאנו כל מיני דברים כאלה כוללים לכולם ואמרו טוב כאילו זה קלאסי. הבאנו כבר את ה GPT. סבבה, זה איזשהו שלב ראשון. [00:11:30] מגניב. יש GPT בחברה שאנחנו יכולים לשתף בו מידע של החברה גם בלי לפחד באמת להתגבר על בעיית סקיוריטי, אבל יכולים לפתור פה משהו הרבה יותר גדול בתוך החברה עצמה, שבאמת מפריעה לכולם. ולמרות שזה כלי פנימי, הלכנו ודיברנו עם אנשים וממש התייחסנו אליהם כעוזרים ועשינו להם את כל היוזר interview הזה וכל ה process. ובאמת הוצאנו איזושהי גירסה כזאת שהיה בה כמו שאמרתי את כל המידע הכל והלאה בבלה ואתה יכול לבחור או עוד GPT או Monday mode, כזה שאתה שואל את מאנדי שאלות.
אדוה :
עכשיו רגע, אני רוצה לשאול אותך, ג'ונה בצד [00:12:00] הטכני של הדבר הזה. איך זה נראה כאילו זה כמה זמן תהליך פיתוח אנחנו מדברים? כמה זה מורכב.
יונתן (ג׳ונה) :
לומר את האמת? החלק עד היום הכי מורכב בכל התהליך הזה שנתקלנו בו בינתיים זה להביא את הדאטה. לשמור את הדאטה בצורה נכונה. זה היה לנו איזשהו פקטור ענק כשהבנו שכרגע אנחנו עד עכשיו לא. לא שומרים את ה data בצורה טובה ואז לתחזק את זה כי הרבה פעמים אתה מכניס resources ואז הם נעשים סטייל ואז אף אחד לא יודע, לא מתחזק, לא מעדכן. ופתאום מישהו שואל שאלה ורואה שהוא מקבל תשובה [00:12:30] שהיא רלוונטית מלפני חצי שנה ואז פתאום כאילו אתה מביא מידע שגוי ליוזר. אז ההתעסקות עם הדאטה כמו שכל מי שמתעסק בדאטה יודע זה הדבר הכי לא קשה מבחינה טכנית, אבל שדורש הכי הרבה מאמץ on going. בסוף התהליך של לענות את השאלה הוא אתה מקבל? שאלה היוזר אוקיי, השלב הראשון זה אתה צריך להבין איזה Resources יכולים לענות על השאלה הזאת. אוקיי, יש איזשהו תהליך שנקרא Similar to search. זה לא כזה חשוב, זה באמת יותר טכני, אבל פה בתהליך הזה אתה מביא הנה שלושה מאמרים. הנה גורו [00:13:00] והנה conversation מסלק. והנה Document שאולי יכולים להיות קשורים לשאלה שהיור שאל אז אתה לוקח את השאלה שהיור שאל פלוס 3 מאמרים או 5? לא חשוב כמה אתה שולח את זה ל GPT ואתה אומר לו בהינתן ה resources האלה תענה על השאלה הזאת וזה למעשה כל התהליך הזה. קוראים לזה Reg שזה augmented generation. בהינתן המסמכים Retrieved Argument this generation, ואז GPT באמת עושה את הקסם שלו ואתה מקבל את התשובה ואתה מגיש אותה ליוזר, אז למעשה זה במירכאות [00:13:30] זה קל? כן, התהליך הוא קל, אבל אם הדאטה שלך לא טוב אז אתה אף פעם לא יהיו לך תוצאות טובות ולוודא. הדאטה הוא טוב במקור זה סיפור. בהצלחה לכולם, אבל זה תמיד ככה בעולמות הדאטה.
אדוה :
כן. אז אולי גם שווה להגיד שאולי אני אשאל אתכם מה אני צריכה רגע, בשביל איזה משאבים אני צריכה בשביל להצליח לבנות את זה בארגון? האם אני עכשיו בן אדם אחד שעובד על זה? מספיק? האם צריך 20 אנשים שיעבדו על זה?
אורלי :
זה מאוד תלוי בגודל הארגון. אני חושבת גם בסוף את צריכה צ'מפיונס [00:14:00] עם אנשים שיהיו כאילו. ג'ונה אני אסביר. נראה לי גם יותר לעומק הזה. טכנית איך זה עבד ואיך הוא שיפר את כל המנגנון הזה, שבהתחלה הוא מאוד נאיבי ועכשיו עשינו שיפורים מטורפים. אבל בסוף, בשלב הזה הראשוני של הדאטה, את צריכה אנשים בחברה שיבינו את הוואלי. הם יבינו את הערך, ירצו להיות חלק מזה ויהיו מומחי תוכן לכל סוג של תוכן שאת רוצה להנגיש בתוך הדבר הזה, וזה משהו שלקח לנו הרבה זמן להשיג, כאילו לקח לנו הרבה זמן לגרום לאנשים לראות את הווליום ולהבין איך הם יכולים לבוא ולעזור לנו [00:14:30] ובאמת לתחזק את הדבר הזה. אולי אפשר לספר גם קצת איך עשינו את זה? כי בהתחלה הבאנו איזשהו קול קורא כזה של מי רוצה להיות צ'מפיון בתחום שלו, ודיברנו עם כל מיני אנשים, אנשי מפתח בכל מיני מחלקות, וכאילו הם כן רצו כאילו כן היה רצון ונתנו לכל אחד בורד כזה של מאנדיי שהוא יכל להעלות באמת את התוכן שלו, ואנשים העלו איזה משהו התחלתי וקצת שכחו מזה ולא כל כך זרמו עם זה. ואז עברנו כאילו קשה לנו לתחזק פה את הצ'מפיונס. אנחנו יכולים לחשוב איך לעשות את זה לבד ועל Gate Keeper שבלי קשר אנחנו רוצים לעשות אותו. ואחרי [00:15:00] הרבה זמן, כמה חודשים טובים עלינו על איזשהו קונספט חדש שהוא סוג של GPS כזה. למי שמכיר שאפשר ממש לבנות לעצמך איזשהו GPT שאתה שם לו את האינטראקציה שלך ואתה שם לו Prompt משלך וכל מיני כזה קונטקסט מאחורה. אז עשינו אותו קונספט אצלנו, רק שאתה יכול לבחור בעצמך איזה Resource אם אתה מחבר לו.
אורלי :
זאת אומרת אתה ממש יש לך UI שלנו של הייבריד בצ'אט כזה create brain. קראנו לזה brain created brain. אתה יוצר אותו ויש לך כזה UI. מגניב שאתה [00:15:30] ממש מוסיף את הלינקים לאיזה גורו קארד אתה רוצה בפנים? איזה בורדים של מאנדיי אתה רוצה בפנים? איזה ערוצי Slack אתה רוצה בפנים? כל הדברים שאתה סומך עליהם ואתה יודע שהם טובים ואתה גם יכול לבד כזה להחליט מה הפרונט, כי לפי זה הפרונט היה גם גנרי להכל. זאת אומרת כל הדברים אותו פרונט שעבדנו עליו הרבה שיפרנו אותו. אבל עדיין אם יש לי פה משהו של HR אז אני יכולה הרבה יותר לדייק אדייק מאשר אם זה משהו כללי עכשיו לכל המחלקות, ובעצם כשנתנו לאנשים לבוא ולייצר את זה ככה זה ממש הרגישו את העונש על זה עליהם. [00:16:00] זה משהו שהוא פרויקט שלהם. הם לא שמים את זה באיזה בורד ובאיזה שהוא קסם. זה נכנס למאגר כללי של כולם, אלא בעצם ממש מקבלים Branch ובאחריות שלהם בעונת השיא שלהם הם יכולים לבד לשחק איתו, לשנות אותו. הם לא חייבים עכשיו שג'ון יבוא ויעשה להם איזה שינוי בקוד וזה ממש יעשה את השינוי כאילו ממש מאז התחילו לעלות בריונים ממש רציניים. כאילו ה brand של ה It. נגיד שאתם פונים אליו עכשיו כזה זה עלה לכל החברה של האייטיז. זה ממש עונה אוטומטית לכולם דרך הייבריד עם ה brain הזה brain של פייננס עכשיו [00:16:30] חדש שהולך. ספוילר לעלות בקרוב ועוד הרבה דברים כאלה.
יונתן (ג׳ונה) :
אני אוסיף ברמה הטכנית למה ברנינג הזה? זה היה כזה הברקה? אפשר לקרוא לזה הברקה כי אנחנו חכמים במיוחד, אבל מה זה עשה בפועל? זה בסוף היה לנו מאגר ענק של עשרות אלפי רשומות בדאטה בייס של מידע כלשהו. ואתה שואל שאלה ואתה מכל המאגר הענק הזה. אתה מנסה להביא 3 ריסוסים כמו שאמרתי שהם יכולים לענות אבל ה Brain מה שהוא עושה הוא מצמצם טוטאלית את כל המאגר הענק [00:17:00] הזה ורק מה שרלוונטי לאותו Scope שאתה מדבר עליו, בין אם זה HR legal, וואטאבר. ואז הריסוסים שאתה יכול לקחת מלכתחילה הם כבר פילטר down לעולם תוכן שאתה שואל עליו. אז אם אתה שואל על It אתה תקבל רק resources מעולמות ה It ואז בהתאם אתה תלך ל GPT רק עם ה it resources עם השאלה ואתה תקבל תשובה הרבה יותר טובה.
אדוה :
אז אני כאילו אם אני לוקחת רגע ואוספת את כל מה שאתם, כל מה שדיברתי עליו גם לכדי מה אני בעצם צריכה? אז מבחינת כוח אדם נשמע שאני צריכה כאילו מישהו אחד שבאמת יוכל [00:17:30] לעבוד על זה אני צריכה או צ'מפיון שיהיו אחראים על התוכן, או פשוט מאגר דאטה מאוד מאוד גדול ומתעדכן. זאת אומרת אני בכל מקרה צריכה מאגר דאטה קיים אידיאלית. אם יש לי גם צ'מפיונס בתוך הארגון שיהיו אחראים לעדכן אותו ולהזין אותו. טוב, אם לא, אז.
יונתן (ג׳ונה) :
אני הייתי, אומר צ'מפיון. זה לאו דווקא בשביל מקורות דאטה. זה לזהות איזה איזה מקורות לדעת מי הדאטה הגדול אני יכול להביא ל brain שלי brain שלנו. אבל כן, זה יותר אנשים שיגידו. אני סומך על המאמר [00:18:00] הזה והזה והזה ועל בסיס זה תענו לי על שאלות ולא על דברים אחרים.
אדוה :
מעולה! והדבר האחרון שאני כאילו מוסיפה זה איזשהו gate keeper. קראתם את זה? זה יכול להיות או מנגנון טכנולוגי כמו שנשמע שאתם מפתחים עכשיו, או תיאורטית אם זה בהתחלה פשוט מישהו שאולי עובר על הדאטה שנכנסת ומוודא שהיא קוהרנטית ושהיא טובה ושהיא מדויקת. אז דיברנו קצת על איך זה עובד. דיברנו על למה לעשות את זה? מה? תספרו לי קצת על דברים שכאילו אתגרים שפגשתם פתרתם או דברים שעדיין מאתגרים [00:18:30] אתכם, שאתם מרגישים שאנשים אחרים אולי יצטרכו את התשובות האלה גם.
יונתן (ג׳ונה) :
אה? אני חושב שאחד האתגרים הגדולים שלא פתור כרגע שמנו עליו כוכבית ואורלי נראה לי יכולה להרחיב יותר. זה עניין. חשבנו בהתחלה שיהיה איזה מגניב. אם מישהו יוכל לשאול שאלה כמו כמה חשבונות ב Monday משלמים ל Monday יותר מ 50 אלף דולר Irr וואטאבר. משהו כזה. ואתה אומר אוקיי, אתה שואל ב natural language ואז ניצור מזה שאילתה. ואז אנחנו נריץ את השאילתה לאיזושהי טבלה ואז תבוא תשובה. Gpt יתן [00:19:00] לי על התשובה ואז הוא יענה natural language זה פשוט לא, אבל מדהים אבל surprise זה לא עבד. לא שהתהליך לא עבד, התהליך עבד, אבל היה לנו קשה לוודא שבאמת התוצאות של GPT מביא. הן יכולות להיות אמינות. שאילתה ג'ין רייט. היא באמת השאילתה של אנליסט. היה מזן רייט ואין לנו לזה באמת פתרון כרגע.
אורלי :
נכון? לא, לא פתרנו את זה עד עכשיו. עשינו איזשהו Poc כזה שהשקענו עליו. כמה זמן עם הסיינטס זה יותר מכזה. חשבנו שיהיה מגניב. זה אפילו קיבלנו ממש את הבקשה הזאת ואת [00:19:30] הרצון הזה מהמון אנשים, בעיקר אנשים ב CS ובצל, שבסוף אין להם את היכולות של Skull והם כל הזמן מחכים בתור לאנליסטים ואמרנו וואי מטורף, חייבים לפתור פה איזשהו כאב סופר גדול וניסינו עשינו Poc וזה אפילו עבד די טוב. אבל יש שם כמה אתגרים. קודם כל אתה חייב, הדאטה שלך יהיה מתועד. משוגע, מטורף, כאילו באמת התיעוד צריך להיות ברמה סופר גבוהה שזה לא קיים, כאילו לא קיים אצלנו מספיק טוב עכשיו ברמה של GPT באמת יכולה להבין את זה. אז יש פה המון המון עבודה התחלתית. אז בעצם לקחנו [00:20:00] כמה טבלאות. ביקשנו מהאנליסטים BI לעזור לנו. הם באמת התגייסו למשימה ועשו לנו תיעוד ממש טוב לכמה טבלאות, והצלחנו להוציא שאילתות ולהריץ אותם ולקבל תשובות והיה מאוד מאוד מלהיב. אבל הפחד הכי גדול שלנו שם היה זה לא השאילתה לא תצליח. זאת אומרת, אם כתב שאילתה לא נכונה הכל טוב. אבל אם הוא כתב שאילתה נכונה שמצליחה ומביאה מידע אבל המידע לא נכון ובעצם בסוף הביאה משהו לא נכון ואנחנו הולכים ומביאים את זה לבנאדם שיכול ללכת עם זה ללקוח. אז זה משהו שלא יכולנו להרשות [00:20:30] לעצמנו ובעצם לא הצלחנו להתגבר עליו, כי אמרנו בסוף אנחנו רוצים לתת את זה לאנשים שדווקא לא יודעים Skull. הם לא יודעים להסתכל על השאילתה ולדעת אם היא לא נכונה. אפילו אנשים שיודעים Skull לא בהכרח היו צריכים להסתכל על השאילתות שיצאו שם באורכים ובגדלים שלהם, ופשוט שמנו את זה בצד כרגע כי הבנו שזה איזשהו אתגר מאוד מאוד גדול וגם לא מצאנו האמת. כלי חיצוני שפותר את זה מספיק טוב עדיין.
אדוה :
זו נקודה ממש חשובה בעיניי, כי גם בפרקים הקודמים שהיו במהלך הפרק הזה הוא חלק מחודש שלם שאנחנו עושים הלאה. אז גם בשאר הפרקים שהיו בחודש הזה, [00:21:00] ותכלס כל פעם שמדברים על AI עולה העניין הזה של חשיבה ביקורתית. יכול להיות ששנה שנתיים, חמש שנים קדימה כבר נוכל לשאול שאלה ולקבל תשובה ולא להצטרך לחשוב עליה פעמיים. זה עוד לא שם. וזה ידוע שכל פעם ששואלים את פיטי שאלה בטח קצת יותר מורכבת. כן, צריך להיות באיזה שהיא עין ביקורתית על התשובה ולראות שזה הגיוני. ובאמת מה שאתם עושים פה זה מנגישים הרבה תוכן להרבה אנשים, ולא בטוח שלכל מי שמקבל את התשובה יש את היכולת לחשיבה ביקורתית. כאילו אם אני לא בעולם הדאטה, נגיד סתם מישהו שאל אותי [00:21:30] כמה חשבונות מעל 50 אלף? הערה יש פה מאנדיי. כן, אני אשאל את פיטי והוא יגיד לי סתם. תשעה מיליון. אוקיי, אין לי באמת דרך לדעת. במסגרת הידע שלי יש כתבה כחלק מהצוות. אם זה נכון או לא נכון, אז כמו שאתם אומרים המידע הזה יכול לעבור. אז אני חושבת שהנושא הזה לגמרי. הוא בהחלט צריך לראות שאתם נותנים תוכן לאנשים שיש להם את היכולת להפעיל חשיבה ביקורתית על התשובה שהם מקבלים בשאלות דת.
יונתן (ג׳ונה) :
זה באמת היום. למיטב ידיעתי, קצת בלתי אפשרי להבין איך [00:22:00] לאמת את זה, אבל נגיד בעולמות שזה כן הצליח לנו זה אתה יכול מאוד לאמת, הוא רושם לך תשובה GPT שלנו, אבל הוא גם מביא לך את המקורות ואז אתה יכול ללכת ולאמת אותו. אם יש לך ספק עשינו. עשינו איזושהי בדיקה לפני, לא זוכר כמה חודשים, כשניסינו לשאול אותו על אנשים שעובדים ב Monday והוא שאלתי אותו מי זה ג'ון. הוא אמר שג'ון הוא אחד הסמנכלים ב Monday. עכשיו תודה רבה.
אדוה :
אני אשמח, אבל.
יונתן (ג׳ונה) :
אני לא. אבל אם אתה מסתכל במקור אתה רואה שפשוט הוא הביא דאטה לא נכון. ואז על בסיס זה הוא ענה אז איפה שזה כן עובד [00:22:30] זה איפה שהמידע הוא היום טקסטואלי וקל לאמת ודת. אז זה באמת קצת יותר קשה כי זה טבלאות ושאילתות וזה לא קל.
אדוה :
מהמם! עוד אתגרים שעולים לכם?
יונתן (ג׳ונה) :
כן, אני חושב שעוד אתגר שהיה לנו זה אפשר לקרוא לזה חלוקת חלוקת עבודה נכונה. אז בהתחלה, כמו שאורלי אמרה כמה פעמים, באמת עבדנו קצת נאיבית שנעבוד, אומר זה אני ועוד בחור שהיה בצוות בזמנו. ליאור. די עשינו הכל שהכל זה כולל גם להביא את הדאטה וגם אחרי זה לעשות את כל התהליכים. [00:23:00] הדאטה סיינס ים היום נגיד אנחנו בדיוק לקראת Hands of שכל מה שקשור לענות על השאלה בפועל שזה הרגע שדיברתי עליו, כל הסמינר יהיה ללכת ל GPT וכל זה עובר לצוות דאטה Science ששם זה היה אמור להיות מלכתחילה. אבל שוב, מכיוון שזה היה כזה טוב אנחנו ב Poc שמתמשך כבר חצי שנה, אז אנחנו עשינו הכל וגם נביא את הדאטה. זה משהו שמפתח כמובן יכול לעשות, אבל יש לנו צוות data engineers. למה שהם לא יעשו את זה? כי הם עושים את זה יותר טוב ויותר נכון? ואז אנחנו המפתחים ואורלי מנהלת [00:23:30] המוצר יכולים להתרכז על המוצר עצמו ומה הלקוח צריך ואיך בונים נכון ואיך היוזר נוח לו לבנות brain ולהביא מידע כאילו יש פה הרבה הרבה בניית מוצר שאנחנו לא מגיעים אליו, כי אנחנו מתעסקים בכל התפאורה של הדאטה וה data Science ושזה לא מה שאנחנו אמורים לעשות לדעתי אנחנו מבינים את זה. כן, לאט לאט על הדרך על בשרנו. אבל אם יש מאזינים שמתחילים מאפס אז ויש לכם את המשאבים האלה, אז לגמרי תנצלו אותם.
אורלי :
לגמרי. הרבה מחשבה על כאילו על ה scale שזה הולך להיות בו. לפני [00:24:00] כן עשינו איזשהי משהו יחסית בסיסי וחשבנו על כמויות הדאטה שהולכות להיכנס ופתאום נתקלנו בכזה. אוקיי, אנחנו לא יכולים להביא בורדים עם אלפיים אייטמים עם 100 אייטמים. אנחנו תקועים באיקס אייטמים מסוים והיינו צריכים לעשות שינוי מאוד מאוד גדול בשביל כן לאפשר את ה scale. כשראינו שאנחנו רוצים אותו.
אדוה :
אז זה באמת כזה. מרימה לי להנחתה לכמה שאלות שהן כבר. אנחנו מתקרבים לסוף הפרק הראשון. כן. הראשונה היא באמת איך אנחנו משתפרים. אוקיי. דיברתם על זה [00:24:30] שבהתחלה המוצר היה ממש בסיסי? ממש גרוע? את מדברת על זה כאילו מה זה גרוע? פשוט מאוד מאוד מאוד בסיסי. אני יודעת שהיום הוא כבר לא במצב הזה. אני גם יודעת שבהתחלה לקח יחסית הרבה זמן לקבל תשובה. היום זה גם פחות המצב. אז איך משתפרים? גם ברמה הטכנית, אבל גם כאילו בתשובות שהוא נותן, כי גם להסתכל על צ'אט GPT בהתחלה היה נותן תשובות פחות טובות. אם הוא יודע לעשות תשובות יותר טובות אז משנה. אולי תדבר איתה על החלק הטכני, איך משפרים בו? ואורלי על החלק של האיכות של התשובות?
יונתן (ג׳ונה) :
אז אני אגיד שבהתחלה [00:25:00] לא היו לנו שום בדיקות טכניות. אנחנו פשוט פיתחנו ואמרנו זה מרגיש יותר טוב. ואז נכנסה רוני ה Data Scientist והסבירה לנו שאנחנו צריכים להתאפס על עצמנו והכנסנו תהליך שנקרא Rough, שזה Assessment, שזה תהליך שאתה יש לך איזשהו סט שאלות שאתה יודע מראש את התשובות שלהן. כלומר, יש לך שאלה ground truth, כלומר האמת האמיתית. ואז עבור כל הדאטה בייס הזה של שאלות ותשובות, אתה מגרד את התשובות עם המודל [00:25:30] הנוכחי שלך. אתה שולח את כל זה, את השאלה, את הגרון ואת ה Generated answer לאיזשהו קסם data Science שרוני עושה, הוא מביא לך איזשהו ציון ובסוף אומר לך אתה יודע לענות בממוצע ב 86 אחוז, נגיד. ואז כל פעם שאתה עושה כל שינוי, בין אם זה במונדיאל, בין אם זה באיך שאתה מביא את ה data בין אם זה בפרויקטים שאתה משנה, אז אתה יכול לראות ש. אוקיי, אני עליתי מ 86 87. פתאום ירדתי ל 82. אז רגע, מה קרה? בוא נלך לגרסה הקודמת ונבין, אבל המדידה הזאת, [00:26:00] ברגע שהכנסנו אותה באמת אני מריץ 20 טסטים ביום רק כדי לוודא שלא עשיתי איזושהי איזושהי טעות באיזשהו שלב, כי יש כל כך הרבה פקטורים שיכולים לשנות את התשובה. ואם אתה לא כל הזמן בבדיקות אז אתה פשוט מפספס את זה. ואז פתאום האיכות יורדת ואתה אפילו לא שם לב.
אדוה :
אני כן רוצה לשאול גם על העניין הזה של זמני תגובה. כמה יכולת יש לנו להשפיע על זה? איך משפרים את זה?
יונתן (ג׳ונה) :
יש בוא תן בסוף רוב הזמן זה כמה זמן לוקח ל GPT לענות את התשובה? הרי היום אנחנו עושים. אני שולח שאלה עם כל המקורות. כמו [00:26:30] שאמרנו מחכה שכל התשובות הג'נרל וזה יכול לקחת זמן כי מי שמכיר את GPT הוא כזה בזמן אמת הוא כותב לך כזה ממש הוא עושה סטרימינג של מילה, מילה אות אות. לא יודע איזה רזולוציה. אבל אנחנו לא. אנחנו מחכים לכל התשובה וזה יכול להיות מאוד מתסכל. אז יש פתרונות שזה יכול לרשום לו משהו כמו. Now you can be considered? ואז התשובה שהוא ג'נרל באוברול יותר קצרה ואז אתה גם מקבל אותה יותר מהר. אבל אנחנו כן גם חושבים ללכת לפתרון של סטרימינג בעצמנו ולקבל את התשובה בריל טיים. [00:27:00] ואז זה כמובן גם ישפר את הביצועים לפחות ביצועים, אבל גם נגיד להשתמש ב GPT 4 או זה היה מהפכני כי זה פי 5 יותר מהיר בממוצע. ובאמת ראינו את זה כאילו הזמנים צנחו מ 17 שניות ל 6. כאילו שגם 6 זה הרבה זמן. 6 שניות לחכות לתשובה. אבל זה משהו.
אדוה :
כן, ואני חייבת להגיד שאני מרגישה שזה ממש ממש אקוטי. במיוחד אם כן מתייחסים לכלי פנימי כמשהו שבא לתת מענה לענייני Security. זאת אומרת, אם נרצה [00:27:30] להריץ דאטה של של של הארגון, אז כאילו של לקוחות ודברים כאלה זה אני. כאילו צריכה למצוא איזשהו אינסנטיב לעובדים. למה להשתמש בכלי פנימי ולא בצ'אט GPT כי זה פשוט קל. אני היום אני אוטומטית כותבת שציפיתי בלי שאני חושבת בכלל. כן. ומן הסתם יש דברים שפחות משנה לי. נגיד יש לי שאלה לאיתי אני אחכה 20 שניות גם אם אני אקבל תשובה זה בסדר. זה עדיין יותר מהיר מלפתוח Ticket ועדיין, אבל מצד שני אם זה חלק מהעבודה השוטפת. ועכשיו יש לי שאלה על דאטה וצ'אט GPT יוציא לי את [00:28:00] זה בחמש שניות. ואיי. היי בריאן יוציא לי את זה בדקה. יכול להיות שאני הולכת? ציפיתי שזה כבר משהו שאנחנו ממש לא רוצים בתור ארגון, לא מבחינה לגאלית. לא נכון. אז גם פה נשמע שיש חשיבות מאוד גדולה לזה שזה כן יהיה מהיר. אם זה סוג השימוש שאתם מתכננים לעשות עם זה.
יונתן (ג׳ונה) :
את צודקת לגמרי.
אורלי :
עדיין יש לנו הרבה משתמשים שמשתמשים בה. בריאן יחד עם הדבר הזה מכל מיני סיבות כדי של נוחות זה יופיע להם כבר ישר בתוך הביג בליינד, שזה מסך שהרבה נכנסים אליו וזה נוח. וגם בגלל השילוב הזה של כאילו את יכולה להשתמש ב resources של [00:28:30] החברה ולשאול כל מיני שאלות ואז לעבור עם זה ל GPT ולהמשיך איתו את השיחה בצורה כזו. סופר איך אומרים את זה? מגניב נייס. אבל כן, אבל גם אנחנו עובדים על ה Latency וזה פיין פוינט ממש ממש גדול ויכול להיות שמה שנצטרך לעשות זה באמת הסטרימינג הזה כי בתכלס לוקח לנו אותו זמן לענות.
אדוה :
זה רק התחושה שכבר אני מקבלת משהו.
אורלי :
וזה רק מוכיח כמה זה חשוב. גם יוזרים פנימיים, החוויה UX והתחושה כאילו זה כאילו קהל שבוי, אבל זה לא קהל שבוי, כאילו יש לו את כל האופציות לעשות משהו אחר ולא להשתמש [00:29:00] בנו.
אדוה :
אז אורלי, אני רוצה כזה ממש לקראת סיום קצת. מה החזון? כאילו לאן זה הולך? יש נקודה שתעצרו בה ותגידו ייצגו את הענף. יש איזה מקום שאתם מנסים להגיע אליו?
אורלי :
שאלה מצוינת. אני חושבת שבסוף החזון זה באמת כבר המשפט הזה של ג'ונאס עונה אבל one stop shop. באמת שזה יהיה סופר קל פשוט להיכנס לאיזה עבריין ולשאול אותו כל שאלה בכל נושא שאתה רוצה לשאול לגבי מענה לכל העובדים ופשוט לקבל את התשובה בלי להתעסק בכלל ולאן אני צריכה ללכת ואיפה אני צריך לשאול את זה או [00:29:30] במינימום של המינימום לקבל מי היה עבריין? את ההכוונה של לאן אתה צריך ללכת. ויש עוד המון עבודה עד שנגיע לשם. יש עוד המון עבודה של לשפר את עצמנו. כמו שאמרנו פרפורמנס וב Latency שלנו ובאיכות של התשובות שלנו. ויש המון עבודה באינטגרציה של להביא את כל הכלים הפנימיים שמשתמשים בהם ב Monday לתוך אותו מקום, לתוך הדבר הזה ולהבין איך מגלגלים ביניהם. מתי אנחנו יודעים מתי אנחנו לא נעים מפה? ויש לנו גם איזה שהוא חזון באמת של שכבה כזאת מעל כל הכלים האלה ומעל כל הבריונים שהיא של פיקציה שבעצם [00:30:00] הבריונים יהיו שקופים. לייזרים לא יצטרכו לבוא ולבחור Brain, אלא הם ישאלו את השאלה יהיה לנו איזה שהוא כזה. שאלה לגבי באיזה brain צריך לענות על הדבר הזה? אולי כמה בריונים צריכים לוותר על הדבר הזה ואז ללכת אליהם ולקבל את התשובות, ואז זה באמת החזון שלנו, של מקום אחד כזה. אקסבוקס אחד אינפוט אחד שאתה שואל בו את כל השאלות שלך שיש לך בעולם.
אדוה :
מין עוזר אישי כזה אפילו.
יונתן (ג׳ונה) :
כן, זה בדיוק מה שרציתי להוסיף.
אורלי :
אמרתי הרבה הרבה מילים בשביל להגיד עוזר אישי.
יונתן (ג׳ונה) :
כן, העוזר [00:30:30] אישי בעיניי זה זה גם יכיר את כל כל כולך. כלומר הוא יכיר את כל הסליקים האישיים שלי אם אני רוצה האימיילים שלי וקצת בוקי, אבל לשם אנחנו הולכים וזה ממש Personal Assistant שיכול אפילו לקבוע לי פגישה עם אורלי, כי הוא יודע שיש לי איזושהי משימה שתלויה בה כי אפשר להגיע לשם. זה לא יקרה מחרתיים, אבל זה לגמרי יכול לקרות וזה מה שמגניב לגמרי אקשן.
אורלי :
כאילו זה גם בחזון שבסוף, ברגע שידעת את זה ממש טוב, גם אוכל פשוט לעשות דברים בדרך. היה עבריין.
אדוה :
מטורף. אז [00:31:00] תגידו מי שמקשיב לנו ורוצה להתחיל לעשות משהו כזה או כבר כאילו בהתחלה וזה יש לכם טיפ אחד? טיפ אחד שכל אחד מכם היה נותן לו לה.
יונתן (ג׳ונה) :
תמצאו משאבים שיעבדו לכם על הדאטה. אל תתעסקו בדאטה בעצמכם. תחשבו על איך הדאטה יושב, באיזה טבלאות, איך זה מסודר וארגנו את זה היטב מראש שלא להכניס זבל כי אז קשה להוציא את הזבל לגמרי.
אורלי :
וגם הייתי אומרת להשקיע הרבה זמן [00:31:30] יחסית במחקר לפני שעושים את זה. מעבר לטיפ של הדאטה, שהוא הטיפ הכי טוב, ג'ונה כבר גנב אותו. אבל הטיפ השני הכי טוב זה להשקיע במחקר, ללכת לכנסים, לשמוע תכנים אם אין מישהו שהוא כזה סופר מומחה. היי בחברה. אם אין data science פשוט לוודא שאתם מכירים את החומר ואתם יודעים איך זה עובד ואתם לא מניחים שיהיה פה איזשהו קסם ולהבין שזה כן עבודה וזה ייקח זמן.
יונתן (ג׳ונה) :
זה לא קסם, זה נראה לי המשפט הכי חשוב בכל הפודקאסט הזה. זה באמת לא קסם, זה הרבה עבודה.
אורלי :
לצערנו זה לא קסם.
יונתן (ג׳ונה) :
כן, זה blood sweat years. [00:32:00]
אדוה :
טוב אז מעולה. אז אם המשפט מפתח הזה אנחנו נסיים. ואני שוב אזכיר שאם יש לכם שאלות כלשהן או שאלות שהן קצת יותר טכניות על באמת, איך זה ממש הבנייה של זה נעשית בפועל? אז אתם מוזמנים לפנות אלינו או דרך האתר שלנו. יש שם כזה כפתור, אז כזה Anything? או דרך הקהילה בפייסבוק? ואם אתם רוצים לדעת כל פעם שיוצא פרק חדש בחודש היי או בכלל, אתם מוזמנים לעקוב אחרינו בכל אחת מהאפליקציות. תודה.
יונתן (ג׳ונה) :
עונה בכיף.
אדוה :
תודה אורלי.
אורלי :
תודה רבה.
אדוה :
ותודה לכם שהאזנתם.
הניוזלטר שלנו
הירשמו וקבלו עדכונים על פרקים חדשים, כתבות, אירועים ועוד הפתעות!
רוצים לקחת חלק בשיתוף ידע?
אם גם אתם רוצים להצטרף למשימה שלנו להעשיר את האקוסיסטם בידע ותובנות, אם אתם רוצים לשאול אותנו משהו, אם אתם מרגישים שיש משהו שעזר לכם וכולם צריכים לדעת, נשמח לשמוע.