מהו "ביג דאטה"?

הוא תחום טכנולוגי המיועד לטיפול בכמות גדולה מאד של נתונים(data) בנפח שמעל מאות טרה-בית, בקצבי הגעה מהירים מאד וממקורות רבים ושונים. מסדי הנתונים היחסייםהקיימים אינם בנויים לאיחסון ולניתוח כמויות מידע כה גדולות, שרובן אינן מגיעות באופן מפורמט לפי תבניות ידועות מראש. העלות הזולה יחסית של אמצעי האיחסון מצד אחד והכמות האדירה של מידע המגיע משלל מקורות מצד שני, גורם לכך שמידע נאגר ללא מחיקה ומאפשר יכולות ניתוח תבניות (patterns) וקורלציות הנדרשות בעולמות תוכן רבים. עקב כך התפתחו החל מסוף העשור הראשון של המאה ה-21 כלים ואמצעים לאיחסון, ניהול וניתוח של כמויות מידע עצומות אלה תחת הכותרת הכללית "Big Data". בכל יום אנחנו מייצרים 2.5 קווינטיליון בייטים של נתונים. כל כך הרבה, שלמעשה 90% מהמידע שקיים בעולם נוצר במהלך השנתיים האחרונות. הנתונים הללו מגיעים מכל מקום: מחיישנים שאוספים מידע אקלימי, מתגובות באתרי מדיה חברתית, מתמונות דיגיטליות וסרטונים שמועלים לרשת, מרישומים של רכישות מקוונות ומסימני GPS של טלפונים סלולריים. המקורות רבים מספור. המידע הזה הוא Big Data – ביג דאטה.
ל-Big data שלושה מאפיינים: נפח, מהירות ומגוון. נפח – ביג דאטה מגיע רק במידה אחת: לארג'. עסקים כיום מוצפים מרגע לרגע בנתונים וצוברים בקלות טרהבייטים ואפילו פטהבייטים של מידע. מהירות – על מנת להפיק מהם את המרב, השימוש בנתונים חייב להיעשות במהירות, ברגע שבו הם זורמים אל הארגון או ברשת. מגוון – Big data כולל מידע על כל סוגיו: מידע מובנה, ומידע שאינו מובנה: טקסט, שמע, וידאו, לחיצות עכבר, קבצי לוג ועוד. ה-Big Data הוא לא רק אתגר, הוא למעשה גם הזדמנות לחשוף תובנות חדשות מתוך סוגים חדשים של מידע, להפוך עסקים לגמישים יותר, תחרותיים יותר ולפתור שאלות שבעבר נותרו ללא מענה. עד כה, לא היו דרכים טובות לרתום את ההזדמנויות הללו לטובתנו. היום, ביבמ עושים שימוש בטכנולוגיות כמו Hadoop על מנת לפתוח דלת אל עולם של הזדמנויות.