آنچه حائز اهمیت است، کار یا اقداماتی است که توسط این دادهها انجام میشود و میتواند منجر به تصمیمگیری بهتر و اقدامات استراتژیک تجاری گردد. به عبارتی دیگر این روزها، استفاده از کلانداده، توسط شرکتها برای پیشیگرفتن از رقبای خود و برای رقابت، نوآوری و جذب ارزش، رایج شده است.
کلان داده چیست؟ تعریف کلان داده
کلان داده ترکیبی از دادههای ساختار یافته، نیمه ساختار یافته، بدون ساختار و دربردارندهی مجموعه اطلاعاتی است که دارای اندازه و پیچیدگی بسیار زیاد بوده و به طور معمول فراتر از حدی است که بتوان آنها را در ابزارهای سنتی ذخیره، مدیریت و یا پردازش کرد. این دادهها با گذشت زمان به طور تصاعدی در حال رشد و افزایش هستند و به سرعت از چند ترابایت به چند پتابایت میرسند. در تعریفی دیگرکلان داده، مجموعهای از تکنیکها و فناوریهایی است که به شکل جدیدی از دستهبندی به منظور روشن کردن ارزشهای پنهانی از پایگاه کلان داده که تغییر کرده، پیچیده شده و دارای مقیاس بالایی است، نیاز دارد.
ویژگیهای کلان داده
تفاوت بین دادههای معمولی و کلان دادهها چیست و چه زمانی در مورد دادههای بزرگ یا به اصطلاح کلان داده صحبت میکنیم؟ اگرچه نمیتوان پاسخ این سوال را به درستی تعیین کرد، اما مولفهها و ویژگیهایی وجود دارد که میتوان توسط آنها، کلان داده را تعریف کرد. در سالهای اخیر دانشمندان و محققین ویژگیهای بسیاری را برای کلان داده که همگی با حرف “V” شروع میشوند، در نظر گرفتهاند. شایان ذکر است استفاده از تمامی این ویژگیها در صنایع مختلف ضرورتی ندارد. در ادامه به چند ویژگی مهم پرداخته میشود:
حجم داده (Volume)
به اندازه مجموعه دادههای مورد نیاز برای تجزیه و تحلیل و پردازش اشاره دارد که در حال حاضر اغلب از ترابایت و پتابایت بزرگتر هستند. حجم عظیم دادهها به فناوریهای پردازشگر متمایز و متفاوتی نسبت به قابلیتهای ذخیرهسازی و پردازش سنتی نیاز دارد. به عبارت دیگر، این بدان معناست که مجموعه دادهها در کلان دادهها بسیار بزرگتر از آن هستند که بتوان با یک لپتاپ یا پردازنده رومیزی معمولی پردازش کرد. نمونهای از مجموعه دادههای با حجم بالا، تمامی تراکنشهای کارتهای اعتباری در یک روز است.
سرعت داده (Velocity)
به سرعت تولید دادهها اشاره دارد. دادهها با چنان سرعتی تولید میشوند که به تکنیکهای پردازش مجزا (توزیع شده) نیاز دارند. نمونهای از دادههایی که با سرعت بالا تولید میشوند پیامهای توییتر یا پستهای فیسبوک هستند.
تنوع داده (Variety)
تنوع دادهها، کلان داده را واقعا بزرگ میکند. دادههای بزرگ از منابع بسیار متنوعی به دست میآید و به طور کلی یکی از سه نوع است: دادههای ساختار یافته، نیمه ساختار یافته و بدون ساختار. تنوع در انواع دادهها اغلب به قابلیت پردازش متمایز و الگوریتمهای تخصصی نیاز دارد. نمونهای از مجموعه دادههای متنوع میتواند فایلهای صوتی و تصویری دوربین مدار بسته باشد که در مکانهای مختلف یک شهر تولید میشوند.
درستی یا صحت داده (Veracity)
به کیفیت دادههای مورد تجزیه و تحلیل اشاره دارد. صحت بالای دادهها برای تجزیه و تحلیل آنها ارزشمند بوده و به نتایج کلی کمک میکند. از سوی دیگر، دادههایی با اعتبار پایین حاوی درصد بالایی از دادههای بیمعنی هستند. یک نمونه از مجموعه دادههای با صحت بالا میتواند دادههای یک آزمایش یا کارآزمایی پزشکی باشد.
دادههای با حجم و سرعت بالا و تنوع زیاد باید با ابزارهای پیشرفته (تجزیه و تحلیل و الگوریتم) پردازش شوند تا اطلاعات معنیدار آشکار شود. به دلیل ویژگیهای فوق، حوزه دانش که با ذخیره، پردازش و تجزیه و تحلیل این مجموعه دادهها سر وکار دارد، دادههای بزرگ یا کلان داده نامیده شده است.
اهمیت و کاربردهای کلان داده
شرکتها از دادههای کلان در سیستمهای خود برای بهبود عملیات، درک بیشتر نسبت به مشتری و ارائه خدمات بهتر به مشتریان، آگاهی و بینش وسیعتر نسبت به بازار، ایجاد کمپینهای بازاریابی شخصی، مدیریت زنجیره تامین، نوآوری مبتنی بر داده، هدفگذاری دقیقتر و اقدامات دیگر استفاده میکنند که در نهایت میتواند درآمد و سود را افزایش دهد. استفاده مستمر از کلان دادهها توسط برخی مشاغل منجر به تصمیمگیری سریعتر و آگاهانهتر شده است و این موضوع برای آنها مزیت رقابتی بالقوهای نسبت به سایر رقبا را به همراه دارد.
به عنوان مثال در رابطه با کاربرد کلان داده، دادههای بزرگ بینش ارزشمندی را در مورد مشتریان ارائه میدهند و شرکتها میتوانند برای بازاریابی و افزایش سهم بازار، ایجاد بازارهای جدید و تبلیغات خود به منظور افزایش مشارکت و نرخ تبدیل مشتری، ازکلان دادهها استفاده کنند. تجزیه و تحلیل دادههای گذشته و کنونی میتواند به ارزیابی ترجیحات در حال تغییر مصرفکنندگان یا خریداران شرکتها کمک کرده و به مشاغل این امکان را میهد که به خواستهها و نیازهای مشتری پاسخگوتر باشند. شایان ذکر است که کاربرد کلان داده در تمامی صنایع و سازمانها وجود دارد.
چند مثال از کاربردهای کلان داده
در اینجا به چند مثال دیگر از نحوه استفاده از دادههای بزرگ (Big Data) توسط سازمانها اشاره شده است:
- در صنعت انرژی، کلان داده به شرکتهای نفت و گاز کمک میکند تا مکانهای احتمالی حفاری را شناسایی کرده و بر عملیات خط لوله نظارت داشته باشند. به همین ترتیب، خدمات آب و برق از آن برای ردیابی شبکههای موجود استفاده میکنند.
- شرکتهای خدمات مالی از سیستمهای کلان داده برای مدیریت ریسک و تجزیه و تحلیل دادههای بازار در زمان واقعی استفاده میکنند.
- تولیدکنندگان و شرکتهای حمل و نقل برای مدیریت زنجیره تامین خود و بهینهسازی مسیرهای تحویل، به کلان داده تکیه میکنند.
- آموزش: کلان دادهها در صنعت آموزش میتواند به شخصیسازی فرایند یادگیری کمک کند. موضوعی که تا قبل از پیدایش سیستمهای یادگیری الکترونیکی و جمعآوری دادههای آموزشی مطرح نبود. این شخصیسازی به نوبه خود میتواند باعث شکوفایی استعدادهای دانشآموزان و دانشجویان شود و پویایی محیط یادگیری را افزایش دهد.
- بهداشت و درمان: کلان دادهها میتواند در صنعت بهداشت و درمان در قالب ارائه خدمات بهتر به عموم مردم کمک کنند و این امر منجر به شناسایی روشهایی شخصیسازی شده برای درمان بیماران میشود. این امر منتج به افزایش سلامت جامعه و کاهش هزینههای دولت در بخش بهداشت و درمان میشود.
- سایر موارد استفاده دولت شامل واکنش اضطراری، پیشگیری از وقوع جرم و ابتکارات شهرهای هوشمند است.
انواع تجزیه و تحلیل Big Data چیست؟
تحلیل پیشبین (Predictive Analytics)
تحلیل پیش بین فناوری است که از تجربه (داده) میآموزد رفتار آینده افراد را به منظور اتخاذ تصمیمات بهتر پیشبینی کند (منظور از افراد الزاما انسانها نیست. بنابراین، الزاما رفتار انسانی پیشبینی نمیشود و امکان انجام انواع پیشبینیها بر اساس دادههای کنونی موجود وجود دارد).
تحلیلهای پیشبین از مدلهای " پیشبین predictive models " استفاده میکنند. مدل پیشبین، مکانیزمی است که رفتار یک فرد مانند کلیک، خرید، دروغ یا مرگ را پیشبینی میکند. این مدل، ویژگیهای (مشخصهها) افراد (موجودیتها) را به عنوان ورودی دریافت کرده و یک امتیاز پیشبینی به عنوان خروجی فراهم میکند. هرچه امتیاز پیشبینی بالاتر باشد، احتمال آنکه آن موجودیت رفتار پیشبینی شده را از خود بروز دهد، بیشتر است.
تحلیل توصیفی (Descriptive Analytics)
این نوع از تحلیل همانگونه که از نام آن بر میآید ذاتا توصیفی است. تحلیلهای توصیفی دادهها را خلاصهسازی کرده و کمتر بر جزئیات دقیق هر بخش از اطلاعات تمرکز میکند و در عوض بر روایت کلی متمرکز میشود.
تحلیل تجویزی (Prescriptive Analytics)
تحلیلهای تجویزی عموما به دنبال جنسی از پیشبینی هستند که بر اساس خروجی مدل پیشبین بتوان اقداماتی را تجویز کرد.
نتایج حاصل از تجزیه Big Data چیست؟
با تجزیه و تحلیل درست و اصولی دادهها، انتظار میرود اتفاقات زیر رخ دهد:
- صرفهجویی در هزینه: برخی از ابزارهای کلان داده (Big Data) مانند Hadoop و Cloud based analytics میتوانند مزایای مالی را برای کسبوکار به همراه داشته باشند بدین صورت که مقادیر زیادی داده را ذخیره کرده و ابزارها به شناسایی روشهای کارآمدتر کسبوکار کمک میکنند.
- کاهش زمان: سرعت بالای ابزاری مانند Hadoop در تجزیه و تحلیل حافظه میتواند به راحتی منابع جدید داده را شناسایی به مجموعهها در تجزیه و تحلیل سریع دادهها و تصمیمگیری سریع بر اساس آموختهها کمک کند.
- درک شرایط بازار و مشتریان: با تجزیه و تحلیل کلان دادهها میتوانید درک بهتری از شرایط فعلی بازار داشته باشید. به عنوان مثال، با تجزیه و تحلیل رفتارهای خرید مشتریان، یک شرکت میتواند محصولی با بیشترین فروش را پیدا کرده و مطابق این روند محصول تولید کند. با این کار میتوان از رقبای خود پیشی گرفت.
- رفتارنگاری: ابزارهای کلان داده (Big Data) میتوانند تجزیه و تحلیل احساسات را انجام دهند. بنابراین، میتوانید درباره اینکه چه کسی درباره شرکت شما چه چیزی میگوید، بازخورد بگیرید. اگر میخواهید به صورت آنلاین مشاغل خود را رصد کنید، ابزارهای کلان داده میتوانند به این مسائل کمک کنند.
- بهبود جذب و نگهداری مشتری: مشتری مهمترین سرمایهای است که هر کسبوکار دارد. هیچ کسبوکاری وجود ندارد که بدون نیاز به ایجاد یک پایگاه مشتری ثابت و محکم بتواند ادعای موفقیت کند. با این حال، حتی با داشتن مشتری، کسبوکار نمیتواند از رقابت بالایی که در بازار وجود دارد چشمپوشی کند. اگر سازمان دیر متوجه شود که مشتریها به دنبال چه چیزی هستند، محصولاتی ارائه میکند که باعث ایجاد نارضایتی مشتری شده و در نهایت بازار خود را از دست میدهد. استفاده از کلان دادهها (big data) به مشاغل اجازه میدهد تا الگوها و روندهای مختلف مربوط به مشتری را مشاهده کنند. تحلیل و بررسی رفتار مشتری برای ایجاد وفاداری در هر کسبوکار حائز اهمیت است.
- تبلیغات و بازاریابی: تجزیه و تحلیل کلان دادهها میتواند به تغییر فرآیندهای تجاری کسبوکار کمک کند. این تغییرات باعث ایجاد تطابق میان محصول یا خدمات با انتظارات مشتری شده و در نتیجه فعالیتهای بازایابی اثرگذاری بیشتری خواهند داشت.
چالشهای پیش روی استفاده از کلان داده
در ارتباط با مسائل مربوط به ظرفیت پردازش، طراحی معماری کلان داده چالشی رایج برای کاربران است. سیستمهای کلان داده باید متناسب با نیازهای خاص سازمان باشد، انجام یک کار به تیمهای فناوری اطلاعات و مدیریت داده نیاز دارد تا مجموعهای از فناوریها و ابزارهای سفارشی را با هم ترکیب کنند.
استقرار و مدیریت سیستمهای کلان داده نیز در مقایسه با مهارتهایی که مدیران پایگاه داده و توسعهدهندگان متمرکز بر نرمافزارهای ارتباطی دارند، به مهارتهای جدیدی نیاز دارد.
هر دوی این مسائل را میتوان با استفاده از سرویس ابری مدیریت شده برطرف کرد، اما مدیران فناوری اطلاعات باید مراقب استفاده از فضای ابری باشند تا مطمئن شوند هزینهها از کنترل خارج نمیشود. البته، انتقال مجموعه دادههای داخلی و پردازش حجم کار به فضای ابر اغلب فرآیندی پیچیده است.
چالشهای دیگر در مدیریت سیستمهای کلان داده شامل در دسترس قرار دادن دادهها برای دانشمندان و تحلیلگران دادهها، به ویژه در محیطهای توزیع شده که شامل ترکیبی از سیستم عاملها و ذخیره دادههای مختلف است، میشود. برای کمک به تحلیلگران برای یافتن دادههای مربوطه، تیمهای مدیریت داده و تجزیه و تحلیل به طور فزایندهای فهرستهای دادهای را ایجاد میکنند که شامل مدیریت فراداده و توابع نسب داده است. فرایند ادغام مجموعه دادههای بزرگ به تنوع و سرعت دادهها اغلب پیچیده است.
کلان داده و رایانش ابری
رایانش ابری یا آنچه گاهی به آن ابر گفته میشود را میتوان به عنوان یک مدل محاسباتی مبتنی بر اینترنت برشمرد که امکان دسترسی گسترده به منابع محاسباتی را فراهم میکند.
این منابع شامل مواردی مانند نرمافزارها، منابع محاسباتی، سرورها و مراکز داده میشود. ارائه دهندگان سرویسهای ابری معمولا از یک مدل "پرداخت به ازای مصرف (pay-as-you-go) " استفاده میکنند که به شرکتها امکان مقیاسدهی به هزینهها بر اساس نیازهایشان و کاهش هزینههای راهاندازی زیرساختها را میدهد که پیش از ظهور رایانش ابری امری اجتنابناپذیر بود.
رویکردهای مبتنی بر کلان داده در مدیریت دانش
یکی از اهداف مهم
مدیریت دانش، تغییر سازمانها در جهت کسب موقعیت رقابتی بهتر با استفاده از جمعآوری، ذخیره و پردازش دادههای بزرگ و استخراج دانش از این دادهها است.
رشد سریع ابزارهای تحلیلی و ابزارهایی که گونهای از هوشمندی را برای سازمان به ارمغان میآورند، نشاندهنده امکان جستجو داراییهای نامشهود در نقاط مختلف سازمان است. این داراییهای دانشی، فراتر از چیزی است که در گذشته به عنوان داراییهای نامشهود سازمانی در نظر گرفته میشد. دادههای مورد نیاز سازمان به عنوان ورودی تکنیکهای کلان داده در منابع متعددی موجود است که در ادامه به برخی از آنها اشاره میشود:
- دادههای بازار
- دادههای منابع انسانی
- دادههای نتایج عملکردی سازمان
- دادههای مشتریان به همراه رفتارها و عملکرد آنها
به زبان ساده، ارزشی که تحلیل کلان داده از دید مدیریت دانش برای سازمان خلق میکند، توانمندسازی سازمان در فهم این است که چه اقدامی انجام داده، اثرات آن چه بوده و چه توصیهها و نکاتی در شرایط فعلی در دل دادهها نهفته است.
در اصل تحلیل کلان داده را می توان شیوهای برای خلق دانش در سازمان دانست. در رویکرد مبتنی بر کلان داده، تمامی دادههای فرآیندی و تراکنشی در حوزههای عملکرد سازمان، مد نظر قرار خواهند گرفت. این رویکرد از روشهای مختلفی پتانسیل ایجاد ارزش بیشتر را فراهم میآورد که در ادامه برخی از این روشها نام برده شده است:
- بازخورد عملکردی فوری
- امکان دسترسی سریع به نتایج حاصل از تجارب
- بهبود تصمیمات هدفمند (الگوریتمها به جای ذهن انسان)
- کمک به تولید محصولات و خدمات جدید
بر اساس رویکردهای مبتنی بر دانش و هوشمندی سازمانی، حجم واقعی اطلاعات تا زمانی که نتوان از آنها دانش و بینش استخراج کرد، نمایان نخواهد شد. کلان داده در فرآیندهای مدیریت دانش به عنوان منبع مهمی از اطلاعات برای
استخراج دانش، فرآیند تصمیمگیری سازمانی را تسهیل میکند. به مثالی در این زمینه توجه کنید.
از
کاربردهای کلان داده در مدیریت دانش، سیستمهای توصیهگر مشتری است که با تحلیل دادههای به دست آمده از رفتار مشتری همانند بازدید از صفحات، الگوهای خرید، توجه به موضوعات، کلمات استفاده شده در نوشتهها و بسیاری داده دیگر، جهت پیشبینی رفتار آینده مشتری مورد استفاده قرار میگیرد.
پیشنهادهای دوستی در شبکههای اجتماعی، پیشنهاد محصولات در فروشگاههای اینترنتی و پیشنهاد محتوای چند رسانهای نظیر یوتیوب، مثالهایی از این حوزه میباشد. نمونههای دیگر کاربرد کلان داده در مدیریت دانش را میتوان در هوش تجاری, مزیت رقابتی کسبو کار و غیره مشاهده کرد.
منابع:
Beyer, Mark A (2012). "The importance of 'big data': a definition". Stamford, CT: Gartner
blog.faradars.org: big data definitions and analytics
searchdatamanagement.techtarget.com: definition bigdata
www.bigdataframework.org: The 4 Characteristics of Big Data
inknowtex.ir