02-05-2021, 05:04 PM
پرديس فناوري کيش_طرح ملي مشاوره متخصصين صنعت و مديريت_گروه فناوري اطلاعات و ارتباطات
داده هاي کلان(Big data)چيست؟
داده‌های کلان به مجموعه ای از داده ها گفته می شود .که به خاطر بزرگی و حجم وسیعشان نمی توان آنها را همانند پایگاه های داده معمولی مدیریت کرد. این داده ها آنقدر وسیع و حجیم هستند .که با نرم افزارها و ابزار معمولی مدیریت داده ها نمی توان عملیات مختلفی از قبیل گردآوری، ذخیره سازی، مدیریت و پردازش را بر روی آنها انجام داد.
به خاطر تولید فزاینده داده ها و رشدشتابنده فناوری های اطلاعاتی نمی توان تعریفي ازداده‌های کلان به دست داد.امااکنون مجموعه داده های چندترابایتی (هر ترابایت= ۱۰۰۰ گیگابایت) تاچند پتابایتی (هر پتابایت= ۱۰۰۰ ترابایت) راداده‌های کلان می نامند.برخی موسسات پژوهشی برای تعریف داده‌های کلان علاوه بر ویژگی حجم، از دو شاخص سرعت تبادل وتنوع داده ها هم استفاه می کنند.
البته ظرفیت و توانمندی سازمان‌ها و شرکت‌های مختلف در زمینه مدیریت داده ها هم در این تعریف دخیل است. گاهی ممکن است چند گیگابایت داده برای شرکتی «داده‌های کلان» به حساب آید. اما ممکن است شرکت دیگری ده ها یا صدها ترابایت داده را برای خود داده‌های کلان بنامد. هم اکنون وبلاگ ها، شبکه های اجتماعی، نتایج جستجوهای اینترنتی و پایگاه های داده مربوط به رشته های علمی مختلف از مهمترین داده‌های کلان به شمار می روند. از مثال های بارز پایگاه داده هاواطلاعات هواشناسی است. این پایگاه هاروزانه حجم وسیعی از داده های آب و هوا و تغییرات جوی را گردآوری و ذخیره می کنند.
مهمترين ويژگي داده هاي کلان
یکی از مهمترین ویژگی داده‌های کلان این است که هیچ ساختار و نظم مشخصی بر آنها حاکم نیست. حجم وسیع این داده ها نیز باعث شده است که پردازش آنها عمدتاً به وسیله فناوری رایانش ابری صورت گیرد، چرا که تحلیل آنها مستلزم این است که از ده ها، صدها و یا حتی هزاران رایانه به طور همزمان استفاده شود.
داده هاي کلان چگونه به وجود مي آيند؟
گفته می شود هم اکنون روزی ۲٫۵ کینتی لیون بایت (هر کینتی لیون= یک میلیون تریلیون) به حجم داده ها و اطلاعات موجود در سراسر جهان افزوده می شود. و سرعت افزایش داده ها نیز به حدی است .که همیشه بیش از ۹۰ درصد داده های موجود در دوسال گذشته تولید شده است. ابزار و فناوری های مختلفی که در دسترس انسان امروزی قرار دارد. از دوربین و میکروفون و تلسکوپ و گوشی تلفن گرفته تا شبکه های بیسیم و ماهواره ای همگی در حال تولید اطلاعات و افزایش حجمِ داده‌های کلان هستند.
برآوردها نشان می دهد هم اکنون ۴٫۶ میلیارد گوشی موبایل در سراسر جهان وجود دارد . و حدود ۱ تا ۲ میلیارد نفر هم به اینترنت دسترسی دارند. تعداد افرادی که امروزه با داده ها و اطلاعات سرو کار دارند به مراتب بیشتر از گذشته است. شرکت سیسکو پیش بینی کرده است تا سال ۲۰۱۳ حجم تبادل داده ها سالانه ۶۶۷ اگزابایت (هر اگزابایت= ۱ میلیون ترابایت) افزوده خواهد شد.
مشکلات و انتقادات
استفاده از داده‌های کلان با مشکلات بسیار زیادی همراه است. اول اینکه نمی توان با ابزار و نرم افزارهای معمولی مدیریت داده ها سراغ آنها رفت. مشکل بزرگ دیگر این است که کار با آنها مستلزم استفاده از ده ها نرم افزار و برنامه های موازی است که بر روی ده ها، صدها و یا هزاران سرور نصب شده است.برای اینکه بتوان حجم وسیعی از داده ها را در مدت زمان قابل قبولی مدیریت و پردازش کرد. باید از فناوری های ویژه ای استفاده کرد. هم اکنون برخی از مهمترین فناوری های در این زمینه عبارتند از: پردازش موازی در مقیاس وسیع (MPP)، شبکه های داده یابی، سیستم فایل های توزیعی (DFS)، پایگاه های داده توزیعی، پلتفرم های رایانش ابری، اینترنت، سیستم های ذخیره قابل ارتقا و غیره.
دشواری مدیریت و پردازش داده‌های کلان باعث شده است .که تقاضا برای متخصصان مدیریت و پردازش اطلاعات در شرکت هایی مثل اوراکل، آی بی ام، مایکروسافت و SAP افزایش یابد. به طوریکه این شرکت هاتاکنون بیش از ۱۵۰ میلیارددلار به شرکت هایی پرداخته اند اند .که درزمینه مدیریت و تحلیل داده هاتخصص دارند. ارزش صنعت پردازش و مدیریت داده هاهم اکنون بیش از ۱۰۰ میلیارد دلاربرآوردمی شود.وسالانه ۱۰درصدهم بدان افزوده می شود.
www.kishtech.ir
داده هاي کلان(Big data)چيست؟
داده‌های کلان به مجموعه ای از داده ها گفته می شود .که به خاطر بزرگی و حجم وسیعشان نمی توان آنها را همانند پایگاه های داده معمولی مدیریت کرد. این داده ها آنقدر وسیع و حجیم هستند .که با نرم افزارها و ابزار معمولی مدیریت داده ها نمی توان عملیات مختلفی از قبیل گردآوری، ذخیره سازی، مدیریت و پردازش را بر روی آنها انجام داد.
به خاطر تولید فزاینده داده ها و رشدشتابنده فناوری های اطلاعاتی نمی توان تعریفي ازداده‌های کلان به دست داد.امااکنون مجموعه داده های چندترابایتی (هر ترابایت= ۱۰۰۰ گیگابایت) تاچند پتابایتی (هر پتابایت= ۱۰۰۰ ترابایت) راداده‌های کلان می نامند.برخی موسسات پژوهشی برای تعریف داده‌های کلان علاوه بر ویژگی حجم، از دو شاخص سرعت تبادل وتنوع داده ها هم استفاه می کنند.
البته ظرفیت و توانمندی سازمان‌ها و شرکت‌های مختلف در زمینه مدیریت داده ها هم در این تعریف دخیل است. گاهی ممکن است چند گیگابایت داده برای شرکتی «داده‌های کلان» به حساب آید. اما ممکن است شرکت دیگری ده ها یا صدها ترابایت داده را برای خود داده‌های کلان بنامد. هم اکنون وبلاگ ها، شبکه های اجتماعی، نتایج جستجوهای اینترنتی و پایگاه های داده مربوط به رشته های علمی مختلف از مهمترین داده‌های کلان به شمار می روند. از مثال های بارز پایگاه داده هاواطلاعات هواشناسی است. این پایگاه هاروزانه حجم وسیعی از داده های آب و هوا و تغییرات جوی را گردآوری و ذخیره می کنند.
مهمترين ويژگي داده هاي کلان
یکی از مهمترین ویژگی داده‌های کلان این است که هیچ ساختار و نظم مشخصی بر آنها حاکم نیست. حجم وسیع این داده ها نیز باعث شده است که پردازش آنها عمدتاً به وسیله فناوری رایانش ابری صورت گیرد، چرا که تحلیل آنها مستلزم این است که از ده ها، صدها و یا حتی هزاران رایانه به طور همزمان استفاده شود.
داده هاي کلان چگونه به وجود مي آيند؟
گفته می شود هم اکنون روزی ۲٫۵ کینتی لیون بایت (هر کینتی لیون= یک میلیون تریلیون) به حجم داده ها و اطلاعات موجود در سراسر جهان افزوده می شود. و سرعت افزایش داده ها نیز به حدی است .که همیشه بیش از ۹۰ درصد داده های موجود در دوسال گذشته تولید شده است. ابزار و فناوری های مختلفی که در دسترس انسان امروزی قرار دارد. از دوربین و میکروفون و تلسکوپ و گوشی تلفن گرفته تا شبکه های بیسیم و ماهواره ای همگی در حال تولید اطلاعات و افزایش حجمِ داده‌های کلان هستند.
برآوردها نشان می دهد هم اکنون ۴٫۶ میلیارد گوشی موبایل در سراسر جهان وجود دارد . و حدود ۱ تا ۲ میلیارد نفر هم به اینترنت دسترسی دارند. تعداد افرادی که امروزه با داده ها و اطلاعات سرو کار دارند به مراتب بیشتر از گذشته است. شرکت سیسکو پیش بینی کرده است تا سال ۲۰۱۳ حجم تبادل داده ها سالانه ۶۶۷ اگزابایت (هر اگزابایت= ۱ میلیون ترابایت) افزوده خواهد شد.
مشکلات و انتقادات
استفاده از داده‌های کلان با مشکلات بسیار زیادی همراه است. اول اینکه نمی توان با ابزار و نرم افزارهای معمولی مدیریت داده ها سراغ آنها رفت. مشکل بزرگ دیگر این است که کار با آنها مستلزم استفاده از ده ها نرم افزار و برنامه های موازی است که بر روی ده ها، صدها و یا هزاران سرور نصب شده است.برای اینکه بتوان حجم وسیعی از داده ها را در مدت زمان قابل قبولی مدیریت و پردازش کرد. باید از فناوری های ویژه ای استفاده کرد. هم اکنون برخی از مهمترین فناوری های در این زمینه عبارتند از: پردازش موازی در مقیاس وسیع (MPP)، شبکه های داده یابی، سیستم فایل های توزیعی (DFS)، پایگاه های داده توزیعی، پلتفرم های رایانش ابری، اینترنت، سیستم های ذخیره قابل ارتقا و غیره.
دشواری مدیریت و پردازش داده‌های کلان باعث شده است .که تقاضا برای متخصصان مدیریت و پردازش اطلاعات در شرکت هایی مثل اوراکل، آی بی ام، مایکروسافت و SAP افزایش یابد. به طوریکه این شرکت هاتاکنون بیش از ۱۵۰ میلیارددلار به شرکت هایی پرداخته اند اند .که درزمینه مدیریت و تحلیل داده هاتخصص دارند. ارزش صنعت پردازش و مدیریت داده هاهم اکنون بیش از ۱۰۰ میلیارد دلاربرآوردمی شود.وسالانه ۱۰درصدهم بدان افزوده می شود.
www.kishtech.ir
