بهبود پردازش و ذخیره سازی Big Data با استفاده از Open-E

داده‌های جغرافیایی – این عبارت دقیقا به چه معنی است؟
داده‌های جغرافیایی (یا داده‌های فضائی و مکانی) اساسا تمامی داده‌های موجود در اطراف ما هستند؛ برای مثال داده‌هایی که نقش جنبه‌های فضائی یک فرد از لحاظ موقعیت مکانی بر روی کره‌ی زمین را دارند (خانه، محل کار، خیابان، رودخانه و جنبه‌های زیاد دیگر). از یک نقطه نظر تجاری (کسب و کاری)، داده‌ی فضائی می‌تواند محل دفاتر، منطقه‌های فروش و اطلاعات تماس باشد. این داده‌ها‌‌ی جمع‌آوری شده برای عملکرد مناسب شرکت‌هایی که این نوع اطلاعات را فراهم می‌کنند، اهمیت بسیار بالایی دارند؛ چون تعداد آنها می‌تواند بسیار زیاد و وسیع باشد.
صنعت‌های بسیاری مانند، حدنگاری² زمین‌های دولتی، حدنگاری شهری (مسکونی)، بخش جاده‌ها، انرژی آبی و الکتریکی، کشاورزی و جنگل‌داری، زمین‌شناسی و غیره وجود دارند که نمی‌توانند بدون داشتن فن کاملا توسعه یافته‌ی سنجش از دور³، کار خود را در زمینه‌های عکس‌برداری دیجیتال هوایی، بررسی (اسکن) هوایی لیزر، بررسی هوایی حرارت یا تصویر برداری فضایی (ماهواره‌ای) مدیریت کنند. تمامی داده‌های جغرافیایی جمع‌آوری شده اول باید پردازش شده و سپس بر اساس قالب خواسته شده به مشتری‌ها فرستاده شوند؛ برای مثال در قالب عکس نقشه‌های قائم (نقشه‌های ارتوگرافیک)، نقشه ارتفاعی (توپوگرافیک) و نقشه‌های حرارتی، مدل‌های سه بعدی شهرها و غیره.
مثال موردی
مرکز حسابداری هوایی (AAC، با نام تجاری «ایروژئواینفورماتیکس⁴») یکی از شرکت‌های پیشرو مهندسی زمین در بازار جمع‌آوری و پردازش داده‌های جغرافیایی است و از این رو فراهم کننده‌ی پایه‌های اصلی سامانه‌های اطلاعاتی جغرافیایی می‌باشد. این شرکت سفارشات خود را در سطح جهانی اجرا می‌کند.
داده‌های جمع آوری شده توسط مرکز حسابداری هوایی (AAC) و همچنین نتایج پردازش‌های آنها، منحصر به فرد، با ارزش و مهم‌تر از همه، بسیار بزرگ و هنگفت است. به این دلیل، سرورها و سیستم‌های ذخیره سازی داده در سیستم فناوری اطلاعات AAC نقش بحرانی و حیاتی دارند؛ مخصوصا اینکه حجم چندین ترابایتی داده‌های جغرافیایی، به زودی در سال‌های پیش‌رو افزایش چشم گیری خواهد داشت. این شرکت نیازمند ظرفیت، دسترس پذیری و عملکرد بسیار بالاتری برای دخیره‌سازی داده‌های جغرافیایی خود خواهد بود. همچنین، Bundle Serverهای آنها نیز به دلیل وجود برخی محدودیت های ساختاری و عدم سازگاری با نیازهای اصلی سازمان امکان ارائه پهنای باند لازم جهت رضایتمندی کاربران همراه با Response Time قابل قبول را دارا نمی باشند.
برای برآورده کردن نیازها و تقاضاهای افزاینده‌ی شرکت، شریک طلائی شرکت Open-E به نام Entry یک راهکار ذخیره‌سازی داده با سخت‌افزار دارای عملکرد بالای شرکت Western Digital به همراه نرم‌افزار Open-E JovianDSS را مطرح کرد. Entry یک شرکت است که بر روی ساخت و تولید سخت‌افزارهای چگالی بالا تمرکز می‌کند که برای سیستم‌های داده‌ی متراکم (فشرده)، قابل مدیریت و مقاوم در برابر خرابی، بهینه شده‌اند.
در اوایل، مرکز حسابداری هوایی از سرورهای مستقل استفاده می‌کرد که فضای ذخیره‌سازی اختصاصی داشتند. این سرورها در ظرفیت محدود بوده و اغلب ⁵(Single Point of Failure) داشتند. اکنون، راهکار نصب و راه‌اندازی شده در AAC بر پایه‌ی یک راهکار نرم‌افزارگرا در دستگاه‌ ذخیره‌سازی با دسترسی بالا و متعادل شده از لحاظ بار ترافیکی با Open-E JovianDSS است، که یک سیستم عامل مبتنی بر لینوکس و فایل سیستم ⁶ZFS است. از لحاظ فیزیکی، این راهکار یک خوشه‌ (کلاستر) ساخته شده از دو سرور و چند هارد دیسک با دسترسی اشتراکی مستقیم است.

از آنجایی که مهم‌ترین تقاضای ACC، گرفتن تضمین به منظور داشتن پردازش ها و محاسبات بی وقفه و خودکار می باشد، یک زیرساخت با سرورهای استاندارد X86 و بستر ذخیره‌سازی ⁷Ultrastar Data60 با هارد دیسک های هلیومی HE10 پیاده‌سازی شده ‌است.
بستر فراهم شده توسط شرکت Western Digital را، که شریک تکنولوژی استراتژیک Open-E است، می‌توان در محفظه‌های مختلفی مقیاس بندی (جایگذاری) کرد، همچنین می‌توان مقیاس تراکم چگالی دیسک و ظرفیت هرکدام از هارد دیسک ها را بالا برد. این بستر به وسیله کارت‌های شبکه‌ی دارای پهنای باند بالا، با سرورهای استاندارد Mirror ،x86 شده اند، متصل بوده و بوسیله Open-E JovianDSS مدیریت می شوند.

بنابراین مشخص گردید که، این راهکار علاوه بر مقیاس پذیر بالا، ظرفیت، عملکرد، دسترس پذیری به مراتب بالاتری را نسبت به سایر راهکارها ارائه می دهد.
اجزای اصلی راهکار
به دلیل اینکه Open-E JovianDSS بر پایه Linux می باشد، تقریبا با تمامی سخت‌افزاها و درایورهای بروز موجود در بازار سازگار می باشد.
در مورد مرکز حسابداری هوایی، Entry توانست بدون ریسک کردن مشکلات مربوط به قابلیت همکاری، از بستر ذخیره‌سازی Ultrastar Data60 با هارد دیسک های هلیومی HE10 استفاده کند.
تمامی سخت‌افزارهای شرکت Western Digital را که برای استفاده با Open-E JovianDSS تائید شده‌اند در اینجا ببینید.
اگر می‌خواهید این مورد را با جزئیات کامل بخوانید، مطالعه موردی کامل را اینجا بیابید.
برای اطلاعات و جزئیات بیشتر در مورد همکاری بین Western Digital و Open-E، این ویدئو را مشاهده کنید.

¹ برنامه‌ی JovianDSS یک نرم‌افزار برای ذخیره‌سازی و پشتیبانی گرفتن از داده‌ها است که توسط شرکت آلمانی Open-E طراحی و توسعه شده‌است.
² حدنگاری یا کاداستر عملیات نقشه برداری از زمین‌های ملکی برای صدور سند مالیکت است.
³ فن جمع‌آوری اطلاعات از اشیای روی سطح زمین بدون داشتن حضور فیزیکی.
⁴ اطلاع‌رسانی جغرافیایی هوایی.
⁵ به این معنی که در صورت بروز مشکل در یک نقطه، سرویس دهی سامانه با اختلال مواجه خواهد شد.
⁶ یک سیستم فایلی که برای سیستم عامل سولاریس طراحی شده بود.
⁷ ابرستاره داده 60.

*منبع