زیرساخت مرکز داده (Data Center) چیست؟ بررسی جامع اجزا، معماری و استانداردهای دیتاسنتر

مرکز داده تنها مجموعه‌ای از سرورها در یک اتاق مجهز نیست. برای اینکه سرویس‌های سازمانی، پایگاه‌های داده، سامانه‌های مالی، سرویس‌های ابری و برنامه‌های حیاتی به‌صورت پایدار در دسترس باشند، مجموعه‌ای هماهنگ از زیرساخت‌های فناوری اطلاعات و تأسیسات فیزیکی باید در کنار یکدیگر فعالیت کنند. سرورها توان پردازشی را فراهم می‌کنند، تجهیزات ذخیره‌سازی مسئول نگهداری داده هستند، شبکه ارتباط میان اجزا را برقرار می‌کند و سامانه‌های برق، سرمایش، اطفای حریق، امنیت فیزیکی و مانیتورینگ شرایط لازم برای فعالیت پایدار این تجهیزات را ایجاد می‌کنند.

در طراحی یک Data Center، اختلال در هر یک از این لایه‌ها می‌تواند بر دسترس‌پذیری کل سرویس اثر بگذارد. به همین دلیل زیرساخت مرکز داده باید به‌صورت یک سیستم یکپارچه دیده شود؛ سیستمی که علاوه بر ظرفیت کافی، برای افزونگی، نگهداری، توسعه آینده، امنیت و بازیابی در شرایط خرابی نیز طراحی شده باشد. در این مقاله اجزای اصلی زیرساخت مورد استفاده در مرکز داده و نقش هر یک را بررسی می‌کنیم.

زیرساخت مرکز داده (Data Center Infrastructure) چیست؟

زیرساخت مرکز داده یا Data Center Infrastructure به مجموعه تجهیزات، سامانه‌ها و بسترهای فیزیکی و منطقی گفته می‌شود که امکان میزبانی، پردازش، ذخیره‌سازی، انتقال و حفاظت از داده‌ها و سرویس‌های فناوری اطلاعات را فراهم می‌کنند. در یک تقسیم‌بندی کاربردی، این زیرساخت را می‌توان به دو بخش اصلی تقسیم کرد: زیرساخت IT و زیرساخت Facility.

زیرساخت IT شامل منابع پردازشی، Storage، شبکه، تجهیزات امنیتی و پلتفرم‌های مدیریتی است. در مقابل، Facility Infrastructure شامل برق، UPS، ژنراتور، توزیع توان، سرمایش، رک، کابل‌کشی، سیستم اعلام و اطفای حریق، کنترل دسترسی فیزیکی و سامانه‌های پایش محیطی می‌شود. Cisco نیز اجزای اصلی Data Center را در سه گروه Computing Resources، Storage Infrastructure و Network Infrastructure معرفی می‌کند و در کنار آن به زیرساخت‌های پشتیبان مانند UPS، سرمایش، اطفای حریق، ژنراتور و اتصال به شبکه‌های بیرونی اشاره دارد.

زیرساخت پردازشی (Server and Compute)؛ قلب تپنده دیتاسنتر

سرورها هسته پردازشی مرکز داده هستند. برنامه‌های سازمانی، ماشین‌های مجازی، Databaseها، سرویس‌های وب، سامانه‌های ERP، پردازش‌های تحلیلی و بسیاری از Workloadهای دیگر روی منابع Compute اجرا می‌شوند. یک سرور معمولاً شامل CPU، حافظه RAM، کنترلرهای ذخیره‌سازی، کارت‌های شبکه و منابع تغذیه است و بر اساس نوع Workload می‌تواند برای توان پردازشی عمومی یا کاربردهای تخصصی پیکربندی شود.

در مراکز داده مدرن، منابع پردازشی تنها به سرورهای فیزیکی اختصاصی محدود نیستند. Virtualization امکان می‌دهد چند ماشین مجازی روی یک Host اجرا شوند و ظرفیت سخت‌افزار با انعطاف بیشتری میان سرویس‌ها توزیع شود. در محیط‌های جدیدتر نیز Containerها، پلتفرم‌های Cloud و کلاسترهای GPU برای Workloadهای هوش مصنوعی و محاسبات سنگین به زیرساخت پردازشی اضافه شده‌اند.

در انتخاب Compute Infrastructure باید عواملی مانند تعداد Core پردازنده، ظرفیت RAM، پهنای باند شبکه، نوع Storage، قابلیت ارتقا، مصرف انرژی، سازگاری با Hypervisor یا سیستم‌عامل و سطح افزونگی در نظر گرفته شود. استفاده از Power Supplyهای Redundant و اتصال سرور به مسیرهای شبکه و برق مستقل، از روش‌های رایج برای کاهش Single Point of Failure است.

زیرساخت ذخیره‌سازی (Storage)؛ مدیریت و نگهداری امن داده‌ها

داده یکی از مهم‌ترین دارایی‌های مرکز داده است و Storage Infrastructure وظیفه نگهداری و ارائه آن به سرورها و برنامه‌ها را بر عهده دارد. نوع زیرساخت ذخیره‌سازی بر Performance، ظرفیت، دسترس‌پذیری، Backup و حتی معماری برنامه‌ها اثر مستقیم دارد.

در مراکز داده از مدل‌های مختلف Storage استفاده می‌شود. Direct Attached Storage یا DAS مستقیماً به یک سرور متصل است. SAN معمولاً Block Storage را از طریق یک شبکه اختصاصی در اختیار سرورها قرار می‌دهد و NAS دسترسی File-Level را روی شبکه فراهم می‌کند. Object Storage نیز برای نگهداری حجم زیادی از داده‌های غیرساخت‌یافته و معماری‌های مقیاس‌پذیر کاربرد دارد.

زیرساخت Storage باید بر اساس شاخص‌هایی مانند IOPS، Throughput، Latency، ظرفیت، رشد داده، نوع RAID یا روش حفاظت از داده و نیاز به Replication طراحی شود. وجود نسخه پشتیبان نیز جایگزین Redundancy نیست؛ افزونگی Storage برای تداوم سرویس در خرابی برخی اجزا طراحی می‌شود، در حالی که Backup برای بازیابی داده در سناریوهایی مانند حذف اشتباه، خرابی منطقی، باج‌افزار یا Disaster اهمیت دارد.

مدیریت و نگهداری امن داده‌ها در مرکز داده

زیرساخت شبکه در مرکز داده

Network Infrastructure ارتباط میان Serverها، Storage، سرویس‌های داخلی، کاربران و شبکه‌های بیرونی را برقرار می‌کند. Switch، Router، Firewall، Load Balancer، کابل‌های مسی و فیبر نوری، Transceiverها و تجهیزات مدیریت شبکه از اجزای رایج این لایه هستند.

طراحی شبکه Data Center باید علاوه بر پهنای باند، Latency، Availability و قابلیت توسعه را نیز در نظر بگیرد. افزایش ترافیک East-West میان سرورها و رشد Workloadهای توزیع‌شده باعث شده است معماری‌هایی مانند Leaf-Spine در بسیاری از مراکز داده مدرن مورد استفاده قرار گیرند. در این معماری هدف آن است که مسیر ارتباطی میان Rackها قابل پیش‌بینی و مقیاس‌پذیر باشد.

افزونگی در Switchها، Uplinkها و مسیرهای ارتباطی اهمیت زیادی دارد. Cisco در راهنماهای طراحی خود بر استقرار Redundant تجهیزات و وجود چند مسیر میان اجزای زیرساخت تأکید می‌کند تا خرابی یک لینک یا تجهیز لزوماً به از دسترس خارج شدن سرویس منجر نشود. Segmentation، VLAN، Firewall و کنترل ترافیک نیز بخش مهمی از امنیت شبکه مرکز داده هستند.

رک، کابینت و زیرساخت کابل‌کشی

Rack و Cabinet ساختار فیزیکی نصب تجهیزات IT را تشکیل می‌دهند. سرورها، Switchها، Patch Panelها، PDUهای رک و برخی تجهیزات Storage در رک نصب می‌شوند و نحوه جانمایی آن‌ها می‌تواند بر کابل‌کشی، توزیع برق و جریان هوا اثر بگذارد.

کابل‌کشی ساخت‌یافته یکی از بخش‌هایی است که در ظاهر ساده به نظر می‌رسد اما در عملیات روزمره Data Center اهمیت زیادی دارد. جداسازی مسیرهای برق و Data، مدیریت صحیح Patch Cordها، Labeling، رعایت شعاع خمش Fiber، استفاده از مسیرهای Overhead یا Underfloor مناسب و مستندسازی ارتباطات باعث می‌شود توسعه و عیب‌یابی زیرساخت با ریسک کمتری انجام شود.

ظرفیت رک نیز تنها با تعداد Unitها مشخص نمی‌شود. وزن تجهیزات، توان مصرفی هر Rack، ظرفیت Cooling، تعداد پورت‌های شبکه و امکان مدیریت کابل باید همزمان بررسی شوند. در محیط‌های High-Density، به‌ویژه کلاسترهای AI، توان مصرفی و حرارت هر رک می‌تواند بسیار بیشتر از رک‌های سنتی باشد و طراحی Facility را تحت تأثیر قرار دهد.

زیرساخت برق دیتاسنتر؛ تضمین پایداری انرژی

تجهیزات IT بدون منبع برق پایدار عملاً قابل استفاده نیستند. زیرساخت Electrical یک Data Center باید توان موردنیاز تجهیزات را با کیفیت مناسب تأمین کند و در صورت بروز اختلال در برق ورودی، مسیرهای جایگزین برای ادامه سرویس داشته باشد.

زنجیره برق می‌تواند شامل ورودی Utility، Switchgear، Transformer، UPS، Battery، Generator، PDU، Busway و Rack PDU باشد. طراحی دقیق این زنجیره به اندازه و سطح دسترس‌پذیری مورد انتظار مرکز داده بستگی دارد. UPS در زمان قطعی یا نوسان برق، انرژی موقت و Power Conditioning فراهم می‌کند و ژنراتور برای پشتیبانی طولانی‌تر هنگام قطع برق شهری به کار می‌رود.

افزونگی برق معمولاً با مفاهیمی مانند N، N+1 یا 2N بیان می‌شود. هدف این است که خرابی یا Maintenance یک جزء، در معماری مناسب باعث قطع کامل برق تجهیزات حیاتی نشود. در سرورهایی که دارای دو Power Supply هستند نیز معمولاً هر منبع تغذیه به مسیر برق مستقلی متصل می‌شود تا وابستگی به یک PDU یا یک مسیر کاهش یابد.

یو پی اس (UPS) و برق اضطراری چیست؟

UPS یا Uninterruptible Power Supply یکی از اجزای کلیدی زیرساخت برق است. وظیفه آن فقط تأمین چند دقیقه برق پس از قطعی نیست؛ UPS می‌تواند به تثبیت کیفیت برق و ایجاد فاصله زمانی لازم تا ورود Generator یا اجرای Shutdown کنترل‌شده کمک کند.

ظرفیت UPS باید بر اساس Load واقعی، رشد آینده، زمان Backup موردنیاز و سطح Redundancy محاسبه شود. وضعیت Batteryها، عمر آن‌ها، دما و برنامه Maintenance نیز باید به‌صورت مستمر پایش شود. وجود UPS بدون نگهداری مناسب می‌تواند احساس کاذب اطمینان ایجاد کند؛ زیرا باتری فرسوده یا مسیر Bypass نامناسب ممکن است دقیقاً در زمان Incident باعث اختلال شود.

سیستم سرمایش و تهویه مطبوع در مرکز داده

تقریباً تمام توان الکتریکی مصرف‌شده توسط تجهیزات IT در نهایت به گرما تبدیل می‌شود. اگر این حرارت به‌درستی دفع نشود، دمای تجهیزات افزایش پیدا می‌کند و احتمال کاهش Performance، خرابی یا خاموشی بالا می‌رود. به همین دلیل Cooling Infrastructure یکی از حیاتی‌ترین بخش‌های Facility است.

در مراکز داده سنتی، سیستم‌هایی مانند CRAC و CRAH برای کنترل دما و جریان هوا استفاده می‌شوند. طراحی Hot Aisle و Cold Aisle، Containment و مدیریت مسیر ورود هوای سرد و خروج هوای گرم می‌تواند بازده Cooling را افزایش دهد. در محیط‌های High-Density و AI نیز Liquid Cooling و Coolant Distribution Unit یا CDU اهمیت بیشتری پیدا کرده‌اند؛ زیرا چگالی حرارتی برخی Rackها از ظرفیت روش‌های معمول Air Cooling فراتر می‌رود.

تنها دما مهم نیست. رطوبت، نشتی آب، فشار و Airflow نیز باید مانیتور شوند. Sensorهای محیطی در نقاط مناسب رک و سالن به تیم عملیات کمک می‌کنند Hot Spot یا شرایط غیرعادی را پیش از تبدیل شدن به Incident شناسایی کند.

سیستم اعلام و اطفای حریق هوشمند در دیتاسنتر

وجود تجهیزات الکتریکی متراکم و ارزش بالای دارایی‌های IT باعث می‌شود Fire Detection and Suppression بخشی ضروری از زیرساخت مرکز داده باشد. هدف این سیستم تشخیص سریع نشانه‌های حریق و مهار آن با کمترین آسیب به افراد و تجهیزات است.

طراحی سیستم اطفا باید بر اساس مقررات محلی، نوع Facility و ارزیابی ریسک انجام شود. علاوه بر تجهیزات اطفا، سنسورهای دود، Alarm، Zone بندی، رویه Emergency Response و تست دوره‌ای اجزای سیستم اهمیت دارند. انتخاب ماده اطفا نیز باید توسط متخصصان تأسیسات و ایمنی انجام شود و نمی‌توان یک روش واحد را برای تمام مراکز داده مناسب دانست.

امنیت فیزیکی مرکز داده

امنیت سایبری بدون امنیت فیزیکی کامل نیست. فردی که دسترسی فیزیکی غیرمجاز به Rack یا تجهیزات شبکه پیدا کند ممکن است بتواند کنترل‌های منطقی را دور بزند یا باعث اختلال مستقیم در سرویس شود. به همین دلیل Physical Security باید چندلایه طراحی شود.

کنترل دسترسی با Card یا Biometric، دوربین‌های CCTV، ثبت ورود و خروج، Guard، قفل رک‌ها، Mantrap و تفکیک Zoneهای امنیتی از کنترل‌های رایج هستند. سطح این کنترل‌ها باید متناسب با حساسیت مرکز داده باشد. Cisco نیز در توضیح امنیت Data Center بر حفاظت همزمان از دارایی‌های فیزیکی و محیط‌های منطقی و اعمال Access Control تأکید می‌کند.

امنیت فیزیکی مرکز داده

امنیت شبکه دیتاسنتر؛ دیوار دفاعی در برابر تهدیدات

مرکز داده معمولاً میزبان حیاتی‌ترین اطلاعات و برنامه‌های سازمان است و به همین دلیل Network Security در آن اهمیت بالایی دارد. Firewallها، Intrusion Prevention، Segmentation، Access Control، Encryption و ابزارهای Visibility از اجزای رایج معماری امنیتی هستند.

یکی از اهداف مهم Segmentation محدود کردن حرکت جانبی مهاجم است. سرویس‌های مختلف نباید صرفاً به دلیل قرار گرفتن در یک Data Center بتوانند بدون محدودیت با یکدیگر ارتباط داشته باشند. سیاست‌های امنیتی باید بر اساس نقش Application، سطح حساسیت Data و نیاز واقعی ارتباطی تعریف شوند. همچنین دسترسی مدیریتی به Switch، Hypervisor، Storage و Server باید از شبکه کاربران عادی تفکیک و به‌طور دقیق کنترل شود.

مانیتورینگ و سیستم DCIM چیست؟

هرچه تعداد تجهیزات بیشتر شود، مدیریت مرکز داده بدون Monitoring متمرکز دشوارتر خواهد شد. Data Center Infrastructure Management یا DCIM دسته‌ای از راهکارهاست که اطلاعات IT و Facility را برای ایجاد دید یکپارچه نسبت به وضعیت دارایی‌ها، مصرف انرژی و شرایط فیزیکی مرکز داده ترکیب می‌کند.

سیستم DCIM می‌تواند اطلاعاتی مانند توان مصرفی Rack، دما، Airflow، وضعیت PDU، ظرفیت UPS، موجودی تجهیزات و Alarmهای محیطی را جمع‌آوری کند. Cisco DCIM را ترکیب مدیریت IT و Facility برای ارائه دید یکپارچه از Performance، مصرف انرژی و سلامت دارایی‌های فیزیکی توصیف می‌کند. این دید می‌تواند در Capacity Planning، تشخیص Hot Spot، مدیریت تغییر و پیشگیری از Over-Provisioning مفید باشد.

DCIM جایگزین تمام ابزارهای Monitoring نیست. Network Monitoring، Application Performance Monitoring، SIEM، BMS و DCIM هرکدام دامنه متفاوتی دارند و در یک مرکز داده بالغ می‌توانند اطلاعات مکمل در اختیار تیم عملیات قرار دهند.

افزونگی (Redundancy) و حذف نقاط تک‌خرابی (SPOF)

یکی از اصول مهم طراحی Data Center، شناسایی Single Point of Failure است. اگر خرابی یک Switch، UPS، PDU، لینک شبکه یا سیستم Cooling بتواند کل سرویس را متوقف کند، زیرساخت از نظر Availability آسیب‌پذیر است.

Redundancy می‌تواند در لایه‌های مختلف اعمال شود: چند Power Feed، UPS افزونه، Generator، دو مسیر شبکه، Switchهای Redundant، چند Storage Controller، Cluster سرورها و Cooling Unitهای افزونه. با این حال افزونگی صرفاً به معنی خرید دو عدد از هر تجهیز نیست. مسیرها باید تا حد ممکن Failure Domain مستقل داشته باشند و سناریوهای Failover نیز در عمل آزمایش شوند.

سطح افزونگی باید با اهمیت سرویس و بودجه سازمان متناسب باشد. طراحی بیش از حد می‌تواند هزینه و پیچیدگی عملیاتی را بالا ببرد و طراحی کمتر از نیاز نیز ریسک Downtime را افزایش می‌دهد.

پشتیبان‌گیری (Backup) و بازیابی اطلاعات پس از فاجعه (DR)

حتی یک مرکز داده با Redundancy بالا نیز در برابر تمام رخدادها مصون نیست. خرابی گسترده، خطای انسانی، حمله سایبری یا Disaster می‌تواند چند لایه زیرساخت را همزمان تحت تأثیر قرار دهد. به همین دلیل Backup و Disaster Recovery باید در کنار طراحی Infrastructure دیده شوند.

نسخه‌های پشتیبان باید بر اساس سیاست مشخص تهیه، محافظت و آزمایش شوند. برای سرویس‌های حیاتی ممکن است Replication به Site دوم یا استفاده از زیرساخت جغرافیایی مستقل ضروری باشد. RPO و RTO تعیین می‌کنند سازمان چه میزان از دست رفتن داده و چه مدت توقف سرویس را می‌تواند تحمل کند و طراحی Recovery باید بر اساس این اهداف انجام شود.

اهمیت ظرفیت‌سنجی و توسعه‌پذیری

زیرساخت Data Center برای نیاز امروز طراحی نمی‌شود؛ رشد آینده نیز باید در نظر گرفته شود. افزایش تعداد Serverها می‌تواند علاوه بر Compute، به پورت شبکه، Storage، برق، Cooling و فضای Rack بیشتری نیاز داشته باشد. اگر یکی از این منابع به سقف ظرفیت برسد، توسعه کل مرکز داده محدود خواهد شد.

Capacity Planning باید به‌صورت چندبعدی انجام شود. برای مثال وجود فضای خالی در Rack به معنی امکان نصب سرور جدید نیست؛ ممکن است توان برق یا ظرفیت سرمایش آن Rack قبلاً به حد مجاز رسیده باشد. استفاده از Monitoring و DCIM می‌تواند تصمیم‌گیری درباره ظرفیت واقعی و زمان توسعه زیرساخت را دقیق‌تر کند.

استانداردهای معتبر در طراحی زیرساخت مرکز داده (مثل TIA-942)

استانداردها و چارچوب‌های طراحی به سازمان کمک می‌کنند الزامات مربوط به کابل‌کشی، فضا، برق، Redundancy، ایمنی و عملیات را ساختاریافته‌تر بررسی کند. استاندارد ANSI/TIA-942 یکی از مراجع شناخته‌شده در حوزه زیرساخت مخابراتی و فیزیکی Data Center است. در کنار آن، چارچوب‌ها و Certificationهای دیگری نیز برای ارزیابی Availability و طراحی Facility وجود دارند.

با این حال انتخاب یک Tier یا استاندارد نباید جایگزین تحلیل نیاز کسب‌وکار شود. ابتدا باید Criticality سرویس‌ها، سطح Downtime قابل قبول، بودجه، محدودیت‌های Site و برنامه توسعه مشخص شود و سپس معماری مناسب انتخاب گردد.

مهم‌ترین معیارها در انتخاب و طراحی زیرساخت مرکز داده

هنگام طراحی یا توسعه Data Center بهتر است اجزا به‌صورت مستقل انتخاب نشوند. یک Server پرقدرت ممکن است بدون شبکه مناسب به Bottleneck برسد و یک Rack پرچگالی بدون Cooling کافی قابل استفاده نباشد. ارزیابی یکپارچه باید حداقل موارد زیر را پوشش دهد:

• ظرفیت پردازشی و نوع Workloadهای فعلی و آینده؛
• حجم داده، Performance موردنیاز Storage و سیاست Backup؛
• پهنای باند، Latency، تعداد پورت‌ها و Redundancy شبکه؛
• توان مصرفی کل و ظرفیت UPS، Generator و توزیع برق؛
• چگالی حرارتی Rackها و ظرفیت Cooling؛
• فضای فیزیکی، کابل‌کشی، Grounding و امکان توسعه؛
• الزامات امنیت فیزیکی و Cybersecurity؛
• سطح Availability و نقاط Single Point of Failure؛
• قابلیت Monitoring، Alerting، مستندسازی و Capacity Planning؛
• هزینه سرمایه‌ای، هزینه عملیاتی و قابلیت نگهداری تجهیزات.

جمع‌بندی؛ زیرساخت مرکز داده مجموعه‌ای به‌هم‌پیوسته است

زیرساخت مورد استفاده در مرکز داده از مجموعه‌ای از لایه‌های وابسته به یکدیگر تشکیل شده است. Server و Compute توان اجرای Workloadها را فراهم می‌کنند، Storage داده را نگهداری می‌کند و Network ارتباط میان اجزا را شکل می‌دهد. در پشت این تجهیزات نیز زیرساخت‌های برق، UPS، ژنراتور، سرمایش، رک، کابل‌کشی، اطفای حریق و امنیت فیزیکی شرایط لازم برای فعالیت پایدار را ایجاد می‌کنند.

در کنار این اجزا، Monitoring و DCIM دید لازم برای مدیریت ظرفیت و شرایط محیطی را فراهم می‌کنند و Redundancy، Backup و Disaster Recovery به کاهش اثر خرابی‌ها کمک می‌کنند. بنابراین کیفیت یک Data Center تنها با مدل Server یا سرعت Switch مشخص نمی‌شود؛ قابلیت اطمینان واقعی نتیجه طراحی هماهنگ تمام این لایه‌هاست.

برای سازمانی که قصد ایجاد یا توسعه مرکز داده دارد، نقطه شروع مناسب تعیین نیازهای کسب‌وکار، Criticality سرویس‌ها، ظرفیت فعلی و رشد آینده است. پس از آن می‌توان زیرساخت IT و Facility را به‌گونه‌ای طراحی کرد که میان Availability، Performance، Security، Scalability و Cost تعادل برقرار شود.