יישום של שרתים מקוררים באמצעות נוזלים במרכזי נתונים

 

בשנים האחרונות, תעשיות מקדמות באופן פעיל טרנספורמציה דיגיטלית, והכלכלה הדיגיטלית של סין צומחת במהירות, כאשר כוח מחשוב מחדיר מומנטום חדש לפיתוח כלכלי וחברתי. כדי לענות על הביקוש הגובר לכוח מחשוב, סולמות מרכזי הנתונים גדלו במהירות ברחבי הארץ. עד סוף 2023, המספר הכולל של מתלים בשימוש במרכזי הנתונים של סין עלה על 8.1 מיליון מתלים סטנדרטיים, וכוח המחשוב הכולל הגיע ל-230 EFLOPS, במקום השני בעולם. עם התרחבות כוח המחשוב, גם צריכת החשמל של מרכזי נתונים עולה במהירות.

 

על פי "הספר הלבן לפיתוח מרכז הנתונים של סין (2023)," צפוי שעד 2025, צריכת החשמל הלאומית של מרכזי נתונים תגיע ל-1.2×10¹¹ קילוואט•שעה, ופליטת הפחמן הכוללת תעמוד על כ-100 מיליון טון, מהווים כ-1.23% מהכלל הארצי. כדי ליישם "שיא פחמן וניטרליות פחמן", הממשלה פרסמה סדרה של מדיניות לקידום חיסכון באנרגיה והפחתת הצריכה במרכזי נתונים, כאשר דרישות ה-PUE (Power Usage Effectiveness) מתפתחות במהירות מתחת ל-1.3 ואפילו 1.25. טכנולוגיות קירור מסורתיות במרכזי נתונים אינן מצליחות בהדרגה לעמוד בדרישות החדשות הללו.

 

במקביל, ככל שצפיפות הספק המחשוב של שבבים בודדים ממשיכה לגדול, קירור האוויר הפך בהדרגה לצוואר בקבוק, והופעת ציוד בעל הספק גבוה כגון שרתי AI החמירה את נושא המחסור בשטח ארונות. תחת הלחץ הכפול של מדיניות הפחמן הלאומית והגדלת צפיפות הספק המחשוב של השבבים, הכנסת טכנולוגיית קירור נוזלי הופכת דחופה יותר ויותר.

 

 

I היתרונות של טכנולוגיית קירור נוזלי

 

בהשוואה לקירור אוויר מסורתי, קירור נוזלי יכול לשפר משמעותית את יעילות הקירור ואת האמינות התפעולית, עם התאמה סביבתית טובה ותפוסת קרקע מופחתת.

 

1. הפחתת צריכת האנרגיה של הציוד ותמיכה בשימור אנרגיה והפחתת פחמן

בעידן הכלכלה הדיגיטלית, הדרישה לכוח מחשוב גדלה במהירות, יחד עם היישום הנרחב של 5G, המניע את הפיתוח של תשתית מידע. זה הגדיל באופן משמעותי את צריכת החשמל ואת פליטת הפחמן של מרכזי נתונים. קירור נוזלי יכול להפחית את ה-PUE של מרכז הנתונים לסביבות 1.1-1.2, ובכך להפחית ביעילות את צריכת האנרגיה ופליטת הפחמן. לדוגמה, עבור 100 20kW מתלים מקוררים נוזלים, הפחתת PUE מ-1.45 ל-1.15 יכולה לחסוך יותר מ-10⁷ קילוואט•שעה של חשמל מדי שנה, לחסוך למעלה מ-7 מיליון יואן בעלויות החשמל ולהפחית את פליטת הפחמן ב-6,{{ 14}} טון. בנוסף, סביבות קירור נוזלי יכולות להפחית או לבטל מאווררים, ולהפחית עוד יותר את צריכת האנרגיה של השרת.

 

2. הארכת חיי ציוד והפחתת לחץ תחזוקה

על פי כלל 10 מעלות עבור שבבים, תוחלת החיים של רכיבים פוחתת בכ-50% על כל עלייה של 10 מעלות בטמפרטורה. קירור נוזלי יכול להוריד ביעילות את טמפרטורת צומת ה-CPU ביותר מ-10 מעלות (טמפרטורת הצומת היא טמפרטורת הפעולה בפועל של המוליך למחצה במכשירים אלקטרוניים), ולהאריך את תוחלת החיים של השרת. בהשוואה לקירור אוויר מסורתי, קירור נוזלי טבילה יכול להסיר מאווררים, להפחית רעש ואבק, ויש לו שיעור כשל תרמי נמוך יותר. נתונים מראים ששיעור הכשל של כוננים קשיחים בסביבות קירור טבילה נמוך בכ-50% מאשר בסביבות מקוררות אוויר. הפחתת שיעורי הכשל בשרת והארכת תוחלת החיים של השרת יכולים לשפר משמעותית את היציבות התפעולית של העסק ולהפחית את לחץ התחזוקה.

 

3. התאמה סביבתית טובה וקצב פריסת מתלים גבוה

מתלים מסורתיים מקוררי אוויר הם בעלי דרישות סביבתיות גבוהות ומושפעים באופן משמעותי מגורמים סביבתיים חיצוניים. מתלים מקוררים בנוזל יש דרישות סביבתיות נמוכות ויכולים לשמור על PUE יציב באזורים עם הפרשי טמפרטורה גדולים. למתלים מקוררים בנוזל יש צפיפות פריסה גבוהה, בערך פי 3-4 מזו של מתלים מקוררים באוויר, וחוסכים כ-75% משטח מרכז הנתונים עבור אותו כוח מחשוב. מרכזי נתונים מקוררים בנוזל יכולים לבטל את מיזוג האוויר ולהפחית את הצורך ביחידות צ'ילר, ולחסוך עוד יותר במקום.

 

 

II מסלולי טכנולוגיית קירור נוזלי

 

שרתים מקוררים באוויר משתמשים באוויר כמדיום להעברת חום, בעוד ששרתים מקוררים בנוזלים משתמשים בנוזלים כמו מים או נוזלים מופלרים. בשל הבדלים בצפיפות, בקיבולת חום ספציפית ובמוליכות תרמית, יכולת הקירור של נוזל באותו קצב זרימה יכולה להיות גבוהה עד פי 3,500 מזו של האוויר. הקירור היעיל ביותר של קירור נוזלי יכול להגדיל באופן משמעותי את צפיפות הפריסה של השרת, ולהפחית את התפוסה של שטח המדף והחדר.

 

ניתן לחלק את טכנולוגיות קירור הנוזל לקירור נוזלי ללא מגע ולקירור נוזל מגע על סמך האופן שבו נוזל הקירור יוצר אינטראקציה עם מקורות חום.

 

1. קירור נוזלי ללא מגע

קירור נוזל ללא מגע מתייחס בעיקר לקירור נוזלי פלטה קרה, כאשר הנוזל זורם דרך הלוחות הקרים כדי לפזר חום מרכיבים כמו CPU/GPU/VRD/DIMM, המקררים חלקי השרת. הנוזל בקירור נוזלי הצלחת הקרה אינו יוצר קשר ישיר עם מקור החום.

 

עם קיבולת החום הסגולית והמוליכות התרמית הגבוהה יותר, קירור נוזלי לוח קר יכול להפחית את צריכת האנרגיה ב-60%-90% בהשוואה לקירור אוויר מסורתי ולהפחית את ה-PUE של מרכזי נתונים לסביבות 1.2. שרתים מקוררים בנוזלים של לוחות קרים משתמשים בפריסה מסורתית של מתלים, מה שהופך את ההתאמה של מרכזי נתונים קיימים לקלה וחסכונית יחסית. עם זאת, מכיוון שקירור נוזלי מוחל רק על רכיבים מסוימים בעלי חום גבוה, עדיין יש צורך בכמה מאווררים, ונדרש מיזוג אוויר לקירור רכיבים אחרים שאינם מקוררים נוזלים בשרת.

 

קירור נוזלי צינור חום נופל גם תחת קירור נוזל ללא מגע, ומעביר את החום מרכיבים כמו מעבדים אל מחוץ לשרת דרך צינורות חום, אשר לאחר מכן מתפזר על ידי מים במחזור. הוא משתמש בעיקר במים, חומרי קירור ונוזלים על בסיס אלכוהול, אם כי יש לו שימוש מוגבל כיום.

 

2. צור קשר עם Liquid Cooling

 

2.1 קירור נוזלי טבילה

בקירור נוזלי טבילה, השרת כולו שקוע בנוזל קירור, כאשר נוזל הקירור יוצר קשר ישיר עם השרת. זרימת המחזור או עיבוי האידוי של נוזל הקירור מסירים את החום. בדרך כלל נעשה שימוש בנוזלים לא מוליכים ולא מאכלים כמו שמן מינרלי, שמן סיליקון או נוזלים מופלרים.

 

בקירור נוזלי טבילה, כל הרכיבים יוצרי החום מפזרים חום באמצעות קירור נוזלי, מה שמאפשר הסרה מלאה של מאווררים ומבטל את הצורך במיזוג אוויר במרכז הנתונים. בהשוואה לקירור נוזלי פלטה קרה, קירור נוזל טבילה מספק העברת חום טובה יותר, חיסכון באנרגיה והפחתת רעש, מה שעלול להפחית את ה-PUE ל-1.1 ומטה. עם זאת, קירור טבילה דורש לעתים קרובות פריסה מסוג קופסה, עם צפיפות פריסה נמוכה יותר מאשר קירור נוזלי לוח קר, וההתאמות של תשתית תומכת היא מורכבת ויקרה יותר. שרתים מקוררי נוזל טבילה גם תומכים רק בכונני SSD וכוננים מלאי הליום, ויש לאטום או להתאים אישית מחברים וכבלים אופטיים לעמידות בפני קורוזיה.

 

בהתבסס על האם נוזל הקירור עובר שינוי פאזה, ניתן לחלק את קירור נוזל הטבילה לקירור טבילה חד פאזי ושינוי פאזי. בקירור טבילה חד פאזי, הנוזל אינו משנה פאזה, סילוק חום באמצעות עליות טמפרטורה, ונשאר בצורת נוזל לאורך כל מחזור הקירור. בקירור טבילה בשינוי שלב, הנוזל מתאדה עם החימום, נושא חום במצבו הגזי, ומתקרר בחזרה לצורת נוזל על ידי מעבה, שם הוא זורם בחזרה לתא על ידי כוח הכבידה, ומשלים את מחזור הקירור.

 

2.2 תרסיס קירור נוזלי

קירור נוזל בהתזה כולל התזת נוזל קירור מהחלק העליון של מארז השרת דרך מודול התזה, כאשר החום מועבר באמצעות הסעה בין נוזל הקירור לגוף הקירור, ומקרר את כל מרכיבי החום של השרת. לאחר מכן החום מתפזר דרך מחליף חום. נוזלים לא מוליכים ולא קורוזיביים כמו שמן מינרלי ונוזלים מופלרים משמשים בדרך כלל כנוזל קירור.

 

כמו קירור טבילה, קירור נוזלי בהתזה יכול להסיר לחלוטין מאווררי שרת, ולבטל את הצורך במיזוג אוויר במרכזי נתונים, כאשר ה-PUE מופחת לסביבות 1.1. בניגוד לקירור טבילה, שרתים מקוררים בנוזל בתרסיס משתמשים בדרך כלל בפריסה בסגנון להב, הדורשת שינויים במדף ובמארז השרת. לקירור נוזל תרסיס יש צריכת נוזל קירור נמוכה יותר ועלויות תחזוקה.

 

3. השוואה של טכנולוגיות קירור נוזלי

עיין בטבלה 1 להשוואה של טכנולוגיות קירור נוזלים שונות.

 

▲ טכנולוגיית קירור נוזלי

 

בהתחשב בגורמים כמו עלויות השקעה ראשוניות, תחזוקה, יעילות PUE ובגרות בתעשייה, קירור נוזלי פלטה קרה וקירור נוזל טבילה חד-פאזי הם יתרונות יותר מטכנולוגיות קירור נוזלי אחרות, והופכות לפתרונות המיינסטרים בתעשייה. קירור נוזלי בצלחת קרה מאפשר מעבר חלק מדגמים מסורתיים מקוררי אוויר והוא מיושם באופן נרחב יותר במרכזי נתונים. הניתוח הבא יתמקד בעיקר בקירור נוזלי צלחת קרה.

 

 

III מרכיבים עיקריים של קירור נוזלי לוח קר

 

המרכיבים העיקריים של מערכות קירור נוזלי פלטה קרה המתקשרות באופן הדוק עם ציוד IT נמצאים בעיקר בצד המשני, כולל נוזל קירור, מחברים מהירים ויחידת חלוקת הקירור (CDU).

 

1. נוזל קירור

האפשרויות העדכניות בתעשייה עבור נוזלי קירור כוללות תמיסות אתילן גליקול, תמיסות פרופילן גליקול ומים מפושטים. פתרונות אתילן גליקול ופרופילן גליקול הם מוצרים סטנדרטיים תעשייתיים וזמינים בקלות, כאשר אתילן גליקול חסכוני יותר. למים מפושטים יש תכונות העברת חום טובות, הם לא רעילים ובטוחים, אך דורשים התייחסות למניעת הקפאה ב-0 מעלות.

 

יש להוסיף נוזלי קירור עם מעכבי קורוזיה וביוצידים כדי למנוע גידול חיידקים שעלולים לגרום לחסימות או דליפות. מומלץ ריכוז של 20%–30%, שכן ריכוזים גבוהים מדי עלולים להשפיע על פיזור החום, בעוד שריכוזים נמוכים מדי עלולים להפחית את יכולתו של נוזל הקירור למנוע הקפאה ולבלום צמיחה של חיידקים.

 

2. מחברים מהירים

מחברים מהירים מקשרים את מודול הפלטה הקרה בשרתים מקוררים בנוזל לסעפת במדף מקורר הנוזל. ישנם שני סוגים של מחברים מהירים: מחברים מהירים ידניים ומחברים מהירים מסוג blind-mate. מחברים ידניים דורשים מיומנות גבוהה יותר מאנשי התחזוקה, כאשר החיבור והניתוק תלויים בהפעלה ידנית של צוות מרכז הנתונים, מה שמקל על ניתוק השרת מהמתלה. מחברים עם עיווראין להם דרישות תפעוליות ספציפיות ומתחברים אוטומטית במהלך הכנסת השרת למתלה מקורר הנוזל. מחברים מהירים חייבים להיות בעלי עמידות בפני קורוזיה חזקה ואיבוד נוזלים מינימלי כאשר הם מנותקים כדי למנוע שפיכת נוזל קירור.

 

3. יחידת הפצת קירור (CDU)

ה-CDU היא מערכת המשמשת להפצת נוזל קירור בין שרתים מקוררי נוזל, המספקת חלוקת זרימת צד משנית, בקרת לחץ, בידוד פיזי ותכונות נגד עיבוי. זה יכול גם לבודד את הצד הראשוני ואת הצד המשני כדי להתאים לדרישות איכות מים שונות. בהתבסס על צורתו ומיקום הפריסה שלו, ניתן לסווג את ה-CDU ל-CDUs מרכזיים ומפוזרים.

 

CDU מרכזי מחובר בדרך כלל למספר ארונות שרתים, ומספק קיבולת קירור למספר ארונות שרת בו זמנית. אשכולות CDU מרובים יכולים להשיג יתירות N+M, המציעים אמינות גבוהה והופכים אותו למתאים לפריסה בקנה מידה גדול של ארונות שרת מקוררים בנוזל. CDU מבוזר, שאינו דורש צנרת משנית, מספק קירור רק לשרתים בארון משלו ואינו יכול להציע יתירות חוצת ארונות, ובכך בעל אמינות נמוכה יותר בהשוואה ל-CDU מרכזי. השוואה של CDUs ריכוזיים ומפוזרים ניתן למצוא בטבלה 2.

 

▲ השוואה בין CDU ריכוזי ל-CDU מבוזר

 

 

דרישות טכניות IV עבור שרתים וארונות מקוררים באמצעות נוזלים

 

1. דרישות טכניות לשרת

העיצוב של שרתים מקוררים בנוזלים חייב לעמוד בדרישות הטכניות המפורטות בטבלה 3.

 

▲ דרישות עיצוב של שרת קירור נוזלי פלטה קרה

 

בנוסף לעמידה בדרישות השונות המפורטות בטבלה, העיצוב של שרתים מקוררים בנוזלים חייב לעמוד גם בדרישות העיצוב של שרתים מקוררי אוויר מסורתיים, לרבות רכיבים כגון מעבד, זיכרון, כוננים קשיחים ולוח אם.

 

2. דרישות טכניות לארון

בתרחישי קירור נוזלי, הצימוד בין שרתים וארונות גבוה. העיצוב של ארונות מקורר נוזל חייב לעמוד בדרישות הטכניות המפורטות בטבלה 4.

 

▲ ארונות מקוררים בנוזל

 

בנוסף לעמידה בדרישות המפורטות בטבלה, העיצוב של ארונות מקורר נוזל חייב לעמוד גם בדרישות העיצוב של ארונות מקוררים אויר מסורתיים, כגון הובלה והתקנה, כבלים בתוך הארון ומחיצה פונקציונלית.

 

 

V שינויים שהביאו בעקבות הכנסת קירור נוזלי במרכזי נתונים

 

כאשר שרתים מקוררים נוזלים יוכנסו למרכזי נתונים, יהיו שינויים בתשתית התומכת, בתפעול ובתחזוקה, כמו גם במודלים של מסירה.

 

1. תשתית תומכת

הכנסת שרתים מקוררי נוזלים מגבירה את צפיפות הפריסה, מה שמציב דרישות גבוהות יותר ליכולת נשיאת העומס של מרכז הנתונים. בנוסף, מתרחשים שינויים בתחומים כמו גובה הקומות המוגבהות, אספקת החשמל ושטח התחזוקה. השינויים בתשתית התומכת מפורטים בטבלה 5.

 

▲ תמיכה בשינויי תשתית

 

2. תפעול ותחזוקה

נכון לעכשיו, שרתים מקוררים באמצעות נוזל הם לרוב פריסות מותאמות אישית, שונות משרתים מקוררים באוויר במונחים של תאימות רכיבים, שיטות פריסה וכלי תחזוקה. הבדלים ספציפיים מוצגים בטבלה 6.

 

▲ שינויים בתפעול ותחזוקה

 

3. דגמי משלוח

קירור נוזלי במרכזי נתונים כולל התממשקות בין מערכת הקירור הראשית, מערכת הקירור המשנית, CDU, ארונות מקוררים נוזלים ושרתים מקוררים נוזלים. רמת הסטנדרטיזציה נמוכה, והתאימות בין יצרנים שונים מוגבלת. בהתבסס על תוכן המסירה, ישנם כיום שלושה דגמי מסירה עבור שרתים מקוררים בנוזלים, כפי שמוצג בטבלה 7.

 

 

▲ דגמי משלוח

 

בעת הכנסת מערכות קירור נוזלי למרכזי נתונים, יש לקחת בחשבון גורמים כמו בגרות בתעשייה, קלות תחזוקה ולוחות זמנים לבנייה. בשלבים הראשונים ניתן לשקול דגם 2 או דגם 3 לצבור ניסיון בבנייה ותחזוקה. עם הזמן, ניתן לקדם בהדרגה את תקינת הממשק בין המערכת הראשית, המערכת המשנית, CDU, ארונות מקוררים נוזלים ושרתים מקוררים, ולהתקדם לעבר דגם 1.

 

 

מסקנה VI

 

הכנסת שרתים מקוררים בנוזל במרכזי נתונים יכולה להפחית משמעותית את ערכי ה-PUE, לשפר את יציבות פעולת הציוד והזמינות העסקית, להגביר את צפיפות התקנת השרתים, להפחית את השימוש בקרקע במרכזי נתונים, ולהשיג חיסכון באנרגיה והפחתת פחמן. בנוסף, צפיפות ההספק הגוברת של שבבים וההחדרה ההדרגתית של ציוד בעל הספק גבוה כגון שרתי AI מספקים הזדמנויות גדולות עוד יותר לאימוץ קירור נוזלי, שהופך בהדרגה לפתרון קירור חשוב עבור מרכזי נתונים.

 

עם זאת, הסטנדרטיזציה של קירור נוזלי נמוכה יחסית, כאשר יצרנים שונים עובדים באופן עצמאי. הצימוד בין שרתים מקוררים נוזלים לארונות מקוררים נוזלים הוא גבוה במיוחד, ולכן יש צורך בסטנדרטיזציה של ממשקים רלוונטיים לאחר מכן. לאורך זמן, חשוב להשיג התאמה עיוורת של ממשקי מים, חשמל וממשקי רשת, מה שהופך את הקירור הנוזלי לא רק לפונקציונלי אלא גם ידידותי למשתמש, תוך מימוש מלא של תפקידו ביעדי הפחמן הכפולים.