טכנולוגיית קירור נוזלי: התמודדות עם אתגרי הקירור של מרכזי נתונים בעידן AIGC

 

עם ההתפתחות המהירה של Artificial Intelligence Generated Content (AIGC), הדרישה לכוח מחשוב התפוצצה, מה שהוביל לעלייה חדה בצריכת החשמל ובצורכי הניהול התרמי של מרכזי נתונים. הדרישות הגבוהות של משאבי המחשוב במהלך אימון והסקת מודל AI מגדילות משמעותית את ייצור החום של השרת, מה שמעלה את הרף עבור טכנולוגיות קירור. לפי דוח של Colocation America, ההספק הממוצע לארון במרכזי נתונים גלובליים גדל ל-16.5 קילוואט עד 2020, עלייה של 175% בהשוואה לשנת 2008. כתוצאה מכך, טכנולוגיית קירור נוזלי הפכה למוקד חדש לקירור מרכזי נתונים פתרונות.

 

בכנס GTC השנה, NVIDIA לא רק הציגה את השבבים B200 ו-GB200 אלא גם הדגישה את טכנולוגיית הקירור הנוזלי הנלווה. בנוסף, בפסגה הכלכלית של SIEPR 2024, מנכ"ל NVIDIA Jensen Huang חשף ששרתי הדור הבא של DGX GPU יאמצו קירור נוזלי במלואו. ההחלטה של ​​NVIDIA קבעה מגמה בתעשייה, והחדירה מומנטום חדש לפיתוח טכנולוגיית קירור נוזלי. ככל שטכנולוגיית הבינה המלאכותית ממשיכה להתקדם, החשיבות של קירור נוזלי הולכת ומתבהרת. טכנולוגיית קירור נוזלים לא רק מפחיתה משמעותית את צריכת האנרגיה של מרכזי נתונים אלא גם משפרת את היעילות התפעולית של השרת ומאריכה את תוחלת חיי הציוד. לכן, קירור נוזלי הופך בהדרגה לשיקול בראש סדר העדיפויות עבור פתרונות קירור של מרכזי נתונים.

 

 

I השוואה בין שיטות הקירור של מרכז הנתונים

 

נכון להיום, מערכות הקירור של מרכז הנתונים מתחלקות בעיקר לשני סוגים: קירור אוויר וקירור נוזלי. טכנולוגיית קירור נוזלים מחליפה את האוויר במדיום נוזלי כדי להחליף חום עם רכיבי החום של השרת, ובכך לשאת את החום ולהבטיח שהשרת פועל ביציבות בטווח טמפרטורות אופטימלי. לעומת זאת, קירור האוויר מסתמך על מאווררים ומערכות מיזוג אוויר לפיזור חום באמצעות תנועת האוויר. קירור נוזלי מקרר ישירות את רכיבי החום, ומשיג יעילות הולכה תרמית גדולה פי 25 מהאוויר, עם קיבולת חום ספציפית פי 1,000 עד פי 3,500, ויעילות העברת חום הסעה גדולה פי 10 עד 40 מ. אֲוִיר. לפיכך, באותם תנאים, טכנולוגיית הקירור הנוזלי עולה בהרבה על קירור האוויר ביעילות הקירור.

 

▲ מערכות קירור מרכזי נתונים

 

▲ טכנולוגיית קירור נוזלים וקירור אוויר

 

בהשוואה לקירור אוויר, קירור נוזלי מספק יעילות קירור גבוהה יותר וצריכת אנרגיה נמוכה יותר. בסביבות מחשוב בצפיפות גבוהה, מערכות קירור אוויר מתקשות לעתים קרובות לעמוד בדרישות הקירור, בעוד שקירור נוזלי יכול להתמודד ביעילות עם אתגר זה. בנוסף, קירור נוזלי מציע יתרונות כגון רעש נמוך וטביעת רגל קטנה יותר, מה שהופך אותו למתאים היטב לתצורות בצפיפות גבוהה ולדרישות חיסכון באנרגיה ירוקה של מרכזי נתונים מודרניים.

 

 

II מה מניע את פיתוח קירור נוזלי בעידן הבינה המלאכותית?

 

1. כוח חום עולה של שבבי מחשוב: קירור אוויר מגיע לגבול שלו

עם ההתפתחות המהירה של טכנולוגיית AI, הדרישה לכוח מחשוב ממשיכה לעלות, מה שמוביל להגברת ייצור החום וצפיפות שטף החום בשבבים. כאשר שבבים פועלים בטמפרטורות גבוהות לתקופות ממושכות, הביצועים ותוחלת החיים שלהם מושפעים לרעה, ושיעורי הכשל גדלים. מחקרים מצביעים על כך שכאשר טמפרטורת הפעולה של השבב מתקרבת ל-70-80 מעלות, כל עלייה של 10 מעלות יכולה להפחית את הביצועים שלו בכ-50%.

 

נכון לעכשיו, למעבדים של אינטל יש הספק תרמי (TDP) של עד 350W, ה-H100 של NVIDIA מגיע ל-700W, וה-B100 העתידי יכול להגיע ל-1,000W, קרוב לגבול הקירור החד-נקודתי של קירור האוויר של 800W. ככל שצריכת החשמל של שבב המחשוב ממשיכה לגדול, וכאשר צריכת החשמל של המעבד וה-GPU מהווה כ-80% מהספק הכולל של שרת הבינה המלאכותית, המשך השימוש בקירור אוויר יוביל לעלייה משמעותית בצרכי מיזוג אוויר בשורה. בתרחישי קירור בצפיפות גבוהה, קירור נוזלי מציע יתרונות משמעותיים בעלות ובביצועים.

 

מלבד צד השבב, גם צפיפות ההספק לארון במרכזי נתונים נמצאת במגמת עלייה. קירור אוויר מסורתי עונה בדרך כלל על צרכי קירור הארון בטווח של 12KW עד 15KW. על פי הדוח סקר מרכז נתונים גלובלי לשנת 2022על ידי Uptime Institute, ההספק המרבי עבור שרת NVIDIA DGX A100 יחיד הוא 6.5KW, וארון סטנדרטי של 42U יכול לאכלס כחמישה שרתי AI גבוה של 5U, עם הספק כולל העולה על 20KW לארון. קירור אוויר מסורתי אינו יכול לענות על צורכי הקירור של ארונות שרתי AI.

 

2. מונע על ידי צרכים לחיסכון באנרגיה במרכז הנתונים: דרישות PUE גבוהות יותר

PUE (יעילות ניצול חשמל) הוא אינדיקטור מרכזי להערכת יעילות האנרגיה של מרכז הנתונים, המחושב כ: PUE=צריכת אנרגיה כוללת של מרכז הנתונים / צריכת אנרגיה של ציוד IT. ככל שערך ה-PUE קרוב יותר ל-1, כך יעילות האנרגיה של מרכז הנתונים גבוהה יותר; לעומת זאת, ככל שערך ה-PUE גבוה יותר, כך היעילות הכוללת נמוכה יותר.

 

הסטטיסטיקה מחלקת את צריכת החשמל של מרכזי הנתונים למספר חלקים: ציוד IT מהווה 45%, מערכות קירור ל-43%, מערכות אספקת חשמל והפצה ל-10%, ושימושי תאורה ושאר 2%. בין אלה, צריכת האנרגיה של מערכת מיזוג האוויר היא שנייה רק ​​לציוד IT, ולכן הפחתת צריכת האנרגיה של מערכת מיזוג האוויר הופכת חשובה במיוחד כאשר לא ניתן לשדרג מערכות IT.

 

בהקשר של היעדים הלאומיים של השגת "שיא פחמן" ו"נייטרליות פחמן" ואסטרטגיית "Eastern Data, Western Computing", ה-Green Data Center תקני דרישה ממשלתית לרכש (ניסיון)מטיל דרישות PUE מחמירות יותר.תקן זה קובע כי החל מיוני 2023, PUE של מרכז הנתונים לא יעלה על 1.4, ועד שנת 2025 הדרישה תהיה PUE של לא יותר מ-1.3. לפי נתונים מ-CDCC ו-Inspur Information, למרכזי נתונים המשתמשים בקירור אוויר יש PUE בדרך כלל בין 1.4 ל-1.5, בעוד שטכנולוגיית קירור נוזלי יכולה להפחית את ה-PUE מתחת ל-1.2. לפיכך, אימוץ טכנולוגיית קירור נוזלים חסכונית ואפקטיבית יותר באנרגיה הפכה לטרנד.

 

צריכת אנרגיה במרכזי נתונים הפכה זה מכבר למוקד תשומת הלב של התעשייה, במיוחד על רקע אילוצי משאבי אנרגיה גלובליים ומודעות סביבתית מוגברת. שיפור היעילות האנרגטית של מרכז הנתונים הוא חיוני במיוחד. טכנולוגיית קירור נוזלי, על ידי מתן פתרונות קירור יעילים יותר, מפחיתה את צריכת האנרגיה של מערכת מיזוג האוויר, ובכך מורידה משמעותית את ערכי ה-PUE של מרכז הנתונים. טכנולוגיה זו מסייעת לא רק בהפחתת עלויות תפעול אלא גם מפחיתה את פליטת הפחמן, תוך התאמה עם יעדי פיתוח בר קיימא.

 

 

▲ צריכת אנרגיה במרכז הנתונים

 

 

III סיווג של טכנולוגיית קירור נוזלים

 

ניתן לסווג מערכות קירור נוזלי לקירור נוזל ישיר וקירור נוזלי עקיף על סמך האופן שבו הנוזל יוצר אינטראקציה עם החומרה. קירור נוזל ישיר כרוך הנוזל בא במגע ישיר עם רכיבי החומרה כדי להעביר חום. ניתן לחלק עוד יותר שיטה זו לקירור טבילה וקירור בהתזה. קירור טבילה מטביע את רכיבי החומרה במלואם בנוזל, בעוד שקירור בהתזה כרוך בריסוס הנוזל ישירות על החומרה.

 

קירור נוזל עקיף, לעומת זאת, משתמש ברכיב מתווך (כגון מחליף חום או צלחת קירור) כדי להרחיק חום, ומונע מהנוזל ליצור קשר ישיר עם החומרה. מערכת קירור נוזלי עקיף נפוצה היא מערכת קירור נוזלי הפלטה הקרה, אותה ניתן לחלק עוד יותר לקירור פלטה קרה חד-פאזי ודו-פאזי בהתבסס על האם מצע הקירור עובר שינוי פאזה.

 

▲ מבוא לשיטות קירור נוזלי

 

1. מצלחות קרות לצלחות קרות טבילה

טכנולוגיית קירור נוזלי מעבירה חום ממרכיבים המייצרים חום לנוזל קירור דרך לוחות קרים, ואז נוזל הקירור מפזר את החום באמצעות תכונות הקירור שלו. במערכת זו, נוזל העבודה אינו יוצר קשר ישיר עם הרכיבים האלקטרוניים, וכתוצאה מכך שינויים מינימליים במערכת המחשב. ניתן פשוט להחליף את גוף הקירור המקורי של קירור האוויר בערכת קירור נוזלית, וניתן לנתב את צינורות נוזל הקירור אל מחוץ לשלדה. טכנולוגיה זו מתאימה במיוחד לדרישות קירור עם צפיפות שטף חום בינונית עד גבוהה.

 

מערכת קירור נוזלי פלטה קרה מורכבת בעיקר ממגדל קירור, יחידת חלוקת נוזל קירור (CDU), מעגלי קירור נוזלים ראשוניים ומשניים, מדיום קירור וארון מקורר נוזלים. המעגל הראשוני מתייחס ללולאה המפיקה חום מהמעגל המשני לסביבה החיצונית או ליחידות התאוששות חום אחרות, בעוד שהמעגל המשני מתייחס ללולאה שמוציאה חום מהשרתים ומפזרת אותו דרך המעגל הראשוני. שני המעגלים מחליפים חום דרך ה-CDU, או יחידת חלוקת נוזל הקירור.

 

עקרון העבודה של מערכת קירור נוזלי הפלטה הקרה הוא פשוט יחסית, אך ביישומים מעשיים יש צורך להתייחס לתכנון הפלטות הקרות, לבחירת נוזלי הקירור ולתחזוקת המערכת. בנוסף, מערכות קירור נוזלי פלטה קרה מתפקדות בצורה יוצאת דופן בסביבות צפיפות שטף חום גבוהה, מה שהופך אותן למתאימות מאוד לדרישות הפריסה בצפיפות גבוהה של מרכזי נתונים מודרניים.

 

▲ תרשים סכמטי של מערכת הקירור הנוזל הפליט הקרה

 

מערכות קירור נוזלי טבילה משיגות פיזור חום יעיל על ידי הטבלה ישירה של רכיבים יוצרי חום בנוזלי קירור לא מוליכים. תלוי אם נוזל הקירור עובר שינוי פאזה במהלך המחזור, ניתן לחלק את קירור נוזל הטבילה לקירור טבילה חד פאזי וקירור טבילה דו פאזי.

 

בקירור טבילה חד פאזי, נוזל הקירור עובר שינוי טמפרטורה רק במהלך תהליך חילופי החום ללא שינוי פאזה. העברת חום מסתמכת לחלוטין על שינוי החום הגיוני של הנוזל, תוך ניצול התכונה שהנוזל מתרחב ויורד בצפיפותו בעת חימום. נוזל הקירור החם יותר עולה באופן טבעי ומתקרר על ידי מחליף חום של לולאת קירור חיצונית. הנוזל המקורר שוקע תחת כוח הכבידה, ומשלים את מחזור הקירור. בשיטה זו, נוזל הקירור נשאר במצב נוזלי לאורך כל התהליך. לעומת זאת, קירור טבילה דו-פאזי כרוך בשינוי פאזה של נוזל הקירור מנוזל לגז במהלך פיזור החום ולאחר מכן חוזר מגז לנוזל.

 

מערכת קירור נוזלי טבילה כוללת רכיבים פנימיים וחיצוניים כאחד. הצד החיצוני כולל מגדל קירור, רשת צינורות ראשונית ונוזל קירור ראשוני; הצד הפנימי כולל יחידת חלוקת נוזל קירור (CDU), מיכל טבילה (ארון), ציוד IT, רשת צינורות משנית ונוזל קירור משני. במהלך השימוש, ציוד ה-IT שקוע במלואו בנוזל הקירור, ולכן הבחירה של נוזל הקירור צריכה לקחת בחשבון נוזלים לא מוליכים, כגון שמן סיליקון או נוזלים מופלרים.

 

▲ תרשים סכמטי של קירור נוזלי חד-פאזי

 

למרות שקיים קירור בהתזה, היישום שלו מוגבל יחסית ואינו מתאים לשרתים בצפיפות גבוהה ולמרכזי נתונים בקנה מידה גדול. בטווח הקצר, קירור נוזלי פלטה קרה מתאים מאוד לצרכי הקירור של עידן הבינה המלאכותית ולמעבר של מרכזי נתונים מקירור אוויר לקירור נוזלי בשל בשלותו, תאימותו למערכות קיימות, קלות התחזוקה ועלויות השיפוץ הנמוכות שלו. . בטווח הארוך, קירור נוזלי טבילה, עם מוליכות תרמית מעולה, יכולת שחזור חום פסולת יעילה ותמיכה בהספק גבוה יותר של הארון, יתאים יותר לצרכי הקירור המתפתחים של מרכזי נתונים עתידיים. במיוחד כאשר כוח יחידת הארונות ממשיך לגדול, קירור נוזלי טבילה יכול לספק פתרונות קירור יעילים יותר, ולעזור להפחית את יעילות השימוש בצריכת החשמל הכוללת (PUE) של מרכזי נתונים.

 

2. בחירה מועדפת למרכזי מחשוב חכמים - קירור נוזלי

ככל שצפיפות ההספק עולה, פתרונות קירור נוזליים הופכים לבחירה עבור יותר מרכזי מחשוב GPU שנבנו לאחרונה. על פי דוח ה-"China Semiannual Liquid-Cooled Server Market (H1 2023) Tracker" של IDC, שוק השרתים הסיני מקורר נוזל הגיע ל-1.51 מיליארד דולר בשנת 2023. IDC צופה כי מ-2022 עד 2027, שיעור הצמיחה השנתי המורכב של שוק השרתים הסיני מקורר נוזל יגיע ל-54.7%, כאשר גודל השוק צפוי להגיע ל-8.9 מיליארד דולר עד 2027.

 

היישום של טכנולוגיית קירור נוזלי במרכזי מחשוב חכמים לא רק משפר את ביצועי המחשוב אלא גם מפחית משמעותית את צריכת האנרגיה ועלויות התפעול. הקידום של טכנולוגיית קירור נוזלי יניע את מרכזי הנתונים לפיתוח יעיל, ירוק ואינטליגנטי יותר, ויספק בסיס איתן לעמידה בצרכי עיבוד נתונים בעידן הבינה המלאכותית.

 

▲ גודל שוק שרת קירור נוזלי

 

IV שרשרת קירור נוזלי

 

שרשרת תעשיית הקירור הנוזלי מקיפה שלושה סגמנטים עיקריים: ספקי רכיבי מוצר במעלה הזרם, יצרני שרתים מקוררים נוזלים באמצע הזרם ומשתמשי כוח מחשוב במורד הזרם. בין המשתמשים הנוכחיים במורד הזרם, חברות מקומיות כמו עליבאבא מתמקדות בפיתוח של קירור נוזלי טבילה חד-פאזי, בעוד שאחרות, כמו Baidu, Tencent ו-JD.com, משתמשות בעיקר בקירור נוזלי של פלטה קרה. מעבר לים, קירור טבילה מתקדם יותר מקירור פלטה קרה, כאשר חברות מובילות בארה"ב כמו אינטל, גוגל ומטה מניעות את הפיתוח המהיר של קירור נוזלי טבילה, במיוחד עם תמיכה בבינה מלאכותית.

 

▲ שרשרת תעשיית קירור נוזלי

 

 

V בעיות פוטנציאליות עם טכנולוגיית קירור נוזלי טבילה

 

1. בחירת נוזל קירור

נוזל קירור הוא אחד מחומרי הגלם המרכזיים בטכנולוגיית קירור נוזלי ומציג מחסום טכני גבוה. בטכנולוגיית קירור נוזלי טבילה, נוזל הקירור צריך ליצור קשר ישיר עם מוצרים אלקטרוניים, ובכך להטיל דרישות גבוהות לביצועי נוזל הקירור, כגון מוליכות תרמית מעולה, בידוד טוב ותאימות חומרים. בנוסף, מאפיינים סביבתיים כמו ריח, רעילות וקלות הפירוק חשובים גם הם, ונוזל הקירור צריך להיות ידידותי למשתמש וידידותי לסביבה ככל האפשר.

 

נוזלי קירור הטבילה הנפוצים ביותר כוללים כיום פחמימנים ואורגנוסיליקונים (המכונה בדרך כלל "שמנים", כגון שמן מינרלי) ותרכובות מופלרות (כגון נוזלים מופלרים). לנוזלים עם פלואור יש ביצועים כלליים טובים והם נחשבים לחומרי קירור נוזלים אידיאליים. עם זאת, האתגר העיקרי עם נוזלים מופלרים הוא העלות הגבוהה שלהם. עם דרישות הגנת הסביבה מחמירות יותר ויותר, שמן סיליקון, בעל מוליכות תרמית גבוהה יותר וצפיפות נמוכה יותר, הוא גם ידידותי יותר לסביבה. בחירת אמצעי הקירור תלויה בעיקר בתהליך הקירור.

 

2. בעיות איטום נתיב אופטי

נוזלי קירור כגון נוזלים מופלרים או שמני סיליקון הם בעלי תכונות בידוד מצוינות, המונעות ביעילות קצרים במעגל. בתנאי אות בתדר נמוך, לנוזלי קירור אלה יש הפרעה מינימלית להעברת האות. עם זאת, תחת אותות בתדר גבוה, ההשפעה של נוזל הקירור על העברת האות דורשת הערכה ובקרה זהירים. בסך הכל, ההשפעה על המעגלים ניתנת לניהול.

 

לגבי נתיבים אופטיים, רוב המודולים האופטיים במרכזי נתונים מתוכננים עם אריזה לא הרמטית, כלומר ללא שינויים מתאימים, נוזל הקירור עלול להיכנס לחלל האופטי, ולהשפיע על הביצועים האופטיים. אפילו עם אריזה הרמטית, כמה נתיבים אופטיים פסיביים, כגון עדשות, נשארים מחוץ לתא הרמטי.

 

התכנון של נתיבים אופטיים מבוסס בדרך כלל על מקדם השבירה של האוויר (בערך 1.0). כאשר רכיבים אופטיים שקועים בנוזל קירור, מקדם השבירה של נוזל הקירור, השונה מהאוויר, יכול לגרום לשינויים בנקודות המוקד וביעילות הצימוד. לדוגמה, מקדם השבירה של שמן מופלר הוא בדרך כלל סביב 1.3, ושינוי זה במקדם השבירה עשוי לדרוש התאמות לפרמטרים של עיצוב הנתיב האופטי.

 

כדי להתמודד עם ההשפעה הפוטנציאלית של קירור נוזלי טבילה על נתיבים אופטיים וחשמליים, התעשייה נוקטת באמצעים שונים, כגון פיתוח טכנולוגיות אריזת מודול אופטיות חדשות המותאמות לסביבת נוזל הקירור, אופטימיזציה של עיצוב המעגלים לאותות בתדר גבוה, ומחקר חומרים אופטיים ו מבנים המתאימים יותר לקירור טבילה.

 

3. משלוח משולב לעומת משלוח מנותק

נכון לעכשיו, ישנם שלושה דגמי משלוח עבור שרתים מקוררים באמצעות נוזלים:

① צד ציוד ה-IT מספק רק את השרת מקורר הנוזל;

② צד ה-IT מספק את "שרת מקורר נוזל + ארון מקורר נוזל";

③ צד ה-IT מספק את "שרת מקורר נוזל + ארון מקורר נוזל + CDU + מעגל משני".

 

דגם המסירה השלישי, משלוח משולב, שבו הארון כולו מועבר על ידי אותו יצרן עם תקן מוגדר בעצמו לתכנון ופיתוח משולב, הוא הנפוץ ביותר. אספקה ​​מנותקת כוללת ביצוע מפרטי עיצוב של ממשק המשתמש בין הארון מקורר הנוזל לשרת מקורר הנוזל, כאשר הארון והשרת מסופקים על ידי יצרנים שונים. יצרני תשתית ושרתים צריכים לתאם ולשתף פעולה. מסירה מנותקת קלה יותר להרחבה ולפריסה גמישה.

 

▲ הבדלה במצב אספקת שרת מקורר נוזלי בצלחת קר

 

נכון לעכשיו, רמת הסטנדרטיזציה בטכנולוגיית קירור נוזלים בסין נמוכה יחסית. ציוד שרתים, נוזלי קירור, צינורות קירור ומוצרי אספקת חשמל שונים בצורתם, ואין תקן ממשק אחיד, המציב אתגרים עבור סטנדרטיזציה ויישום בקנה מידה גדול. המסמכים הלבנים שפורסמו על ידי שלוש מפעילי הטלקום המקומיים הגדולים מתווים חזון תלת-שנתי לטכנולוגיית קירור נוזלי, תוך אימות ובדיקה הדרגתית של הטכנולוגיה, עם תוכניות להתחיל ביישומים בקנה מידה גדול של קירור נוזלי עד 2025. ההערכה היא כי למעלה מ-50% של פרויקטי נתונים יאמצו את הטכנולוגיה הזו, יקדמו את הסטנדרטיזציה והיישום בקנה מידה גדול של קירור נוזל ותומכים באספקה ​​מנותקת.