Jeg byggede endnu en server i dag...
Diverse d. 24. januar. 2019, skrevet af freak_master
Vist: 1169 gange.
Ja, jeg har altså bygget mange servere siden sidst, men denne vil jeg gerne lige dele, da mange måske ikke helt får set hvordan tingene egentlig ser ud, og dette giver også et lille smugkig for hvordan CPU og sokkel kommer til at se ud for Intel's kæmpe 28 kernet forbruger CPU der kan overclockes. Det er nemlig samme opbygning, da den er taget direkte fra server linjen.
Det er ikke noget vild imponerende, og der bliver ikke kørt en cinebench, da vi kun kigger på 2 CPU'er med 8 kerner hver, så det er ikke helt tiden værd synes jeg. Hvis jeg i fremtiden får held med at samle en større server vil jeg forsøge at køre en cinebench.
Selve serveren ser faktisk ikke imponerende ud. Det er en såkaldt "tower" server, og de nye fra Lenovo er ret tynde.
Et dæksel der sørger for at luft kommer de rigtige steder hend og gemmer på hardwaren.
Efter dækslet er taget af. RAM hev jeg ud tidligere da jeg skulle bygge en anden server.
Her er Intel's sokkel 3647. Det er altså en kæmpe sokkel, og har ingen mekanisme til at holde CPU'en nede selv.
Den ekstra CPU er en Xeon Silver 4110, og med CPU kittet til præcis denne server følger altså alt. CPU, køler og en ekstra blæser.
CPU'en kommer monteret på køleren med kølepasta, og klar til at blive monteret sammen med køleren. Det er altså køleren der skal holde CPU'en på plads.
Den øverste blæser var den der medfulgte. Før sad der en såkaldt "blank" direkte blænder luft for at komme igennem.
Begge CPU'er monteret.
Der skal 4 32GB klodser i, hvilket i alt er 128GB.
RAM monteret. De skal sidde tættest på CPU'en, og vender ikke modsat på hver sin side af CPU'en. Dette er Lenovo's egne anvisninger, og sætter RAM i "Independent mode", hvad det betyder ved jeg faktisk ikke helt.
2 stk. 300GB 10K SAS diske, der kører 12Gb/s, dobbelt hastighed af SATA. Systemet skal konfigureres op til et RAID 1.
Diskene er hot swap i fronten. Det er forventet at diskene er dem der holder i mindst tid, så de skal være nemme at skifte.
Kunden skal have et StorWize storage system, og det er normalt at man sætter sådan et til systemet igennem fiber. Dette er et 2x 16Gbit fiber kort, der giver 2 linjer til storage systemet. Hvis den ene linje går ned, har man altid den anden. Derudover kan disse køre trunking, og give sammenlagt 32Gbit båndbredde. I baggrunden ses SFP'er. Disse skal sidde i kortet, og hertil kobles lysleder kabler i.
Monteret i bunden for bedst køling. Vi har to CPU'er og masser af PCIe baner så det er ligegyldigt hvor det bliver sat.
Udover at systemet har 2 1Gbit LAN porte vil kunden have ekstra 4 porte, det får kunden selvfølgelig.
Monteret det ekstra LAN kort i midten for bedst køling.
Sådan ser bagenden ud.
På med dækslet igen.
Yay det kører!
Firmware opdateres til seneste udgave inden den skal sendes til kunden.
Processen går ret hurtig, da servere netop er lavet til at skulle skilles ad ofte, og det skal være nemt. Jeg håber det har været interessant 🙂
Holy shit en sokel at holde styr på ved montering af køleren, der er unægtelig ret mange pinne som ikke skal bukkes i soklen. :) Det må være sjovt (og dyrt) legetøj. :)
Svaret blev redigeret 1 gang, sidst af Phz d. 26-01-2019 16:59:33.
Har disse liggende ... (kan man ikke tilføje billede OG tekst i samme besked??) .. de ville passe godt deri .. venter selv på min Intel S2600SBT bundkort ... 🙂
Damn Phz! Vi har dem liggende på arbejde som factory sealed, og da der ikke er solgt en server med dem i ryger meget af værdien bare ved at pakke dem op. Jeg ville så gerne bygge en og køre Cinebench, men jeg må desværre bare vente og krydse fingre for at der er nogen der bestiller sådan et monster 😢
Hvad skal du bruge alt det CPU power til?
VMware opgradering .. Har 3 vmware maskiner i drift og den mindste af den står for opgradering. Den er med 2 stk 14core og 192gb/2133 og bliver nu 2 stk 28core og 384gb/2666. De andre er med 2 stk 18core og 256/2400.
Men den reelle bedste investering jeg lavede var at skifte mine 2 sans/vmware connect fra at køre på alm 10gbps rj45 netværk til at køre QSFP+ DAC / 40gbps med 2 uplinks fra hver server. Selv om det 'kun' er gratis Freenas de kører - så er det vildt hvad 20 stk samsung diske leverer af speed tilsammen i sådant en.
Og formålet er de servere jeg hoster derpå - kommer stille og roligt nye kunder til og behov for den større power.
Her er Intel's sokkel 3647. Det er altså en kæmpe sokkel, og har ingen mekanisme til at holde CPU'en nede selv.
Er det køleren der så holder dem fast?
#7
Det er ellers noget af et setup. Bruger du mellanox til 40Gbit? Jeg har kun haft få HBA kort og en enkelt switch i hånden, jeg ville rigtig gerne prøve at lave et setup, det bliver bare ikke brugt af mange storage systemer i dag 😴
#8
Ja når man skruer køleren på så bliver CPU'en holdt nede med den.
#9, nope - var lidt blank på det og købte Intel kort som jeg altid har haft god erfaring med. For at konstatere at QSFP+ ethernet er langt fra f.eks. QSFP+ infiniband .. Så min indkøbte switch var intet værd (men hey - 1800,- på ebay er heller ikke jordens undergang) ... Det er Intel XL710-QDA2 netkort jeg bruger - en 8-10 stykker ialt og så blot kobber/DAC mellem dem da ingen afstande overstiger 5-8 meter alligevel...
Smider lige nogle screenshots når bundkort ankommer - både og hvordan det ser ud samlet og af en cinebench .. Men pga de 2.0ghz tror jeg ikke den bliver så imponerende - selv med 2*28 cores .. Consumer udgaven bliver mere nasty men jeg frygter for hvad varmeudviklingen bliver hvis alle 28 kerner er 1-2ghz højere .. Mine chips er 'kun' 165W på 2.0ghz - 8180M er 205W på 2.5ghz...
Sej tråd :)
Hvorfor bruger man dog mekaniske diske når de kun er på 300gb?
#10
Jeg vil rigtig gerne se lidt af det setup, det lyder spændende, og god måde at klare opgaven på både billigt og nemt 😉
Jeg tror dog stadig at en Cinebench vil være imponerende selvom CPU'er kun kører 2GHz, jeg glæder mig til at se det!
#11
Diske er generelt lidt mere pålidelige, derudover er de også billigere, og med 10K eller 15K RPM er det i dag stadig et godt medie der bliver brugt virkelig meget i dag. Især hvis man blot skal have noget liggende der ikke skal tilgås rigtig meget kan man få virkelig meget plads for billige penge.
Nå, så blev tiden til at skifte skidtet ud. Ud over at det ene beskyttelsescover/cpu raslede rundt i bundkort posen da jeg modtog den men så til min store overraskelse at soklens mange pins var intakt. Dette er vel at mærke et nyt bundkort direkte fra intel - ikke noget ebay halløjsa pakket med hvad man lige havde nærmest.
Der er lidt nyt at lære ift til montering af cpu/køler som freak også er inde på - og man er dælme nervøs ved at spænde dem 'det de kan'.
Anyhow - her er vinkler på bundkort med begge 8173m monteret samt kølere og de 12*32GB/2666 ram.
Her er det monteret i mit 4U kabinet - de 24 3.5" pladser er nogle jeg har i overskud i alle maskinerne fra da de kørte local storage (men er nu på dobbelt san via QSFP+). Alle vmware maskinerne booter blot fra usb nøgle - lidt ambivalent følelse at en 100-150tkr maskine booter op fra en 30,- usb nøgle men fred med det. 🙂.
Her er det gamle 2*14 core monteret som det nye erstatter. De kølere jeg fandt som hovsa løsning dengang gjorde at kabinettet lige gabte 2mm over de 4U da de er liiiige i det højeste.
Her for sjov skyld billede af en af mine 2*18core nu også med 384gb i stedet for 256 da det system jeg kvittede passende kunne give 128gb ekstra til hver af mine 2 andre vmware maskiner. De kloge hoveder vil nok spørge om de ikke bare blæser mod hinanden - men nej, den ene er vendt omvendt og det virkede fint nok med lave temperaturer så gjorde ikke yderligere ved det.
Slutteligt et billede fra cinebench der gav lige over 7000 point efter 10-15 kørsler. Det er som om turboboost er lidt tid om at starte på disse så det kunne variere 300-500 point kørsel til kørsel.
Det sjove ved det nye setup som jeg brugte lidt tid på var at CPU #2 altid var 8-10 grader varmere under burnin end #1. Men det gav pludselig mening - de store Noctua industrial 120mm 3000-3500 rpm i midten kunne ikke puste mere luft end at det stadig skulle igennem den varme cpu #1 for at komme til cpu #2 som naturligt blev kølet af varmere luft så. Omkring 80 grader (uden låget på) begyndte de at throttle ned fra boost 2.7 på alle kerner gradvist ned til lige under 2.0. Med låget på holdt den 2.7 i et par timers belastning og ~75 grader. Helt acceptabelt i min verden - også ganske usandsynligt at den vil stå og køre max belastning konstant - men godt at vide den kan.
Hov, og jeg fandt ud af og sætte billeder/tekst i samme besked. Så lærte man også noget idag. 🙂.
Det er godt nok nogle fede CPU'er du har fået bygget den server op med. Jeg ville ønske folk ville købe nogle flere high-end servere med Intel's nyeste. Vi sidder lidt fast i E5-26xxv3 og v4 stadig.
Lidt sjovt at du nævner det med USB'en, det er ikke noget man normalt tænker over, men så snart systemet er bootet ligger det hele alligevel i RAM, så skidt med den USB 🤣
Vi har nogle kunder der vil have vmware installeret på et lille SD kort. Det tager en KRIG at starte op men når først den er oppe, intet problem.
En ganske vild cinebench også 😲