FIK DU LÆST?

MEST LÆSTE TESTS

Hjælp til VM setup

Diverse d. 23. februar. 2015, skrevet af Lenze

Vist: 1280 gange.

#0

Elitebruger
Tilføjet:
23-02-2015 11:03:07
Svar/Indlæg:
1003/92

Hej Gutter.
Jeg har brug for lidt ekspertise da jeg ved meget lidt om området.
Jeg har leget lidt med noget VMware for sjov og fået et system op at køre og det er pefekt til det behov jeg skal bruge.
Indtil videre har jeg bare leget med alm. stationære hosts som jern, men jeg kan godt mærke der er nogle fysiske begrænsninger i henhold til alm harddiskes hastighed når vi når en vis antal VM´s.

Mit spørgsmål går derfor på.

Hvis jeg skal lave et system med ca. 50VM´s som skal køre henholdsvis Windows XP og Windows 7.
Det forskellige maskiner skal bruges til at køre nogle rimelig lette dataprogrammer(opslagsværk), men nogle af programmerne indeholder en stor mængde data på 40-50gb så selvom selve programmet er let kørt skal der være en god mængde kapacitet på HD´s.

Hvis vi tager udgangspunkt i lad os sige:
35VM´s med XP 1GB ram og 80GB HD
15VM´s med enten XP eller Win7 - min. 2 GB ram og 200GB HD.

Hvad skal jeg anskaffe mig af jern for at det vil kunne køre stabilt 24/7 ?

I må meget gerne smide links og erfaringer også gerne til hvad man evt. bør købe.

SCVMM vælger jeg at køre ved siden af på en ældre HP Proliant med en E7400 4GB Ram.

Jeg er sfl. interesseret i at gøre det så billigt som muligt, men det er man vel altid 🙂

På forhånd tak !

#1

Elitebruger
Tilføjet:
23-02-2015 11:09:34
Svar/Indlæg:
1003/92

Jeg har lige nu ud over SCVMM maskinen:

ESXi servere:
1stk. 2600K med 32GB ram 2x Intel Intel PRO/1000 GT Desktop Adapter
1stk. 2500k med 32gb ram 2x Intel Intel PRO/1000 GT Desktop Adapter
1stk. 4690K med 32gb ram 2x Intel Intel PRO/1000 GT Desktop Adapter

Kan jeg køre videre med dem og evt. anskaffe mig en god NAS og mounte som NFS eller hvad skal jeg gøre for at få så god disk ydelse som muligt til så billige penge som muligt. ?

#2

Senior Skribent
Tilføjet:
23-02-2015 11:15:44
Svar/Indlæg:
2826/100

#1

Hvor mange diske har du til at køre dit setup på? og hvilke RPM kører de på??

Hvis du har 50 virtuelle maskiner skal du forvente at de alene ligger et voldsomt pres på dine diske, normalt vil jeg ikke anbefale dig at køre mere end 3-4 virtuelle maskiner per disk (og der kan de endda være presset)

#3

Elitebruger
Tilføjet:
23-02-2015 11:20:38
Svar/Indlæg:
1003/92

#2 Jeg kører dem lige nu på 1stk. 2TB WD Black 7200RPM i hver ESX Host plus 1NAS med en alm. 7200RPM disk i 😛

Så ja de er ret presset.
Derfor jeg er på udkig efter en anden løsning.

#4

Grafiker
Tilføjet:
23-02-2015 11:21:14
Svar/Indlæg:
2263/307

Ville nok snuppe en eller to i RAID af disse :
http://www.edbpriser.dk/ssd-so...

#5

Elitebruger
Tilføjet:
23-02-2015 11:22:32
Svar/Indlæg:
1003/92

#4 hvis der skal sådan 2stk i hver maskine bliver jeg hurtigt fattig 😲

#6

Grafiker
Tilføjet:
23-02-2015 12:15:53
Svar/Indlæg:
2263/307

#4 hvis der skal sådan 2stk i hver maskine bliver jeg hurtigt fattig 😲
Lenze skrev d. 23-02-2015 11:22:32

Jep, og jeg tror måske ennda det bliver en dårlig løsning, for du bør have noget redundans på. Så en stor NAS / lille SAN vil nok være vejen frem. Om den så skal baseret på SSD eller HDD må være en vurderingssag.

#7

Elitebruger
Tilføjet:
23-02-2015 13:09:32
Svar/Indlæg:
765/28

Hvad er dit budget?
Du skal have to servere med 64 GB RAM - RAM er relativt billigt, og det er rart at kunne have en server nede, og brugerne stadig kan arbejde med fuld hastighed.

Min 2 netkort i hver maskine.

Et lille SAN eller en krafig NAS. Evt en NAS med SSD Cache. Den skal køre iSCSI så et ekstra netkort til den også.

Køb så kraftige CPU'er du har råd til, gerne 2 CPU pr server.
Du kan sagtens starte med de "servere" du har nu, og så opgradere til "rigtige" servere på sigt. Dog tror jeg dine to "små" CPU'er hurtigt vil blive overbelastet. - Så et par nye CPU'er gerne samme model som den anden, så kan du køre vmotion uden problemer.

Kører selv med 2x DELL 720 med 256 GB RAM og dual octo core CPU på arbejdet. Hertil et EMC SAN. Vi har haft et iSCSI setup med 24 diske og det performer bare ikke helt som et SAN.

#8

Elitebruger
Tilføjet:
23-02-2015 13:12:24
Svar/Indlæg:
1003/92

#7 Det vil jeg prøve at kigge på.

Har du et forslag til en SAN disk ?

#9

Elitebruger
Tilføjet:
23-02-2015 13:37:43
Svar/Indlæg:
765/28

Måsske noget i den stil - iSCSI SAN - http://www.edbpriser.dk/lagrin...
Bemærk det er en listepris, hvis man går til en forhandler og presser dem lidt så kan man få den på bud.
Hvis du flotter dig så etpar stykker af disse: http://www8.hp.com/dk/da/produ... #!tab=specs
den mangler et par diske, og evt lidt mere RAM.
Hvis du har et budget, så spil DELL og HP og evt en tredje part ud mod hinanden, så får du en super pris på det. De vil også være i stand til at rådgive dig.

#10

Elitebruger
Tilføjet:
23-02-2015 13:45:32
Svar/Indlæg:
1003/92

#Okay.... 😕

Jeg var lidt ude efter en løsning omkring til max 10.000kr 😩

#11

Elitebruger
Tilføjet:
23-02-2015 13:50:35
Svar/Indlæg:
765/28

#10 Det får du ikke.

#12

Elitebruger
Tilføjet:
23-02-2015 13:53:32
Svar/Indlæg:
1003/92

#11 Altså jeg tænker kun på disken.

Altså jeg vil sige at det som sådan kører nu, med den opstilling jeg har nævnt og har gjort det i 2-3år, men man begynder at mærke at diskene er ved at være slidte... så derfor jeg var lidt på udkig efter et alternativt som måske er mere "rigtig" end bare at køre med internal desktop storage diske..

Svaret blev redigeret 1 gang, sidst af Lenze d. 23-02-2015 13:56:23.

#13

Elitebruger
Tilføjet:
23-02-2015 13:58:51
Svar/Indlæg:
1003/92

#7 Hvor mange VM´s kører i på det nævnte setup ?

#14

Elitebruger
Tilføjet:
23-02-2015 14:01:16
Svar/Indlæg:
765/28

Denne NAS ser spændende ud - http://www.edbpriser.dk/nas-se...
Sammen med nogle SSD'er og diske så har du en fornuftig NAS, der måske kan løse din udfordring.

Lidt læsestof: http://ukdl.synology.com/downl...

Den NAS jeg har fundet har 10 gbit netkort indbygget til iSCSI, så det ikke er netværket der er flaskehalsen.

Denne sættes til når du har brug for mere plads: http://www.edbpriser.dk/lagrin...

EDIT: linkfix

Svaret blev redigeret 1 gang, sidst af Springer d. 23-02-2015 14:07:40.

#15

Elitebruger
Tilføjet:
23-02-2015 14:02:55
Svar/Indlæg:
1003/92

#14 Dit første link virker desværre ikke..

Hvad med denne ? Vil den evt. kunne bruges ? http://www.newegg.com/Product/...

#16

Elitebruger
Tilføjet:
23-02-2015 14:03:34
Svar/Indlæg:
765/28

#13 - omkring 110 servere - alt mellem windows 2003 til windows 2012R2.

I øvrigt 12 ethernet porte i hver server

#17

Elitebruger
Tilføjet:
23-02-2015 14:08:25
Svar/Indlæg:
765/28

#15 Nej, som jeg læser det er det en én server. I øvrigt kun sata II

#18

Elitebruger
Tilføjet:
23-02-2015 14:13:09
Svar/Indlæg:
1003/92

#16 Kan du få første link fra #14 til at virke ? 🙂

Ang. #15
Okay, jeg læste bare i en af kommentarene:

After a few days of research I found that Areca 5040 can be both a NAS, and a workstation disk extension. I also needed to store/run lots of VMs for development purposes. I bought 4 2TB WD-FAEX disks with it, put them in RAID5 (resulting in 5.5TB), and successfully configured several computers for automatic backup to the NAS. I connected Areca to the main development workstation via ESATA, and am using it for running VMs. Network backups are performed via shared drive, and I'm not sure if this is right way (or only possible way). Anyway very happy with this device. It is small, quiet, has a great value for me, very fast. Sustained write speed is 85-90MB/s, read - about 100MB/s. Several VMs are currently running simultaneosly from the disk, and they are all fast.

#19

Elitebruger
Tilføjet:
23-02-2015 14:25:14
Svar/Indlæg:
765/28

#18 ja, sagtens, der var et . i slutningen af linket...
Modellen er fra 2010, jeg vil ikke røre den med en ildtang - den det er selvfølgelig op til dig. 😉

#20

Elitebruger
Tilføjet:
23-02-2015 14:30:22
Svar/Indlæg:
1003/92

Den du har linket til lyder også fornuftig.

Tak for input. 🙂

#21

Superbruger
Tilføjet:
23-02-2015 18:16:17
Svar/Indlæg:
2470/41

#0

Du kan ikke tilgå de data fra FreeBSD?

#22

Superbruger
Tilføjet:
23-02-2015 18:26:38
Svar/Indlæg:
165/25

Hvad bruger i så mange VM's til? Det må da næsten kun være til noget erhvervsbrug. :)

#23

Elitebruger
Tilføjet:
23-02-2015 19:30:00
Svar/Indlæg:
1003/92

#21 FreeBSD ?

Svaret blev redigeret 1 gang, sidst af Lenze d. 23-02-2015 19:31:00.

#24

Elitebruger
Tilføjet:
23-02-2015 19:34:23
Svar/Indlæg:
804/29

#23
Unix derivat. Ikke at forveksle med Linux. FreeBSD er et styresystem, primært til serverbrug.

#25

Elitebruger
Tilføjet:
23-02-2015 19:35:59
Svar/Indlæg:
1003/92

#24 Ja det ved jeg... men hvad har det med Topic at gøre ? 😐

#26

Elitebruger
Tilføjet:
23-02-2015 20:10:32
Svar/Indlæg:
804/29

#25 Det har du ret i 🙂 Jeg tænkte #21 selv måtte forklare nærmere, ville bare hjælpe med BSD delen

#27

Elitebruger
Tilføjet:
23-02-2015 20:11:10
Svar/Indlæg:
1003/92

🙂

#28

Superbruger
Tilføjet:
23-02-2015 20:17:19
Svar/Indlæg:
2470/41

#25

Jails kræver ikke installation af yderligere operativsystemer. Sammenholdt med muligheden for ZFS giver det et voldsomt boost på ydelsen.

#29

Elitebruger
Tilføjet:
23-02-2015 20:20:55
Svar/Indlæg:
804/29

Well, han render vel ind i problem, eftersom jails "kun" kan køre FreeBSD. Hvis der er behov for et Win applikation, så skal der noget andet til.

#30

Elitebruger
Tilføjet:
23-02-2015 20:23:44
Svar/Indlæg:
1003/92

Ja og alle applikationer kræver Windows XP eller Win7. så det er desværre ikke aktuelt.

#31

Elitebruger
Tilføjet:
23-02-2015 21:55:40
Svar/Indlæg:
2246/14

Måske han mente at bruge zfs/freebsd til storage ? Det kan gøres meget billigt med noget ssd cache og log, en stor stak RAM, og så nogle store diske bagved...
Mit zfs raid med 3 gamle diske yder noget der ligner 250 MB/s ved sekventiel read...
Men at bruge ZFS i produktion er måske lidt farligt. Jeg har i hvert fald ikke tænkt mig at køre det, selvom alle mine private data ligger på flere zfs pools.
ZFS understøtter iscsi, nfs mv

Svaret blev redigeret 3 gange, sidst af Swayde d. 23-02-2015 21:57:33.

#32

Elitebruger
Tilføjet:
23-02-2015 22:23:55
Svar/Indlæg:
2246/14

For sent til edit:
https://calomel.org/zfs_raid_s...
https://pthree.org/2012/12/03/...

#33

Elitebruger
Tilføjet:
23-02-2015 22:36:52
Svar/Indlæg:
804/29

Værd at notere: Hvis data ikke ligger på samme maskine via en SAN eller NAS løsning, dvs. NFS, iSCSI eller fiberchannel: Overvej kraftigt en UPS. Det vil blive temmeligt skidt, såfremt OS kører videre og "disken" dør.
http://www.proshop.dk/UPS.htm

#34

Elitebruger
Tilføjet:
24-02-2015 14:17:31
Svar/Indlæg:
1003/92

Jeg har besluttet mig for at bestille en Synology DS2015XS samt 3stk 1TB SSD diske (Samsung Evo 850) som jeg så vil køre i Raid 5. til at starte med.

Er der andre ting jeg skal tænke på ?
Skal jeg bruge nogle netkort der kan køre ISCSI eller hvordan ?

#35

Elitebruger
Tilføjet:
25-02-2015 08:51:34
Svar/Indlæg:
1003/92

#33 Jeg har faktisk en UPS Stående der ikke bliver brugt længere.
Var nok en god ide at tage den i brug til det.

Men hvis i har andre forslag er det meget velkomment da jeg skal bestille det nu her. 🙂

#36

Elitebruger
Tilføjet:
25-02-2015 09:15:23
Svar/Indlæg:
804/29

iSCSI understøttes af OS'et. Så hvis netkortet også gør det (altså virker i OS), så er der ingen problemer. Men jeg har nu altid haft en forkærlighed for Intels netkort. FreeBSD og Linux spiller bare max på Intel kontra Qualcomm og Atheros eller hvad de andre nu hedder 🙂

Svaret blev redigeret 1 gang, sidst af Had d. 25-02-2015 09:17:01.

#37

Elitebruger
Tilføjet:
25-02-2015 10:11:06
Svar/Indlæg:
765/28

Jeg vil anbefale to dedikerede netværk til iscsi. 2 switche så du kan tåle at den ene switch går ned. Det skal jo køre 24/7.
Så et netkabel fra PC til hver switch og et kabel fra NAS til hver switch. Disse skal have andre IP adresser for at adskille dit data netværk og det LAN.

Jeg tror ikke umiddelbart at du får noget ud af at have 1 TB diske i raid 5, så hellere nogle almindelige diske og SSD som cache diske. Er 2 TB disk plads nok til dine 50 maskiner?

#38

Elitebruger
Tilføjet:
25-02-2015 10:19:47
Svar/Indlæg:
1003/92

#37 Det vil jeg mene.

Har du mulighed for at linke til en switch og netkort du vil anbefale ?

#39

Elitebruger
Tilføjet:
25-02-2015 10:51:27
Svar/Indlæg:
765/28

Netkort skal være noget Intel der er understøttet af vmware. Vedrørende switch, så kan du vælge at gå "all in" og købe 10 Gbit switche, så skal du selvfølgelig have 10 gbit netkort i serverne. Det er den dyreste løsning.
Men en simpel 8 ports burde kunne løse din udfordring.
Lidt læsestof: http://www.vmware.com/resource...
Switchen skal understøtte jumboframes.
I øvrigt, så vil du aldrig kunne udnytte mere end 1000 Mbit dvs max 125 MB/Sek i overførsel fra din NAS til dine servere, med mindre du kører 10 Gbit. Derfor overvej i stedet at nøjes med 2x 512 GB SSD'er og så 3-4 enterprise NAS diske i stedet.
FX disse: http://www.edbpriser.dk/harddi...

EDIT - En dell powerconnect 2808 læs evt her: http://www.computerweekly.com/...

Svaret blev redigeret 1 gang, sidst af Springer d. 25-02-2015 11:02:00.

#40

Elitebruger
Tilføjet:
25-02-2015 11:26:42
Svar/Indlæg:
1003/92

Endnu engang tak for svar.

Dvs. jeg burde egentligt kunne køre videre med mine 2x Intel Intel PRO/1000 GT Desktop Adapter i hver maskine som er gbit adaptere og understøttet af VMware ?

#41

Elitebruger
Tilføjet:
25-02-2015 11:31:35
Svar/Indlæg:
1003/92

Jeg købte sidste år denne som jeg har brugt i setupet: http://www8.hp.com/dk/da/produ...

HP 1410-16G Switch (J9560A)

Vil jeg kunne nøjes med den eller skal jeg investere i Dell´en ?

#42

Elitebruger
Tilføjet:
25-02-2015 12:16:56
Svar/Indlæg:
1003/92

Er det et go på dette og så se om det holder hjem ?

Svaret blev redigeret 2 gange, sidst af Lenze d. 25-02-2015 12:19:09.

#43

Elitebruger
Tilføjet:
25-02-2015 12:20:16
Svar/Indlæg:
1003/92

Jeg kan se min HP Switch understøtter Jumbo frames så den burde vel kunne bruges.

#44

Elitebruger
Tilføjet:
25-02-2015 12:29:47
Svar/Indlæg:
804/29

Jumbo frames er ikke alfa og omega. Der bliver talt og skrevet meget om jumbo frames, men det er altså ikke bare at sige "aktivér jumbo" og så er alt tip-top. Min erfaring med dem er, at det kræver en rigtig god netværksforståelse og tweaking af settings før det bliver virkeligt lækkert. Jeg synes du skal sigte efter flow control og Unicast stormcontrol. Din switch har allerede flow control.

#45

Elitebruger
Tilføjet:
25-02-2015 12:49:32
Svar/Indlæg:
1003/92

#44 Takker.
Som i nok allerede har fattet er jeg ikke den store haj når vi snakker netværk generelt.. 😛

#46

Elitebruger
Tilføjet:
25-02-2015 13:24:11
Svar/Indlæg:
804/29

#45 Jeg er ellers fælt imponeret over det netværk du linkede til i #3 🙂

#47

Elitebruger
Tilføjet:
25-02-2015 13:30:07
Svar/Indlæg:
1003/92

#46 Tak 😳 Det er rent og skær learning by doing... 🙂

Det fungerer også i praksis og har gjort det i 2-3år, men nu kan jeg godt mærke at diskene er ved at være trætte så nu skal der ske noget 😛

Svaret blev redigeret 1 gang, sidst af Lenze d. 25-02-2015 13:32:55.

#48

Elitebruger
Tilføjet:
26-02-2015 14:58:05
Svar/Indlæg:
765/28

Du skal adskille dit klient netværk og dit iscsi netværk, hvis du vil have ordentlig ydelse på systemet, dvs at du skal have flere porte i dine servere.
Jeg ville nok vælge nogle enterprise NAS diske i stedet

#49

Elitebruger
Tilføjet:
26-02-2015 15:10:47
Svar/Indlæg:
1003/92

hvordan tænker du ? 😳

#50

Elitebruger
Tilføjet:
26-02-2015 15:28:43
Svar/Indlæg:
765/28

To kabler fra dine servere til en switch som du har i forvejen, hvor dine almindelige brugere er koblet op på.
To andre kabler til to nye switche og hrefra til din NAS
Noget i den stil :

Eller nok bedre vist :
https://abristech.files.wordpr...

Svaret blev redigeret 1 gang, sidst af Springer d. 26-02-2015 15:29:41.

#51

Elitebruger
Tilføjet:
26-02-2015 16:32:03
Svar/Indlæg:
1003/92

Tak, så er jeg med 😉