Ceph Proxmox-klaszterben: magas rendelkezésre állás külön SAN nélkül

A Ceph a Proxmox-klaszter VM-adatait több gazdagép helyi SSD-ire oszthatja, és kiválthat külön SAN-t. Az számít, mi történik a másolatokkal egy gép kiesése után: elegendő-e a kvórum, szabad kapacitás és hálózat a kívánt redundancia időbeni helyreállításához? A számítás külön kezeli az elérhető adatokat, automatikus VM-újraindítást és tényleges helyreállítási időt.

A cikk középpontjában a Ceph üzemi működéseáll. A konkrét HPE-darabjegyzék külön hardvertervet igényel; Ceph, ZFS-replikáció és külső tároló választásához külön alkalmazás-összehasonlítás kell. Alapesetünk helyi enterprise SSD-ket használ egyedi Ceph-OSD-ként, replikált VM-poollal és gazdagép-hibatartománnyal. A rendszerindító adathordozók és külső mentés nem részei a poolnak.

Hogyan teszik elérhetővé a helyi SSD-k a VM-adatokat?

A Ceph placement groupokon keresztül osztja az adatobjektumokat OSD-kre. A CRUSH-szabály határozza meg a másolatokat tároló gazdagépeket. A példában kifejezetten size=3 és min_size=2az érték: három másolat az elsődlegessel együtt, I/O legalább két elérhető másolattal. Azonos gép három OSD-jén tárolt másolatok nem adnak háromszoros védelmet annak kiesésével szemben. A monitorok kvórumát, OSD-állapotot és VM-adatok elérhetőségét külön kell ellenőrizni. A Proxmox-klaszter megbízható HA-kvórumához legalább három szavazat kell; ehhez jön a Ceph-monitorok kvóruma és a VM-ek HA-szabályai.

Pontosan három gépből egy kiesésekor helyes elosztás mellett két gazdagépi másolat marad. A feltételek teljesülésével a pool csökkent redundanciájú I/O-t szolgálhat ki, de harmadik másolat harmadik gazdagép-hibatartományon csak egy gép visszatérése vagy pótlása után jön létre. Négy gépnél a Ceph felépítheti a negyediken, ha van szabad hely és teljesítmény. Ez a gyakorlati különbség az „adatok elérhetők maradnak” és „a redundancia a kiesés alatt helyreáll” között. Ceph mellett is leállhat VM, és csak másik gépen indulhat újra; ebből nem következik nulla másodperc megszakítás.

Kapacitásszámítás kiesési tartalékkal

Tegyük fel, hogy gépenként négy helyi adat-SSD van, egyenként 1,92 TB decimális kapacitással. Három gép 23,04 TB nyers, négy 30,72 TB kapacitást ad. Három másolattal, metaadatok, pillanatképek és üzemi tartalékok előtt elméletileg 7,68 vagy 10,24 TB logikai adat fér el. Egy hipotetikus 70 százalékos tervezési határ kezdetben 5,38 vagy 7,17 TB-ot ad. Ez nem Ceph-alapérték és nem vállalt használható kapacitás.

Aki a négygépes klasztert egy gép kiesése után is, az újjáépítés befejeztével, a választott 70 százalékos határ alatt tartaná, a példában legfeljebb körülbelül 5,38 TB logikai adattal tervez, nem 7,17 TB-tal. A legteltebb OSD-k és a Ceph következő küszöbei is döntők: nearfull, backfillfull és full. Egyetlen teli OSD blokkolhat írást vagy backfillt, miközben az összeg jónak tűnik. A decimális TB nem bináris TiB.

Meddig tart az újjáépítés?

Például 5 TB logikai adattal és három másolattal a négygépes klaszter 15 TB nyers adatot tartalmaz, ideálisan egyenletesen 3,75 TB-ot gépenként. Egy kiesésekor a harmadik másolathoz körülbelül 3,75 TB-ot kell a maradék három gépre továbbítani. Ha a mért effektív újjáépítési sebesség 250 MB/s, akkor 3,75 TB ÷ 250 MB/s = körülbelül 4 óra 10 perc számtani alsó korlát; 125 MB/s mellett körülbelül 8 óra 20 perc. Peering, eloszlás, versengő VM-I/O, helyreállítási korlátok és új írások növelik a valós időt. A 25 Gbit-es kártya névleges sebessége nem ilyen mérés.

A DAXS működő alkalmazásterheléssel kérne kiesési tesztet: figyelni a ceph health detail, ceph osd df parancsok eredményét és a placement groupok folyamatát, rögzíteni a tényleges helyreállítási bájtokat és időt, mérni a késleltetést és VM-elérhetőséget. Normál üzemben a PG-k ismét a következő állapotba kerüljenek: active+clean . A teszt mutassa meg, hogy kapcsoló-, link- vagy táppályahiba egyszerre érinti-e a Corosync-kvórumot vagy a Ceph-forgalmat. A Proxmox legalább 10 Gbit/s kizárólagos Ceph-forgalmat javasol, gyors SSD-knél többet; a portterv az OSD-áteresztéstől, helyreállítási céltól és külön fizikai utaktól függ.

Mibe kerül a további újjáépítési tartomány?

Költségtervünkben h egy teljesen felszerelt gazdagép ajánlati ára, n a már négy csatlakozásra méretezett redundáns hálózat és b egy külső mentőszerver adathordozókkal. Gépenként hipotetikusan p euró az éves szerviz-, áram- és kolokációs költség. Csak a modellben a kiépítés és átvétel 100 óra × 90 € = 9 000 €, a folyamatos üzemeltetés 60 óra × 90 € = 5 400 € évente. Ugyanazt a munkát feltételezzük három és négy gépre; a konkrét ajánlatban újra kell becsülni. A Proxmox VE Standard és Proxmox Backup Server Standard hivatalos listaára 550 € foglalt CPU-foglalatonként évente, illetve 2 240 € mentőszerverenként évente. Gépenként pontosan egy foglalt foglalatot feltételezünk. Minden érték nettó; valós ajánlatokkal és munkaráfordítással helyettesítendő.

A képlet évente összeadja a Proxmox-foglalatokat, PBS-t és 5 400 € üzemeltetést: három gépnél 9 290 € plusz 3p, négynél 9 840 € plusz 4p. Az 1 000 €-val magasabb gépenkénti ár mindkét négygépes időtávot 4 000 €-val emeli; az 1 000 €-val magasabb éves gépköltség 12 000 vagy 20 000 €-val. Ha a négygépes változat más kapcsolókat kér, a különbség hozzáadandó a következőhöz: n . A Ceph-másolat továbbra sem mentés: külön rendszer, külső másolat és tesztelt visszaállítás tartozik az átvételbe. A DAXS Proxmox Backup Server: ellenőrzés, megőrzés és visszaállítás cikke leírja ezt a vizsgálatot.

Döntés csak a késleltetés, kiesés és újjáépítés mérése, valamint megalapozott hardver-, hálózati és üzemeltetési ajánlat után születik. A DAXS a vállalattal a mérési és átvételi protokollt a Kapcsolat oldalon pontosíthatja.

Források: Proxmox VE Administration Guide: klaszter és Ceph · Ceph: size és min_size · Ceph: állapotellenőrzések és telítettség · Ceph: recovery és backfill · Proxmox VE: árak · Proxmox Backup Server: árak.