A meglévő Proxmox-gazdagépen még van kapacitás egy MI-szolgáltatáshoz. Elég beszerelni egy grafikus kártyát és létrehozni egy virtuális gépet? Ez észszerű megoldás lehet, ha a GPU-hozzárendelést, a gazdagép erőforrásait és a karbantartást együtt tervezik.
Passthrough esetén a fizikai GPU egy VM-hez tartozik
A PCIe-passthrough egy fizikai eszköz vezérlését adja át egy virtuális gépnek. Az MI-VM a saját vendégrendszer-illesztőprogramján keresztül használja a GPU-t. A hozzárendelés idején a gazdagép és más VM-ek nem használhatják ugyanazt a kártyát párhuzamosan saját számításaikhoz.
Az MI-VM-en belül egy közösen használt modellszolgáltatás több kérést is kezelhet. Ez más, mint a kártya felosztása több VM között. Egy külön vGPU-megoldás alkalmassága a GPU-tól, a hypervisortól, az illesztőprogramoktól, a támogatott konfigurációktól és a licenceléstől is függ.
A VM előnye a világosan hozzárendelt rendszerkörnyezet: az operációs rendszer, a modellkiszolgáló és a szükséges adatok együtt kezelhetők. A GPU továbbra is fizikai eszköz, saját előfeltételekkel.
Beszerelés előtt a teljes hardverláncot ellenőrizni kell
A Proxmox dokumentációja IOMMU-támogatást követel meg, a megszakítások újraleképezését is beleértve. A CPU-nak, alaplapnak, firmware-nek és Linux-támogatásnak össze kell illenie. A VT-d vagy AMD-Vi jelölés önmagában nem helyettesíti ezt az ellenőrzést.
A kiválasztott foglalat IOMMU-csoportja is számít. A GPU-t és kapcsolódó funkcióit megfelelően el kell különíteni más szükséges eszközöktől. A Linux VFIO dokumentációja elmagyarázza, miért a csoport jelenti a hozzárendelési és izolációs határt. Másik foglalat más csoportosítást eredményezhet.
Ellenőrzik a helyet, a PCIe elektromos kapcsolatát, a tápellátást és a hűtést is. A vendégrendszerben megfelelő GPU-illesztőprogram és a modellszolgáltatás támogatása kell. GPU-passthrough-hoz a Proxmox általában q35-öt, OVMF/UEFI-t és PCIe-t ajánl; ehhez a kártya firmware-ének is alkalmasnak kell lennie. A konkrét beállítás a használt hardvertől függ.
A meglévő kapacitás közös erőforrás-keret
A tervezési példa egy meglévő virtualizációs gazdagép vállalati alkalmazásokkal és egy további MI-VM-mel. A CPU-idő, a RAM, a háttértár és a hálózat közös erőforrás marad. Egy korlátlan dokumentumimport vagy modellindítás nem lassíthatja váratlanul a többi alkalmazást.
A VM ezért átlátható konfigurációt és terhelési korlátokat kap. A grafikus memóriát, a kontextushosszt és a párhuzamos modellkéréseket együtt tesztelik. A VM-hez rendelt több RAM nem növeli a kártya fizikai VRAM-ját. A CPU-ra történő tehermentesítés megváltoztathatja a működést, és külön mérést igényel.
A tisztességes összehasonlításhoz rögzítik a modellverziót, a bemeneteket, a kontextust és a párhuzamosságot. Értékelik a minőséget, az első választ, a további kimenetet, a várakozást és a más VM-ekre gyakorolt hatást. E konkrét teszt nélkül kevéssé lenne hasznos a virtualizációs többletterhelés általános százalékos megadása.
VM vagy dedikált gép: mi változik az üzemeltetésben?
| Kérdés | MI-VM GPU-passthrough-val | Dedikált MI-szerver |
|---|---|---|
| Erőforrások | A GPU fixen hozzárendelt; a többi gazdagéperőforrást a meglévő VM-ekkel kell összehangolni. | A számítási és memória-erőforrások a saját rendszer rendelkezésére állnak. |
| Karbantartás | A vendég-illesztőprogramokat, a modellüzemet és a Proxmox-/gazdagépfrissítéseket együtt kell tervezni. | Az operációs rendszer és a modellüzem saját karbantartási területen van. |
| Gazdagépváltás | A közvetlenül átadott PCI-eszközök megakadályozzák a szokásos élő migrációt. Leállított VM áthelyezésénél ellenőrizni kell a megfelelő célhardvert és hozzárendelést. | Áthelyezés vagy csere előkészített helyreállítással másik hardveren. |
| Mentés | A VM-lemezeket, az alkalmazáskonzisztenciát, a konfigurációt és az eszköz-hozzárendelést együtt kell vizsgálni. | A rendszer-/alkalmazásadatokat és a visszaállítást külön kell megszervezni. |
| Ráfordítás | A meglévő infrastruktúra használható; az integrációt és a további gazdagépfüggőségeket is bele kell számítani. | Saját hardvert és telephelyi erőforrásokat kell tervezni; a karbantartás egyértelműbben elkülönül. |
A meglévő fürt nem teszi automatikusan megszakítás nélkül áthelyezhetővé a fizikai hardverhez kötött MI-VM-et. Másik csomóponton történő újraindításhoz kompatibilis GPU-erőforrások, érvényes hozzárendelés és ténylegesen tesztelt eljárás kellenek. A szolgáltatási igény dönti el, hogy ez az előkészítés elegendő-e, vagy indokolt egy további szolgáltatáscsomópont.
A visszaállítás többet igazoljon egy elinduló VM-nél
A virtuális lemez másolata nem tartalmazza a fizikai grafikus kártya futó állapotát. Helyreállításkor ezért a modellverziókat, a konfigurációt, az adatjogosultságokat és az újbóli eszköz-hozzárendelést is ellenőrzik. Ugyanazon a gazdagépen lévő pillanatkép nem helyettesít elkülönített mentést.
Az átvétel része a VM szokásos újraindítása, a gazdagép újraindítása, illesztőprogram-/kernelváltás a tervezett karbantartási ablakban és egy tervezett visszaállítás. Ezután valódi modellkérést és a többi alkalmazást is ellenőrzik. Így látható, hogy az eszköz újraindítás után megfelelően elérhető-e.
Pusztán számítási gyorsítóhoz nem kell a GPU-ra csatlakoztatott kijelző. A Proxmox-konzol nem jeleníti meg egyszerűen egy átadott GPU képét. Az MI-szolgáltatást a kijelölt felületén vagy API-ján keresztül használják.
Korlátozott pilottal kell megalapozni a döntést
A DAXS először tisztázza a feladatot, a meglévő gazdagépet, a használati kört és az elfogadható megszakítást. Egy korlátozott pilot ezután ellenőrzi az eszköz-hozzárendelést, a szakmai minőséget és az üzemeltetési hatásokat. Az eredménytől függően VM, saját gép vagy külső szolgáltatás is megfelelő lehet.
A vállalati Proxmox-áttekintés az általános platformválasztást magyarázza el. A helyi LLM-infrastruktúráról szóló szakmai oldal és a terhelésteszt-pilot a méretezést részletezik. A közös szolgáltatás architektúráját az Ollama és Open WebUI cikk egészíti ki.
Az MI-üzemeltetési modell és a meglévő infrastruktúra egyeztetése.
Források: Proxmox: PCIe-passthrough (külső hivatkozás) · Proxmox: virtuális gépek migrációja (külső hivatkozás) · Linux: VFIO és IOMMU-csoportok (külső hivatkozás) · NVIDIA: vGPU-támogatási mátrix (külső hivatkozás) · Ollama: hardvertámogatás (külső hivatkozás).
