A helyi MI első kipróbálásához nem kell azonnal új szervert vásárolni. Egy meglévő számítógép megmutathatja, hogy egy kisebb nyelvi modell használható eredményeket ad-e a kívánt feladathoz. A napi munkában ezután a várakozási idő, a rendelkezésre álló kapacitás és a megbízható üzemeltetés is számít.
A legfontosabb kérdés ezért az, hogy mit kell elvégeznie a modellnek. Egy rövid szöveg átdolgozása más követelményeket támaszt, mint hosszú dokumentumok elemzése, kiterjedt programozási munka vagy több ember egyidejű munkája. „A modell elindul” egy első műszaki megállapítás. Ez még nem igazolja egy munkaállomás vagy vállalati szolgáltatás alkalmasságát.
Mi lehetséges különleges grafikus kártya nélkül?
A nyelvi modellek támogatott CPU-n is futhatnak. A llama.cpp futtatókörnyezet különböző processzorplatformokat, valamint a CPU és GPU közötti munkamegosztást is támogatja. A GPU tehát nem minden teszt általános előfeltétele, bár jelentősen felgyorsíthatja a feldolgozást. A tényleges különbséget a kiválasztott feladattal kell megmérni. llama.cpp: támogatott hardver és futtatás (külső hivatkozás).
Egy CPU-s próba alkalmas lehet például nem érzékeny vázlatpontokból szövegtervezet készítésére, rövid jegyzet rendezésére vagy egy kis kódpélda értékelésére. A modellnek nyelvileg és szakmailag is megfelelőnek kell lennie. Egy hosszú bemenet, összetett válasz vagy második egyidejű kérés jelentősen megváltoztathatja a kezdetben használható egyfelhasználós teszt eredményét.
32 vagy 64 GB RAM: tervezési forgatókönyvek általános minimum helyett
Az alábbi szintek szándékosan példaként szerepelnek. Nem helyettesítik sem a konkrét modellfájl ellenőrzését, sem a terheléses tesztet. Kisebb modellek kevesebb memóriával is működhetnek; nagyobb modellek, hosszú kontextusok vagy több szolgáltatás lényegesen többet igényelhetnek.
| Bővítési szint | Példa az alapokra | Mit kell tisztáznia a tesztnek? |
|---|---|---|
| Meglévő számítógép felmérése | Támogatott CPU, például 32 GB RAM és elegendő szabad SSD-kapacitás; kezdetben külön GPU nélkül. | Szakmailag megfelelő egy kisebb modell? Elfogadható a várakozás az egyes rövid feladatoknál? |
| Rendszeresen használt munkaállomás | Például 32–64 GB RAM, NVMe SSD, valamint a modell és a kontextus alapján célzottan kiválasztott GPU. | Folyamatos marad a munka, ha más alkalmazások is párhuzamosan futnak, és hosszabbak a bemenetek? |
| Közös szolgáltatás | Dedikált erőforrások; például 64 GB rendszermemória a tervezés kiindulópontjaként, megfelelő gyorsítás és szabályozott üzemeltetés. | Milyen egyidejű használat, válaszminőség és rendelkezésre állás érhető el valós terhelés mellett? |
64 GB rendszermemória nem helyettesíti a megfelelő méretű grafikus memóriát. Ugyanígy egy SSD-re ráférő modellfájl sem bizonyítja, hogy a teljes modell a kívánt kontextussal együtt elfér a GPU memóriájában. Megosztott memóriájú rendszereknél a teljes memóriafelosztást kell megvizsgálni.
Miért nem elég önmagában a modell mérete?
Egy egyszerű számítás szemlélteti a nagyságrendet: nyolcmilliárd paraméter paraméterenként elméletileg négy bittel számolva 8 000 000 000 × 4 ÷ 8 = 4 000 000 000 bájt, azaz körülbelül 4 GB, illetve 3,73 GiB pusztán a súlyadatokhoz. Ez nem egy futtatható modell teljes memóriaigénye.
Ehhez többek között kvantálási információk, más formátumban tárolt részek, futásidejű pufferek és a kontextus memóriája adódnak. A tényleges fájl és a választott futtatókörnyezet a meghatározó. A GGUF például a tenzorok mellett metaadatokat is tartalmaz, és különböző kvantálási formátumokat támogat. Hugging Face: GGUF és kvantálás (külső hivatkozás).
Nagyobb kontextusablakhoz további memória szükséges. Ezért a kívánt bemeneti hosszt kifejezetten rögzítik a teszt során. Egy rövid beszélgetés kis bemenettel keveset mond a későbbi, hosszú dokumentumokkal végzett munkáról. Ollama: kontextushossz és memóriaigény (külső hivatkozás).
A GPU-nak a teljes környezethez kell illeszkednie
A kiválasztásnál a használható grafikus memória, a támogatott illesztőprogramok és futtatókörnyezet, az energiafogyasztás, a hűtés és a beépítési körülmények számítanak. Két hasonló terméknevű kártyán eltérő mennyiségű memória lehet. Az sem jelenti a kívánt modellkörnyezet megfelelő használatát, ha az operációs rendszer felismeri a kártyát.
Vásárlás előtt ezért a kártya pontos típusát, az operációs rendszert és az illesztőprogram verzióját összevetik a futtatókörnyezet aktuális támogatásával. Az Ollama különböző megoldásokat dokumentál az NVIDIA, AMD, Apple Metal és további háttérrendszerek esetén. Ez nem jelenti egy márka összes kártyájának általános támogatását. Ollama: aktuális hardvertámogatás (külső hivatkozás).
Mit ad hozzá az NVMe és a Linux?
Az NVMe SSD észszerű tervezési lehetőség a helyi modellfájlok, frissítések és munkaadatok számára. A ténylegesen használt modellekhez és további változatokhoz szabad helyet kell fenntartani. Egy nagyobb meghajtó azonban nem helyettesíti a RAM-ot vagy a grafikus memóriát; még egy gyors SSD sem tesz automatikusan interaktívan használhatóvá egy túl nagy modellt.
A Linux megfelelő lehet egy folyamatosan üzemeltetett szolgáltatáshoz, ha az illesztőprogramok, a karbantartás és a felelősségi körök illeszkednek a vállalathoz. Az Ollama többek között az önálló rendszerszolgáltatásként történő futtatást is leírja. Az operációs rendszert a meglévő környezet alapján választják; nem kell minden munkaállomáson újonnan bevezetni. Ollama: Linux-üzemeltetés és verziókarbantartás (külső hivatkozás).
Egy rövid pilot jobb beszerzési listát ad
- Feladat meghatározása: például tervezet készítése jóváhagyott vázlatpontokból a teljes tudástár csatlakoztatása előtt.
- Tesztfeltételek rögzítése: modellverzió, kvantálás, kontextus, hardver és egyéb futó alkalmazások.
- Eredmények értékelése: szakmai helyesség, szükséges javítások és ténylegesen megtakarított munka.
- Várakozási idők mérése: szokásos és hosszabb bemenetek, valamint a várható egyidejű használat.
- Üzemeltetés ellenőrzése is: adatútvonalak, jogosultságok, frissítések, biztonsági mentés és helyreállítás.
A részletesebb tesztelési módszert a következő cikk ismerteti: Helyi MI tesztelése: pilot mérvadó terheléssel. A közös szolgáltatásra való áttéréshez a Ollama és Open WebUI a vállalati hálózatban című cikk bemutatja a hozzáférés, a felület és a modell közötti felosztást.
A meglévő eszközök észszerű használata és célzott kiegészítése
A kezdéshez elegendő lehet egy meglévő számítógép. Ha a pilot megalapozott hasznot igazol, ezután célzott bővítés vagy önálló szolgáltatás tervezése következhet. Ritka vagy különösen igényes feladatokhoz egy jóváhagyott felhős API vagy hibrid modell is gazdaságos lehet. Az adatok, a minőség, a használat és az üzemeltetési ráfordítás döntőek.
A DAXS segít ezek megítélésében és a meglévő IT-ba történő integrálásban. Kiindulópontot nyújt a Helyi LLM-ek és infrastruktúra oldal és az MI-tanácsadási és automatizálási megkeresés.
Források: a memóriaértékek kifejezetten leírt tervezési forgatókönyvek vagy a súlyok elméleti számítása. Nem jelentenek teljesítménymérést, árajánlatot vagy egy meghatározott felhasználószám támogatásának igazolását. Az adott modell licencét és a rendszer kompatibilitását használat előtt ellenőrzik.