Öt kulcsszóból rövid beszélgetési feljegyzést kell készíteni. Ehhez minden kérésnél a legnagyobb elérhető nyelvi modellnek kell dolgoznia? Gyakran érdemes először pontosan körülhatárolni a feladatot, és kipróbálni egy kisebb modellt.
A kívánt eredmény néhány sorban elfér.
Egy fiktív telefonhívást ezekkel a kulcsszavakkal rögzítenek: „Az ügyfél a szállítás időpontjáról érdeklődik, az ajánlat rendelkezésre áll, belső egyeztetés még nyitott, visszajelzés holnap.” Az üzenetnek érthetően össze kell foglalnia a tartalmat. Nem találhat ki szállítási időpontot, és nem alakíthatja a feljegyzést megrendeléssé vagy árígéretté.
Ennél a feladatnál a teljesség, az információk helyes hozzárendelése és a hiányok kezelése döntő. A különösen részletes érvelés vagy a nagy kontextusablak többletráfordítást okozhat anélkül, hogy hasznosabbá tenné a feljegyzést.
Először az átvételi feltételek, utána a modellválasztás.
A tesztállomány nem csak jól megírt példákból áll. Rövidítések, elírások, ellentmondó időadatok és hiányzó kapcsolattartók is tartoznak bele. Minden példánál előre rögzítik, mi vehető át, és mikor kell visszakérdezni.
Egy kisebb modell akkor megfelelő, ha ezeket a követelményeket megbízhatóan teljesíti. Ha nem, megkeresik az okot: nem egyértelmű bemenet, nem megfelelő előkészítés, hiányzó validálás vagy valóban elégtelen modellképesség. Egy nagyobb modell segíthet, de nem minden hibára ez a leggazdaságosabb válasz.
Egy ellenőrzött útválasztó eltérően kezelheti a feladatokat.
Egy rövid beszélgetési feljegyzés más feldolgozási úton haladhat, mint egy összetett szerződéselemzés vagy kódellenőrzés. A választás figyelembe veszi a védelmi igényt, az engedélyezett szolgáltatókat, a minőséget és a válaszidőt. Elégtelen eredmény esetén visszakérdezés vagy meghatározott eszkaláció következik.
Egy tartalék modell eközben nem idézhet elő új, tiltott adattovábbítást. A szakmai ellenőrzés és a költségkeretek akkor is érvényesek maradnak, ha az eredetileg választott API éppen nem érhető el.
A tokenár csak egy sor a számításban.
Egy olcsó hívás drágává válhat, ha a munkatársaknak gyakran kell javítaniuk az eredményt. Ezzel szemben egy drágább modell összességében ésszerű lehet, ha egy igényes feladatot jóval kevesebb javítással zár le. Ugyanazt a feladatot kell összevetni ugyanazokkal a minőségi követelményekkel.
- Használat
- Bemeneti és kimeneti felhasználás, további eszközhívások és szükséges ismétlések.
- Minőség
- A valóban használható eredmények aránya és a szakmailag kritikus hibák következményei.
- Utómunka
- Az ellenőrzésre, javításra, visszakérdezésre és ismételt feldolgozásra fordított idő.
- Üzemeltetés
- Integráció, felügyelet, frissítések, korlátok és kieséskezelés.
A bemenetek is javíthatók.
A feljegyzéshez a szükséges kulcsszavakat adják át, nem elővigyázatosságból a teljes ügyféltörténetet. Az egyértelmű kimeneti formátum megkönnyíti az ellenőrzést. Ha a szolgáltatás támogatja, az ismétlődő bemenetrészek kihasználhatják a promptgyorsítótárazást. Mérni kell, hogy létrejön-e gyorsítótár-találat, és milyen hatással jár.
Az aszinkron kötegelt feldolgozás további lehetőség az azonnali választ nem igénylő feladatokra. Inkább egy előkészített dokumentumállományhoz illik, mint egy olyan feljegyzéshez, amelyre már a beszélgetés közben szükség van.
A meglévő átalánydíj nem teszi ingyenessé a várakozást.
A már kifizetett keretek befolyásolhatják a döntést. A felesleges bemenetek, az emberi utómunka és a lefoglalt kapacitás azonban továbbra is számítanak. Egy gazdaságos architektúra a sikeresen lezárt művelet költségét méri, és modell- vagy termékváltozás után ismét ellenőrzi.
Az MI-költségoptimalizálás szakoldal bemutatja a modellútválasztást, az átjárókat és a helyi infrastruktúrát. A teljes folyamatok értékelésénél a Szkript, munkafolyamat vagy MI-ágens? egészíti ki a döntés alapját.
Források: OpenAI: költségoptimalizálás · OpenAI: promptgyorsítótárazás · OpenAI: kötegelt feldolgozás. Általános megtakarítási vagy árígéretek nélkül.
