Illusztráció / Fotó: Pexels
Képzeljünk el egy nagy céget, ahol minden kérdésre minden vezetőt / menedzsert behívnak. Ha valaki azt kérdezi, hogy "hogy csökkentsük a marketing költségeinket?", ugyanúgy összeül a beszerzési, az értékesítési, a marketing, a logisztikai és a HR vezető is, mintha egy bonyolult jogi, pénzügyi vagy mérnöki problémát kellene megoldaniuk.
Feleslegesnek hangzik, ugye?
Mai cikkünkben egy ilyen jellegű problémát járunk körbe a mesterséges intelligencia terén Balsamo (2026) munkássága révén. Ne aggódjatok, az akadémiai nyelvet lebontjuk, könnyen emészthető, megérthető tartalomra!
Mixture of Experts – Szakértők keveréke?
Egy Mixture-of-Experts, (röviden MoE) modelleket úgy kell elképzelni, hogy mikor jön egy kérés a mesterséges intelligencia modell felé, akkor annak egy „szakértőkből” (expert-ekből) álló alhálózat segít megtalálni rá a megoldást.
Amikor a modell kap egy szöveget, egy külön komponens – ezt hívják routernek – eldönti, hogy az adott információ feldolgozásához mely expert-eket érdemes használni.
Nagyon leegyszerűsítve lehet például olyan expert, amelyik erősebb matematikai mintákban, egy másik a piackutatási adatok értelmezésében, vagy éppen a marketing poszt szövegének értelmezésében.
A valós modellekben természetesen ennél jóval összetettebb a működés, de az alapelv ugyanaz: nem feltétlenül kell a teljes modellt minden feladathoz használni.
Hol van ezzel a probléma?
A legtöbb
jelenlegi MoE modell előre meghatározott számú expertet használ.
Tegyük fel, hogy
minden egyes adott szóhoz vagy kifejezéshez két expert aktiválódik.
Ez azt jelenti,
hogy ugyanannyi számítási kapacitást kaphat egy teljesen egyértelmű kifejezés,
mint egy nehezen értelmezhető rész.
Vegyünk két mondatot:
„Ma esős idő lesz.”
Itt a modell valószínűleg elég biztos abban, hogyan kell feldolgozni a mondatot.
Most nézzünk egy másikat:
„A nemzeti bank kamatemelése milyen hatással lehet egy magas hitelezettségű ingatlanfejlesztő vállalat értékeltségére?”
Itt már egyszerre kell több pénzügyi és gazdasági összefüggést értelmezni.
Ennek ellenére könnyen előfordulhat, hogy a modell mindkét esetben ugyanannyi expertet aktivál.
Ma ezt a témakört járjuk át és mutatunk egy megoldást a problémára.
A cikk alapgondolata: Nézd meg, mennyire bizonytalan a modell!
A cikk azt vizsgálja, hogy a router mennyire biztos abban, melyik expertet kellene kiválasztania.
Vegyünk egy egyszerű példát.
A router egy adott kifejezéshez / szóhoz (tokenhez) a következő valószínűségeket rendelheti annak tekintetében, hogy melyik a megfelelő a feladat megoldására:
- Expert A: 90%
- Expert B: 7%
- Expert C: 3%
Itt elég
egyértelmű, hogy az Expert A lesz a megfelelő választás.
Egy másik esetben
viszont így is nézhet ki az eloszlás:
- Expert A: 37%
- Expert B: 34%
- Expert C: 29%
Itt már sokkal bizonytalanabb a modell. A probléma viszont nem a modell bizonytalanságában van hisz ha belegondolunk, a valós életben is vannak olyan problémák, amikhez nem elég egy ember szakértelme. Ilyen esetekben érdemes több expertet is behívni a feladatra.
K routing és az Adaptive-K
Hogy megértsük jobban a problémát, teszünk egy gyors kitérőt. Mi az a K routing és mi a fene az az Adaptive-k?
A K routing-ot úgy kell elképzelni mint egy állásinterjúra mikor jelentkezik X darab ember és abból a feladatra azt a K darabot választják ki, akik a legalkalmasabbak. Tehát a K routing esetében a modell annyi expertet fog kiválasztani, amennyi a K, mindegy, hogy mekkora eséllyel passzol bele a feltételekbe.
Ezzel szemben az Adaptive-K olyan, mintha azt mondanánk, hogy "Legyen mondjuk 2, de ha csak 1 igazán alkalmas jelölt van, akkor vele fogunk csak menni".
Azaz, az Adaptive-K azt mondja, hogy:
ha a modell biztos a dolgában, használjon kevesebb számítást; ha bizonytalan, használjon többet.
Honnan tudja, hogy bizonytalan?
Erre az Adaptive-K az úgynevezett entrópiát használja.
Az entrópia itt nem az energiamegmaradást jelenti (mint ahogy tanultuk anno fizika órán). Azt jelenti ebben az esetben, hogy mennyire szétszórtak a router döntési valószínűségei.
Ha egy expert 95%-os valószínűséget kap, a többi pedig szinte semmit, akkor alacsony az entrópia.
Ha viszont több expert közel azonos eséllyel jön szóba, akkor magas.
Mondhatni ez egy amolyan bizonytalanságmérő.
Hogy néz ki ez a gyakorlatban?
Az Adaptive-K különösen olyan területeken lehet érdekes, ahol a rendszer nagy mennyiségű, de nagyon eltérő nehézségű feladatot dolgoz fel.
Gyártás
Képzeljünk el egy gyárat, ahol egy AI-rendszer folyamatosan elemzi a gépek szenzoradatait és karbantartási jelentéseit.
A legtöbb eset egyszerű lehet:
„A motor hőmérséklete 72 °C, minden érték normál tartományban van.”
Egy ilyen rutinesemény felismeréséhez valószínűleg nincs szükség nagy számítási kapacitásra.
Máskor azonban egyszerre jelenhet meg például rezgésemelkedés, hőmérséklet-változás és egy korábbi karbantartási jelentésben szereplő probléma.
Ilyenkor az AI-nak több információt kell összekapcsolnia ahhoz, hogy eldöntse, például csapágyhiba, túlterhelés vagy más műszaki probléma áll-e a háttérben.
Egy Adaptive-K jellegű rendszer az egyszerű eseteket kevesebb expert segítségével kezelhetné, a bizonytalan hibáknál pedig nagyobb modellkapacitást használhatna.
E-commerce
Hasonló logika működhet egy nagy webáruháznál is.
Egy olyan kérdésre, mint:
„Mennyibe kerül a szállítás?”
a rendszernek valószínűleg nincs szüksége különösebben összetett feldolgozásra.
De egy vásárló ezt is kérdezheti:
„Olyan laptopot keresek 500 000 forint alatt, ami jó videóvágásra, legalább 32 GB RAM-mal rendelkezik, és két napon belül kiszállítható.”
Itt már egyszerre kell értelmezni a termékparamétereket, az árat, a felhasználási célt, a készletinformációt és a szállítási feltételeket.
Az Adaptive-K logikájával az egyszerű termék- vagy szállítási kérdések kevesebb számítási kapacitást kaphatnának, az összetett ajánlások pedig többet.
Dokumentum- és szerződésfeldolgozás
Vegyünk végül egy olyan rendszert, amely üzleti dokumentumokat dolgoz fel.
Egy egyszerű
számlán például ilyen mezőket kell felismerni:
- Számlaszám
- Dátum
- Nettó összeg
- ÁFA
- Bruttó összeg
Ha a dokumentum jól strukturált és az adatok egyértelműek, a feldolgozás viszonylag egyszerű.
Teljesen más probléma viszont egy 40 oldalas logisztikai keretszerződés, amelyben külön díjtáblák vannak országokra, súlysávokra, szolgáltatástípusokra, valamint üzemanyagdíjak, minimum díjszabás és különböző felárak is szerepelnek.
Például:
„Az üzemanyag-pótdíjat az Európai Bizottság havi dízelindexe alapján kell számítani, 3%-os küszöbérték és 12%-os maximális kiigazítás figyelembevételével.”
Itt egyetlen érték kiolvasása már nem elegendő. A modellnek fel kell ismernie a szabályt, össze kell kapcsolnia más szerződéses feltételekkel, és később akár számlatételekre is alkalmaznia kell.
Ebben az esetben kifejezetten előnyös lehetne, ha a modell automatikusan több erőforrást fordítana a nehezebb részekre, miközben a rutinszerű számlaadatokat olcsóbban dolgozná fel.
Szóval miért jó ez?
A nagy AI-modellek futtatása drága.
Minden egyes aktivált expert további számításokat jelent a GPU-kon.
Alapvetően kevesebb költséget jelent egy hónapnyi problémamegoldás AI-val, mint ha kihagynánk ezt a bizonyos bizonytalansági súlyozást. Az eredeti cikkben a szerző több esetben is 20% feletti költségcsökkenésről számol be, azon költségeken belül, melyek az AI kapacitáshoz köthetők.
Ez nyilván egyetlen kérdésnél szinte észrevehetetlen különbség lehet.
Ha viszont egy AI-rendszer naponta több százmillió vagy milliárd kifejezést dolgoz fel, akkor már nagyon nem mindegy, hogy egy adott token feldolgozásához átlagosan kettő, három vagy négy expertet aktiválunk. Tipikusan ilyen eset lehet egy e-commerce vagy egy gyártó vállalkozás, ahol rendszerint jönnek elő egyszerűbb és bonyolultabb kérések is.
És talán ez a fontosabb gondolat
A jövő AI-rendszerei egyre inkább képesek lehetnek arra, hogy a feladat nehézségéhez igazítsák a saját számítási erőforrás-felhasználásukat.
Egy egyszerű feladatra kevés számítás.
Egy bonyolult problémára több.
Pont úgy, ahogy embereknél sem hívjuk össze a teljes felsővezetést azért, hogy eldöntsük, arabica vagy robusta kávét rendeljünk holnaptól az irodába (még szép, hogy robustát..).
Ha ez a megközelítés nagy méretben is jól működik, az AI-modellek fejlődésének következő fontos lépése nem feltétlenül az lesz, hogy még nagyobbak legyenek, hanem az, hogy minél hatékonyabbak és olcsók.
Lehet, hogy egyszerűen jobban kell megtanulniuk eldönteni, mikor mennyi erőforrást érdemes használniuk.
Hogyha felkeltette érdeklődését és kíváncsi, hogy miképp lehetne az Ön vállalkozásába is hatékony digitalizációs vagy éppen mesterséges intelligencia rendszereket integrálni, keressen minket bizalommal !
Forrás: Balsamo, G. (2026). Entropy-Guided Dynamic Expert Selection in Mixture-of-Experts Models. Adaptive-K. Adaptive-K paper