Mit jelent a 2,8 billió paraméter?
A paraméterek a modell tanult belső értékei. A K3 Mixture-of-Experts, vagyis szakértőkeverékes felépítést használ: nem az egész hatalmas hálózat dolgozik egyszerre. A Moonshot dokumentációja szerint 896 szakértőből tokenenként 16 aktiválódik, így a rendszer hatékonyabban használhatja a méretét.
Miért érdekes az egymillió token?
Nagyon hosszú dokumentumokat, nagy kódbázisokat vagy elnyújtott munkameneteket képes egy összefüggő kontextusban kezelni. Ez nem tökéletes memória, de jóval nagyobb „íróasztal”, amelyen egyszerre több anyag maradhat nyitva.
Mit tud még?
Natív képi megértést, hosszú kódolási feladatokat, eszközhasználatot, tudásmunkát és összetett következtetést céloz. A teljes súlyok elérhetővé tétele azt jelenti, hogy kutatók és megfelelő infrastruktúrával rendelkező fejlesztők saját környezetben is vizsgálhatják és alakíthatják.
Nyílt súlyú = ingyen fut a laptopon?
Nem. A súlyok hozzáférhetősége nagyobb átláthatóságot és szabadságot ad, de a modell óriási számítási és tárhelyigénye megmarad. A „letöltöm gyorsan” itt nem egy kávészünet, hanem külön infrastruktúra-terv.
Mit ad valójában a nyílt súly?
A nyílt súlyú kiadás lehetővé teszi, hogy megfelelő infrastruktúrával a modellt saját környezetben vizsgálják, finomhangolják vagy speciális rendszerbe építsék. Ez kutatási, adatvédelmi és testreszabási szempontból komoly előny lehet. Nem jelenti azonban automatikusan azt, hogy minden tanítási adat, fejlesztési döntés vagy biztonsági részlet teljesen nyilvános.
A nagy kontextusablak sem egyenlő tökéletes emlékezettel. Attól, hogy rengeteg szöveg fér az „asztalra”, a modell még elnézhet egy apró részletet, összekeverhet két fejezetet vagy rossz következtetést vonhat le. Hosszú dokumentumnál ezért különösen fontos a pontos hivatkozás és az eredeti forráshoz való visszaellenőrzés.
Kinek való, és kinek nem?
Főként kutatóknak, nagyobb fejlesztőcsapatoknak és erős számítási háttérrel rendelkező szervezeteknek lehet érdekes. Egy átlagos felhasználó számára valószínűleg az online szolgáltatás vagy API lesz a reális út. A modell súlyainak elérhetősége szabadságot ad, de az üzemeltetés továbbra sem hobbigép-méretű feladat.
A Kimi K3 telepítése otthoni laptopra
– Van elég memóriád? – kérdezi Kimi. A laptop ventilátora felpörög, a lámpák elhalványulnak, a kenyérpirító kijelentkezik a hálózatból, majd a Windows udvariasan felajánlja, hogy inkább megnyitja a Számológépet.
A „Letöltés” gomb megnyomása után a tárhely értesíti a családját, hogy hosszú útra indul. A RAM beadja a felmondását, a videokártya szabadságot kér, Gáspár pedig bölcsen megnyitja az online változatot. A laptop erre megkönnyebbülten visszateszi magát energiatakarékos módba.