VISPIRMS APRĒĶINIET. TAD IZVĒLIETIES APARATŪRU.
Parametru skaits ir tikai sākums. Šis plānotājs atsevišķi aprēķina modeļa svarus, konteksta atmiņu un izpildes rezervi, lai jūsu aparatūras izvēli varētu pārbaudīt.
Bez maksas · Bez reģistrācijas · Aprēķins jūsu ierīcē
Neapstrādātais aprēķins ir: parametri × bitu skaits ÷ 8. Kvantizētie formāti glabā arī mērogus un metadatus, un daži tenzori paliek augstākā precizitātē. Regulējamais papildapjoms ir pieņēmums. Ja tas ir zināms, reālais modeļa failu izmērs ir labāks sākumpunkts.
Klasiskam transformerim ar pilnu uzmanības kešu mēs rēķinām: 2 × slāņi × KV galvas × galvas dimensija × tokeni × paralēlās secības × baiti uz keša vērtību. Ievades un ģenerētie tokeni izmanto vienu un to pašu konteksta budžetu. Slīdošie logi, MLA, hibrīdās un citas arhitektūras var ievērojami atšķirties.
Pietiekama kopējā ietilpība vēl nenozīmē, ka modeli var sadalīt pa jebkurām kartēm. Nozīme ir arī dzinējam, slāņu sadalījumam, savienojumiem un buferiem katrā GPU. Pārceļot daļu uz CPU, klāt nāk operatīvā atmiņa, un joslas platums var ierobežot ātrumu. MoE modeļiem, kuru visi eksperti ir atmiņā, vajag vairāk nekā tikai aktīvos parametrus.
NO NOVĒRTĒJUMA LĪDZ SISTĒMAI
Vispirms nosakiet modeli, kvantizāciju, kontekstu un lietotāju skaitu, tad salīdziniet piedāvājumus. Piemēram, 16 GB videokartes (RTX 5060 Ti, RTX 5070 Ti, RTX 5080) ērti darbina 8–14B modeļus 4 bitos, bet 70B modeļiem vajag vairākas kartes vai profesionālu GPU, piemēram, RTX PRO 6000 Blackwell ar 96 GB. Videokartes latviski. Šo kalkulatoru nodrošina aparatūras tirgotājs Mineshop.
Visas vērtības ir GiB (2³⁰ baiti). Ražotāju norādītie GB automātiski nav tā pati mērvienība. Kalkulators novērtē atmiņu modeļa darbināšanai (inferencei), nevis apmācībai, optimizētāja stāvokļus vai garantētu tokenu skaitu sekundē. Redzes kodētāji, nemodelētās aktivācijas un dzinēja buferi jāpieskaita. 15 % papildapjoms un 2 GiB rezerve ir maināmi sākuma pieņēmumi, nevis universālas konstantes.
Bez sīkfailiem, bez ārējiem fontiem, bez analītikas rīkiem, un šis kalkulators nekur nesūta jūsu ievadītos datus. Mitinātājs var apstrādāt tehniskos piekļuves datus. Atjaunināts: 2026. gada 30. septembrī.