Ämne

modellminne

Ett begreppNybörjarvänlig

Hur kan samma AI-modell ta mindre plats?

En språkmodell kan ta mindre plats om dess inlärda tal lagras grövre. Lika många tal får då plats i mindre lagringsutrymme. Priset är att talen kan bli mindre exakta, vilket ibland påverkar svaren.

  • Kvantisering av språkmodellers vikter
  • lagringsbitar
  • numerisk precision