JustQuant: You Don't Need Smoothing, SVD, or Rotation for 4-Bit Activation Quantization

arXiv cs.AI · 29 sept, 06:00

Investigadores presentan JustQuant, un marco para cuantización de activaciones a 4 bits en modelos generativos sin requerir operadores complejos como suavizado, SVD o rotaciones. El método traslada la complejidad del entrenamiento a la inferencia mediante una técnica de destilación del conocimiento llamada Theseus QAD.