Show HN: We compressed a 31B video+audio diffusion model to 14B, 6 steps, INT8
3 , 3. .
· ( ) · · · 8- 3
- : 5.2–15 24 (1344×768 ) 32 .
- : 4, 6 (), 8 , ().
- (5.2 , 6 ): 8.7 4× 200, 36 1× 200, 92 1× 5090.
- 4× : 3 3 4× . 3 0.
- : 13.7 (2) 13.9 (2) , ~31 3 .
- : 4__ 9.1 (8_0 14.9 ). 24 32 16 . 16 .
: 64 . 8 , 24 + 69 .
/3-.
(, , .)
: /.. :
- (/): /_/. 15.7 3_32__3_4_ . 16 32 , . --. > > _2, _2, _2, _2.
- ( ): __ . /3- (2_/ 2_/). . 6- = 1.
- . (/./): . 32378. (, ) , , 6- , 32- .
(8 )
- : 3.10+, 2.6+ ( ), , >= 0.40. (-- > 1) 2 ( = %%\. 2).
- : ~90 , ~68 -- 8. 3 , , 16 8 . 62 .
- : 8 (~1 ).
3- - _3_:
/. .
- : ..__("") =":{_}" _. .
- (): 8 . : , ._("/3-", ="2_8_", __=, _=.16).
-- . () :
- ~2% .
- .
- 3- . ~14 . -- 8 ~22 .
- , ////., .
1344×768 6 : , , . / 5.2 / 15 (124 / 362 ).
: 2
- : , 4__, 15.7 4 . 32 16 -- ( ). 34–37 ≥ 64 . ~8–16 32 ~8 16 .
- 8 : 3- -- . ≥ 91 16 , ~69 8. 15 5090 8.
- 8 10–20% . . 80% . 4__ .
- -- 16 32 . . , 9 . 16 15 . 32 , 3090 5090 13% 21% ( 27–31 7–9 ).
- 32 . 5090, (0.8 ). 24 , (10–16 ).
- (2, 2): : .
: 2
- : 768 2 ( ). , 5.2 , .
- 8 : 100–125 (80–88 ). ¹ 24 , 15 -- 16384. , .
- : ≥ 64 , _2_. 4 . __ () . 2048 . 3584×2048, 8 . ² 15 . --. : .
- . 2048 , ~14,300 ( 768 ). 37,710 5.2 109,062 15 . . 5.2 , 8 2.6–2.9× 2 5.2–5.8× .
- . 24–36% 2 5.2 7–15% 15 . (), 11–25% 8 5.2 8–9% 15 .
- -- 2. 32 16 5.2 15 , 4% ≥ 64 15 . : .
(8)
- : . 4× , 3.
- 8 : 4× 200 (12.6 ). 8_="" ( 8 ) 12.3 .
- 4- (5.2 ): 0.11–0.16 . 6- 7.8–7.9 4× 200 5.0 4× 200. 3.3–4.0 .
- 1088 (1920×1088, 362 ): 743 1× 200 (106 ). 220 4× 200 (68 /).
3 3 :
- :
- 88 8 (): 180 88 8 .
- (, ) : . 4--8- . ( = ).
(3-)
- (-- ): $$ . . .
- : -- 16 , 2 50 . 4- 91 59 /. 8, 0 (~2 ).
- : , , , . __ _ .
- : 2.0, / (-3.0) /. ().
- : __..
- : 3 3 . _ , . , , , , . .