I'm making LLMs work on small and old devices
. , , , . : , , . .
#1 (3 ): 7, 4× 55 @ 2.5 , 1.9 ( 1 ), , 14, . , 260 16 :
- 3.5-0.8: 16.8 / (2.2× 7.5; 11-05, §17).
- 3.5-2: 7.7 / . ~10 % , : §16 +11 %, §17 +7 %.
- 8 (-81): 7.2 / , (§19).
- 1- 8 (-8): 5.2 / , 1.2: "" (§19).
- 16 (-2.0): 5.1 / , 600- , (§20). , : .
- 9 : 0.27 /, .
#2 (2013): 7, 2 , , 1 , 12.5.7, , . 13- 1.7 24-26 / (18-22 ), 4 10 /, 8 3.5 / (5 , ), 16 2.6-4.5 /, , . #2.
. (1-160).
. 1- , ; ; .
" " :
- 0.8: 4__ .
- 2: , . 4.8, ×1.6.
- 4: , .
- 8 : 0.1 .
- 8 : , .
- 16: , .
, 2 . -2.0 : , .
, ( ):
#1
22 , ( ). , ("") ("").
* (1.3 % ), ; 4_0 1.024.
, (, §15 54):
4.0 1 2 . (62), 5.29 /, 2 6.55 : 0.8 .
: ~0.96 (~1.15 , ), 278 /, ~1 ~6 . 278 / . , , 2, , ~1 8 , .
10 / 8 ? , (98): 10.4 / 2 , ; ~7-8 /. 3-8 -8 1 , (353) 3× .
#2
2013 : 7, 2 , , 1 , 12.5.7, . 2 1,024- , . §21 ., /..
. .
" ": 12 1.7 , . 2.6 5.5 . " " ( 8, ).
, :
-1.7 2.75 25 / ( ):
(400- ), 15.4 / 7.6 / 8.2 21.8 / 17.9 / 18.4 / . 17 +0.42 % 1,024 , ±0.3 % ; __=0.0001 15 /.
8 , . 12 1.7 (1.3 ), -8 2.6 , (§21.7). -8 0.08 / . , 474 , 14 , . . (+0.3 % , ) 2.4-2.8 / 600 (§21.8). 2 (§21.9) , , 2_: 3.4 /, 40× 8, +0.7 % . : 53 266 /. , 16 . 3 (§21.10) , 3.5 / . 5 / 4 8 (+27 % ); . 16 (§21.11): -2.0, 16.3 256 , 2.6 / , 3.3 +2.6 % 4.5 , 580 . 5.5 , . , (+3 % ).
. 1- ( ). 700 : 1- , , 4 512- . . 2-3 .
55 (8.2 , 8), . 0.8.0, :
- : ~49-66 , , 7 . −. 0.2-0.5 ~1 % .
- (__): . .
(/. |): , , , (17 % ) . , . ~1000 → ~1300 . (/.) ~25 10 % .
(/.):
- : , _ ; (43 128 ) . . , .
- (__): 13 % ~2 % ( 2412.00099 ). (__=6) .
- , : +2' , (, ), ~60 % .
- , : 2- ~250-300 , . ( ); 1.15 256 12/13 1/13 (99, 100).
(/.):
- : . " ".
- : . 8 _ ' , 278 /.
- : , , .
- : .
- : __=1 . , 48 50.
- : , 2 , (+69 %). 2 (31).
( ): _=1 , _=2 , (/.), __ / __ . (57): ~71 % 4_ , ~2 .
- : , , → → .
- : .
- : .
- , (/.), .
: ( 8.2 ) , , ( 64 ), + , 3, ( ).
//// . ( ), . . - //// .
: ,
(0.5-4 ) . /. , /_. . -256 . 4, -8 9 .
. . . ; . . :
/<> -- /, /////, -*. . 08 / 2 / 4 / / 8 / . 8 16 , .
. , , . , : 12 (/), . . ; ' . 53 (108-160, §21):
/ /_. (3.5 ) /__. ( , ), /_. ( + ).
- 2 4 1-2 . ~2.5 (22, 23, 35). 1- , 4-8 .
- , . : . .
- . , .
- , . ; , , .
- . 3.5-0.8 248 ; 65 4_ 7.5 12.1 / (55). 4 (+7 % +2.3 % 2).
- . (58) (60) ; .
- , . 20 % 2.5× ; 4 33 % (76, 77). 4- , (27), 2 0.8.
- . 2 (65,668 , ~10 % ) 8; +5.8 % (71, 72). .
- , . ( ) -8 : 1.2 → 3.6 / (80). 25 10-15 % (82, 88).
- , . ~6 ; 4.4 7.2 /.
- . ; 2- 12 13 . (/_.), , .
- 9, , . . -2.0 (16) 279 5 /; 3.6-353 ~870 (§20).
- . , 180 .
. . . (). , ( 4.0).
. 2.. , ( ), (), () 260. ( 4.0). 🤏 ( 2.0).