Understanding Positional Embeddings in Modern LLMs
. , , . , , .
, 2026 . .
/ ? , , . , , .
, , ( ) . , ,
- ;
- () ;
- .
( ). , , , , , :
. , . , .
: “” . , .
: , 6, .
. , .
. . , . “” ( ). . , ( ) .
-2 ( ) 3 ( ; ). , , , ( ) ; .
, , . . , , -2 . , 3 .
, , .
:
- “ .”
- “ .”
, .
, . ( , .) , 0 7.
( , .)
“”, , 2 . , , .
, ( ), . , , “” “”, .
() , . , . , “” “” “” . , . ( “” .)
, -2 . , , . , ( ), .
, , , .
( ). , .
( “”) . , , . .
, , -2 . -2 . , , .
, .., . -2 :
, . .
- ,
- ,
- .
, . 6 .
, 0, [1, 1, 1] [1.1, 1.2, 1.3] [2.1, 2.2, 2.3]. , ; , () .
, . , “” , 2 7, . , , , .
-2 1,024 . 1024 . , . () , .
. , -2 , 0.30% 1,024 . , 100 , >22% , .
“ ” 2017, , , . 7 . , . ( .)
√() , .
, -2
( 7) :
√() , , , , , .
-2 , -2 0.02 0.01 .
, .
, :
, . .
, . , 8 ( = 8) 0 7. ( 512 1024 , 8, .) 0 3.
, 2 2 + 1 .
, , , 2 , 2 + 1, , :
10 8- = 2.
, 1, 0.1, 0.01, 0.001 . 2, 1 ( 2, 2) ≈ (0.909, −0.416).
, 2, , ( 0.2, 0.2) ≈ (0.199, 0.980).
, .
, ( ) -2 .
-2 , . , -2 , . (, , 1024, , .)
, 12 .
, , .
, . . , 2 5 102 105 3, .
:
“... , , + .”
, “ .”
13 / . , .
, .
, , 2 5 2 5. 102 105, . .
. .
, , , . , . 2021 , .
, , , . . , . , , , , :
. . 14 3, .
, . .
: 3 , “ ” 6.1. , .
, , , . , ( ). , . .
, 12 , . , 16 , . , , ( ).
, [1, 2, 3, 4, 5, 6, 7, 8], . (1, 5), (2, 6), (3, 7), (4, 8). , 3 . ( , .)
θ. . 16 , , .
() .
, . “” = 5, “” = 2. , , , .
, , , (1, 5).
, , θ = 20° (π/9 ). 2, 2 × 20° = 40°. 5, 5 × 20° = 100°.
, , 40° ≈ 0.766 40° ≈ 0.643 16 :
, 40° 100°, , ′ ≈ (−5.098, 0.117). √26. .
, (, ) , .
, θ.
( 4 .)
, , , :
:
4 8- ( ) (), . ( .)
, , , 4 , (1, 5), (2, 6), . , (1, 5), 0 4:
, , (1, 5) .
, , =(1, 2) =(1, 2) . , , :
, 1 × 1 + 5 × 5 = 26. 18 :
( 18) ϕ .
, √26. ( 5) 100° ( 2) 40°. () , 60° . 26 × (60°) = 13.
2 3, (1, 5) . 2 × 20° = 40° 3 × 20° = 60°. 100°, 40° 13 26 × (40°) ≈ 19.92. , .
? , . .
, ′ ′ ′ ′ , , .
, , = 5 = 2. , = 8 = 5. 60° ( 100° 160°, 40° 100°), , . 13.
, . , . 20 (20° ) .
20 . . , . , .
, 21, . 5, “”, 2, “”, .
, ? “ .” 100 (.., ) , “” “” 2 5 102 105. , , . , () , ( ; , 100 ).
22 . . , 13 .
, , / . ( ) .
23 .
, . . ( .)
24 17 . , .
24 ′ ( ). , ′ .
3.3. (, ), = (θ) = (θ). :
25 , ′ = .
(”” ) (”” ). .
, , , /2 :
- ( ).
- ; 0 /2−1.
- () .
- θ ‘ .
= 10,000, .
, = 8 = 10,000, [1, 0.1, 0.01, 0.001] .
, 3 .
, , . , 6, .
, , ( , ). , , .
, 8- 24. , .
, 20° . , 4 , θ = −2/, = 8 = 10,000.
26 .
, , _ , “” . , , _ , .
_ 2 4:
, [0, 2, 4, 6], , 2 . = 10,000. , = 8. , _ θ = −2/ :
, _ θ ( ) .
, θ , θ. , = [2], :
, _ , . , . 2 , (1, 4), :
26, 2 , . 27 .
, _ , .
, _ 1,024 1024, 128, , , (1024, 64) 128 64 .
, (1024, 64) . , 32 , 0 2 32 . , . , , , . , () .
, ; .
, __ .
8- , . [1, 2, 3, 4] [5, 6, 7, 8] . , (1, 5), (2, 6), . . 3.3:
, , . . ′, ′ .
, , ..
26. (1, 1, 1, 8) : , , , .
, . , .
, . , . , 8- . , , , , 3 , , .
. (1, 2, 4, 4), , , , 44 .
, , , . (1, 2, 4, 8); 4 , 8 8.
, 3 :
. , ( , , , , .)
, 28 8- .
, .
, . , [1, 2, 3, 4, 5, 6, 7, 8] [1, 5, 2, 6, 3, 7, 4, 8] (1, 5), (2, 6), . , .
, . .
() . , , 100% .
, , . , .
.
, , , .
, “” . , .
, 3’ 64 128- . 32 64 . .
, .
, ? . , 3 , . , , 64 , 32 . , .
3’ 1 , 64 128 , 0.134 (128 ) 16. 4, 0.038 (36 ), .
1 8 , , ? 10% . , .
, , .
. , . .
, . 30, 2 , , . 1 .
, ? .
1 0 . , 1. , .
, 1, 0, 0, 1/3. , 1/4. , , .
? 107 , , .
, , . 1.3 . , , , .
. , , , .
, 3 (3 ) , 36 . , 3 .
( , , , , .)
, . , . , . .
, “ .” ( , !) , “” 5 “” 2 . “” , .
. 5 ( ) 2019, .
, , : ? ?
, 2025 2026 . , .
35 , . , 2025 2026, 2026, .
, . , .
. “” 7 (2025) (2026). . , 6.3.
, 2025 2026. 2025 2026 , 36.
2026 , 37 2026 . .
, , -2 . , , . , .
, , 5 . , .
, , , 2027 . , , 2027.
“”, ( ) , , “” .
, -2- , . , ( ).
-2- , ( ) .
-2 , , :
- , , : , , ,
- (, , , , ):
- .
- ( ): -2 :
- .
- (): : , ,
- 3: 3 .
!
: “” . , .