9:41

Understanding Positional Embeddings in Modern LLMs

. , , . , , .

, 2026 . .

/ ? , , . , , .

, , ( ) . , ,

  • ;
  • () ;
  • .

( ). , , , , , :

. , . , .

: “” . , .

: , 6, .

. , .

. . , . “” ( ). . , ( ) .

-2 ( ) 3 ( ; ). , , , ( ) ; .

, , . . , , -2 . , 3 .

, , .

:

  • “ .”
  • “ .”

, .

, . ( , .) , 0 7.

( , .)

“”, , 2 . , , .

, ( ), . , , “” “”, .

() , . , . , “” “” “” . , . ( “” .)

, -2 . , , . , ( ), .

, , , .

( ). , .

( “”) . , , . .

, , -2 . -2 . , , .

, .., . -2 :

, . .

,

  • ,
  • ,
  • .

, . 6 .

, 0, [1, 1, 1] [1.1, 1.2, 1.3] [2.1, 2.2, 2.3]. , ; , () .

, . , “” , 2 7, . , , , .

-2 1,024 . 1024 . , . () , .

. , -2 , 0.30% 1,024 . , 100 , >22% , .

“ ” 2017, , , . 7 . , . ( .)

√() , .

, -2

( 7) :

√() , , , , , .

-2 , -2 0.02 0.01 .

, .

, :

, . .

, . , 8 ( = 8) 0 7. ( 512 1024 , 8, .) 0 3.

, 2 2 + 1 .

, , , 2 , 2 + 1, , :

10 8- = 2.

, 1, 0.1, 0.01, 0.001 . 2, 1 ( 2, 2) ≈ (0.909, −0.416).

, 2, , ( 0.2, 0.2) ≈ (0.199, 0.980).

, .

, ( ) -2 .

-2 , . , -2 , . (, , 1024, , .)

, 12 .

, , .

, . . , 2 5 102 105 3, .

:

“... , , + .”

, “ .”

13 / . , .

, .

, , 2 5 2 5. 102 105, . .

. .

, , , . , . 2021 , .

, , , . . , . , , , , :

. . 14 3, .

, . .

: 3 , “ ” 6.1. , .

, , , . , ( ). , . .

, 12 , . , 16 , . , , ( ).

, [1, 2, 3, 4, 5, 6, 7, 8], . (1, 5), (2, 6), (3, 7), (4, 8). , 3 . ( , .)

θ. . 16 , , .

() .

, . “” = 5, “” = 2. , , , .

, , , (1, 5).

, , θ = 20° (π/9 ). 2, 2 × 20° = 40°. 5, 5 × 20° = 100°.

, , 40° ≈ 0.766 40° ≈ 0.643 16 :

, 40° 100°, , ′ ≈ (−5.098, 0.117). √26. .

, (, ) , .

, θ.

( 4 .)

, , , :

:

4 8- ( ) (), . ( .)

, , , 4 , (1, 5), (2, 6), . , (1, 5), 0 4:

, , (1, 5) .

, , =(1, 2) =(1, 2) . , , :

, 1 × 1 + 5 × 5 = 26. 18 :

( 18) ϕ .

, √26. ( 5) 100° ( 2) 40°. () , 60° . 26 × (60°) = 13.

2 3, (1, 5) . 2 × 20° = 40° 3 × 20° = 60°. 100°, 40° 13 26 × (40°) ≈ 19.92. , .

? , . .

, ′ ′ ′ ′ , , .

, , = 5 = 2. , = 8 = 5. 60° ( 100° 160°, 40° 100°), , . 13.

, . , . 20 (20° ) .

20 . . , . , .

, 21, . 5, “”, 2, “”, .

, ? “ .” 100 (.., ) , “” “” 2 5 102 105. , , . , () , ( ; , 100 ).

22 . . , 13 .

, , / . ( ) .

23 .

, . . ( .)

24 17 . , .

24 ′ ( ). , ′ .

3.3. (, ), = (θ) = (θ). :

25 , ′ = .

(”” ) (”” ). .

, , , /2 :

,

  • ( ).
  • ; 0 /2−1.
  • () .
  • θ ‘ .

= 10,000, .

, = 8 = 10,000, [1, 0.1, 0.01, 0.001] .

, 3 .

, , . , 6, .

, , ( , ). , , .

, 8- 24. , .

, 20° . , 4 , θ = −2/, = 8 = 10,000.

26 .

, , _ , “” . , , _ , .

_ 2 4:

, [0, 2, 4, 6], , 2 . = 10,000. , = 8. , _ θ = −2/ :

, _ θ ( ) .

, θ , θ. , = [2], :

, _ , . , . 2 , (1, 4), :

26, 2 , . 27 .

, _ , .

, _ 1,024 1024, 128, , , (1024, 64) 128 64 .

, (1024, 64) . , 32 , 0 2 32 . , . , , , . , () .

, ; .

, __ .

8- , . [1, 2, 3, 4] [5, 6, 7, 8] . , (1, 5), (2, 6), . . 3.3:

, , . . ′, ′ .

, , ..

26. (1, 1, 1, 8) : , , , .

, . , .

, . , . , 8- . , , , , 3 , , .

. (1, 2, 4, 4), , , , 44 .

, , , . (1, 2, 4, 8); 4 , 8 8.

, 3 :

. , ( , , , , .)

, 28 8- .

, .

, . , [1, 2, 3, 4, 5, 6, 7, 8] [1, 5, 2, 6, 3, 7, 4, 8] (1, 5), (2, 6), . , .

, . .

() . , , 100% .

, , . , .

.

, , , .

, “” . , .

, 3’ 64 128- . 32 64 . .

, .

, ? . , 3 , . , , 64 , 32 . , .

3’ 1 , 64 128 , 0.134 (128 ) 16. 4, 0.038 (36 ), .

1 8 , , ? 10% . , .

, , .

. , . .

, . 30, 2 , , . 1 .

, ? .

1 0 . , 1. , .

, 1, 0, 0, 1/3. , 1/4. , , .

? 107 , , .

, , . 1.3 . , , , .

. , , , .

, 3 (3 ) , 36 . , 3 .

( , , , , .)

, . , . , . .

, “ .” ( , !) , “” 5 “” 2 . “” , .

. 5 ( ) 2019, .

, , : ? ?

, 2025 2026 . , .

35 , . , 2025 2026, 2026, .

, . , .

. “” 7 (2025) (2026). . , 6.3.

, 2025 2026. 2025 2026 , 36.

2026 , 37 2026 . .

, , -2 . , , . , .

, , 5 . , .

, , , 2027 . , , 2027.

“”, ( ) , , “” .

, -2- , . , ( ).

-2- , ( ) .

-2 , , :

  • , , : , , ,
  • (, , , , ):
  • .
  • ( ): -2 :
  • .
  • (): : , ,
  • 3: 3 .

!

: “” . , .