basis/cpu/x86/x86.factor

   1 ! Copyright (C) 2005, 2008 Slava Pestov.
   2 ! See http://factorcode.org/license.txt for BSD license.
   3 USING: accessors assocs alien alien.c-types arrays strings
   4 cpu.x86.assembler cpu.x86.assembler.private cpu.architecture
   5 kernel kernel.private math memory namespaces make sequences
   6 words system layouts combinators math.order fry locals
   7 compiler.constants compiler.cfg.registers
   8 compiler.cfg.instructions compiler.codegen
   9 compiler.codegen.fixup ;
  10 IN: cpu.x86
  11
  12 M: x86 two-operand? t ;
  13
  14 HOOK: temp-reg-1 cpu ( -- reg )
  15 HOOK: temp-reg-2 cpu ( -- reg )
  16
  17 M: x86 %load-immediate MOV ;
  18
  19 HOOK: rel-literal-x86 cpu ( literal -- )
  20
  21 M: x86 %load-indirect swap 0 [] MOV rel-literal-x86 ;
  22
  23 HOOK: ds-reg cpu ( -- reg )
  24 HOOK: rs-reg cpu ( -- reg )
  25
  26 : reg-stack ( n reg -- op ) swap cells neg [+] ;
  27
  28 GENERIC: loc>operand ( loc -- operand )
  29
  30 M: ds-loc loc>operand n>> ds-reg reg-stack ;
  31 M: rs-loc loc>operand n>> rs-reg reg-stack ;
  32
  33 M: x86 %peek loc>operand MOV ;
  34 M: x86 %replace loc>operand swap MOV ;
  35 : (%inc) ( n reg -- ) swap cells dup 0 > [ ADD ] [ neg SUB ] if ; inline
  36 M: x86 %inc-d ( n -- ) ds-reg (%inc) ;
  37 M: x86 %inc-r ( n -- ) rs-reg (%inc) ;
  38
  39 : align-stack ( n -- n' )
  40     os macosx? cpu x86.64? or [ 16 align ] when ;
  41
  42 HOOK: reserved-area-size cpu ( -- n )
  43
  44 M: x86 stack-frame-size ( stack-frame -- i )
  45     [ spill-counts>> [ swap reg-size * ] { } assoc>map sum ]
  46     [ params>> ]
  47     [ return>> ]
  48     tri + +
  49     3 cells +
  50     reserved-area-size +
  51     align-stack ;
  52
  53 M: x86 %call ( label -- ) CALL ;
  54 M: x86 %jump-label ( label -- ) JMP ;
  55 M: x86 %return ( -- ) 0 RET ;
  56
  57 : code-alignment ( align -- n )
  58     [ building get [ integer? ] count dup ] dip align swap - ;
  59
  60 : align-code ( n -- )
  61     0 <repetition> % ;
  62
  63 M:: x86 %dispatch ( src temp -- )
  64     ! Load jump table base. We use a temporary register
  65     ! since on AMD64 we have to load a 64-bit immediate. On
  66     ! x86, this is redundant.
  67     ! Add jump table base
  68     temp HEX: ffffffff MOV rc-absolute-cell rel-here
  69     src temp ADD
  70     src HEX: 7f [+] JMP
  71     ! Fix up the displacement above
  72     cell code-alignment dup bootstrap-cell 8 = 15 9 ? +
  73     building get dup pop* push
  74     align-code ;
  75
  76 M: x86 %dispatch-label ( word -- )
  77     0 cell, rc-absolute-cell rel-word ;
  78
  79 :: (%slot) ( obj slot tag temp -- op )
  80     temp slot obj [+] LEA
  81     temp tag neg [+] ; inline
  82
  83 :: (%slot-imm) ( obj slot tag -- op )
  84     obj slot cells tag - [+] ; inline
  85
  86 M: x86 %slot ( dst obj slot tag temp -- ) (%slot) MOV ;
  87 M: x86 %slot-imm ( dst obj slot tag -- ) (%slot-imm) MOV ;
  88 M: x86 %set-slot ( src obj slot tag temp -- ) (%slot) swap MOV ;
  89 M: x86 %set-slot-imm ( src obj slot tag -- ) (%slot-imm) swap MOV ;
  90
  91 M: x86 %add     [+] LEA ;
  92 M: x86 %add-imm [+] LEA ;
  93 M: x86 %sub     nip SUB ;
  94 M: x86 %sub-imm neg [+] LEA ;
  95 M: x86 %mul     nip swap IMUL2 ;
  96 M: x86 %mul-imm nip IMUL2 ;
  97 M: x86 %and     nip AND ;
  98 M: x86 %and-imm nip AND ;
  99 M: x86 %or      nip OR ;
 100 M: x86 %or-imm  nip OR ;
 101 M: x86 %xor     nip XOR ;
 102 M: x86 %xor-imm nip XOR ;
 103 M: x86 %shl-imm nip SHL ;
 104 M: x86 %shr-imm nip SHR ;
 105 M: x86 %sar-imm nip SAR ;
 106 M: x86 %not     drop NOT ;
 107
 108 : bignum@ ( reg n -- op )
 109     cells bignum tag-number - [+] ; inline
 110
 111 M:: x86 %integer>bignum ( dst src temp -- )
 112     #! on entry, inreg is a signed 32-bit quantity
 113     #! exits with tagged ptr to bignum in outreg
 114     #! 1 cell header, 1 cell length, 1 cell sign, + digits
 115     #! length is the # of digits + sign
 116     [
 117         "end" define-label
 118         ! Load cached zero value
 119         dst 0 >bignum %load-indirect
 120         src 0 CMP
 121         ! Is it zero? Then just go to the end and return this zero
 122         "end" get JE
 123         ! Allocate a bignum
 124         dst 4 cells bignum temp %allot
 125         ! Write length
 126         dst 1 bignum@ 2 tag-fixnum MOV
 127         ! Store value
 128         dst 3 bignum@ src MOV
 129         ! Compute sign
 130         temp src MOV
 131         temp cell-bits 1- SAR
 132         temp 1 AND
 133         ! Store sign
 134         dst 2 bignum@ temp MOV
 135         ! Make negative value positive
 136         temp temp ADD
 137         temp NEG
 138         temp 1 ADD
 139         src temp IMUL2
 140         ! Store the bignum
 141         dst 3 bignum@ temp MOV
 142         "end" resolve-label
 143     ] with-scope ;
 144
 145 M:: x86 %bignum>integer ( dst src temp -- )
 146     [
 147         "end" define-label
 148         ! load length
 149         temp src 1 bignum@ MOV
 150         ! if the length is 1, its just the sign and nothing else,
 151         ! so output 0
 152         dst 0 MOV
 153         temp 1 tag-fixnum CMP
 154         "end" get JE
 155         ! load the value
 156         dst src 3 bignum@ MOV
 157         ! load the sign
 158         temp src 2 bignum@ MOV
 159         ! convert it into -1 or 1
 160         temp temp ADD
 161         temp NEG
 162         temp 1 ADD
 163         ! make dst signed
 164         temp dst IMUL2
 165         "end" resolve-label
 166     ] with-scope ;
 167
 168 M: x86 %add-float nip ADDSD ;
 169 M: x86 %sub-float nip SUBSD ;
 170 M: x86 %mul-float nip MULSD ;
 171 M: x86 %div-float nip DIVSD ;
 172
 173 M: x86 %integer>float CVTSI2SD ;
 174 M: x86 %float>integer CVTTSD2SI ;
 175
 176 : ?MOV ( dst src -- )
 177     2dup = [ 2drop ] [ MOV ] if ; inline
 178
 179 M: x86 %copy ( dst src -- ) ?MOV ;
 180
 181 M: x86 %copy-float ( dst src -- )
 182     2dup = [ 2drop ] [ MOVSD ] if ;
 183
 184 M: x86 %unbox-float ( dst src -- )
 185     float-offset [+] MOVSD ;
 186
 187 M:: x86 %unbox-any-c-ptr ( dst src temp -- )
 188     [
 189         { "is-byte-array" "end" "start" } [ define-label ] each
 190         dst 0 MOV
 191         temp src MOV
 192         ! We come back here with displaced aliens
 193         "start" resolve-label
 194         ! Is the object f?
 195         temp \ f tag-number CMP
 196         "end" get JE
 197         ! Is the object an alien?
 198         temp header-offset [+] alien type-number tag-fixnum CMP
 199         "is-byte-array" get JNE
 200         ! If so, load the offset and add it to the address
 201         dst temp alien-offset [+] ADD
 202         ! Now recurse on the underlying alien
 203         temp temp underlying-alien-offset [+] MOV
 204         "start" get JMP
 205         "is-byte-array" resolve-label
 206         ! Add byte array address to address being computed
 207         dst temp ADD
 208         ! Add an offset to start of byte array's data
 209         dst byte-array-offset ADD
 210         "end" resolve-label
 211     ] with-scope ;
 212
 213 M:: x86 %box-float ( dst src temp -- )
 214     dst 16 float temp %allot
 215     dst float-offset [+] src MOVSD ;
 216
 217 : alien@ ( reg n -- op ) cells alien tag-number - [+] ;
 218
 219 M:: x86 %box-alien ( dst src temp -- )
 220     [
 221         "end" define-label
 222         dst \ f tag-number MOV
 223         src 0 CMP
 224         "end" get JE
 225         dst 4 cells alien temp %allot
 226         dst 1 alien@ \ f tag-number MOV
 227         dst 2 alien@ \ f tag-number MOV
 228         ! Store src in alien-offset slot
 229         dst 3 alien@ src MOV
 230         "end" resolve-label
 231     ] with-scope ;
 232
 233 : small-reg-4 ( reg -- reg' )
 234     H{
 235         { EAX EAX }
 236         { ECX ECX }
 237         { EDX EDX }
 238         { EBX EBX }
 239         { ESP ESP }
 240         { EBP EBP }
 241         { ESI ESP }
 242         { EDI EDI }
 243
 244         { RAX EAX }
 245         { RCX ECX }
 246         { RDX EDX }
 247         { RBX EBX }
 248         { RSP ESP }
 249         { RBP EBP }
 250         { RSI ESP }
 251         { RDI EDI }
 252     } at ; inline
 253
 254 : small-reg-2 ( reg -- reg' )
 255     small-reg-4 H{
 256         { EAX AX }
 257         { ECX CX }
 258         { EDX DX }
 259         { EBX BX }
 260         { ESP SP }
 261         { EBP BP }
 262         { ESI SI }
 263         { EDI DI }
 264     } at ; inline
 265
 266 : small-reg-1 ( reg -- reg' )
 267     small-reg-4 {
 268         { EAX AL }
 269         { ECX CL }
 270         { EDX DL }
 271         { EBX BL }
 272     } at ; inline
 273
 274 : small-reg ( reg size -- reg' )
 275     {
 276         { 1 [ small-reg-1 ] }
 277         { 2 [ small-reg-2 ] }
 278         { 4 [ small-reg-4 ] }
 279     } case ;
 280
 281 : small-regs ( -- regs ) { EAX ECX EDX EBX } ; inline
 282
 283 : small-reg-that-isn't ( exclude -- reg' )
 284     small-regs swap [ small-reg-4 ] map '[ _ memq? not ] find nip ;
 285
 286 : with-save/restore ( reg quot -- )
 287     [ drop PUSH ] [ call ] [ drop POP ] 2tri ; inline
 288
 289 :: with-small-register ( dst exclude quot: ( new-dst -- ) -- )
 290     #! If the destination register overlaps a small register, we
 291     #! call the quot with that. Otherwise, we find a small
 292     #! register that is not in exclude, and call quot, saving
 293     #! and restoring the small register.
 294     dst small-reg-4 small-regs memq? [ dst quot call ] [
 295         exclude small-reg-that-isn't
 296         [ quot call ] with-save/restore
 297     ] if ; inline
 298
 299 M:: x86 %string-nth ( dst src index temp -- )
 300     "end" define-label
 301     dst { src index temp } [| new-dst |
 302         temp src index [+] LEA
 303         new-dst 1 small-reg temp string-offset [+] MOV
 304         new-dst new-dst 1 small-reg MOVZX
 305         temp src string-aux-offset [+] MOV
 306         temp \ f tag-number CMP
 307         "end" get JE
 308         new-dst temp XCHG
 309         new-dst index ADD
 310         new-dst index ADD
 311         new-dst 2 small-reg new-dst byte-array-offset [+] MOV
 312         new-dst new-dst 2 small-reg MOVZX
 313         new-dst 8 SHL
 314         new-dst temp OR
 315         "end" resolve-label
 316         dst new-dst ?MOV
 317     ] with-small-register ;
 318
 319 :: %alien-integer-getter ( dst src size quot -- )
 320     dst { src } [| new-dst |
 321         new-dst dup size small-reg dup src [] MOV
 322         quot call
 323         dst new-dst ?MOV
 324     ] with-small-register ; inline
 325
 326 : %alien-unsigned-getter ( dst src size -- )
 327     [ MOVZX ] %alien-integer-getter ; inline
 328
 329 M: x86 %alien-unsigned-1 1 %alien-unsigned-getter ;
 330 M: x86 %alien-unsigned-2 2 %alien-unsigned-getter ;
 331
 332 : %alien-signed-getter ( dst src size -- )
 333     [ MOVSX ] %alien-integer-getter ; inline
 334
 335 M: x86 %alien-signed-1 1 %alien-signed-getter ;
 336 M: x86 %alien-signed-2 2 %alien-signed-getter ;
 337 M: x86 %alien-signed-4 4 %alien-signed-getter ;
 338
 339 M: x86 %alien-unsigned-4 4 [ 2drop ] %alien-integer-getter ;
 340
 341 M: x86 %alien-cell [] MOV ;
 342 M: x86 %alien-float dupd [] MOVSS dup CVTSS2SD ;
 343 M: x86 %alien-double [] MOVSD ;
 344
 345 :: %alien-integer-setter ( ptr value size -- )
 346     value { ptr } [| new-value |
 347         new-value value ?MOV
 348         ptr [] new-value size small-reg MOV
 349     ] with-small-register ; inline
 350
 351 M: x86 %set-alien-integer-1 1 %alien-integer-setter ;
 352 M: x86 %set-alien-integer-2 2 %alien-integer-setter ;
 353 M: x86 %set-alien-integer-4 4 %alien-integer-setter ;
 354 M: x86 %set-alien-cell [ [] ] dip MOV ;
 355 M: x86 %set-alien-float dup dup CVTSD2SS [ [] ] dip MOVSS ;
 356 M: x86 %set-alien-double [ [] ] dip MOVSD ;
 357
 358 : load-zone-ptr ( reg -- )
 359     #! Load pointer to start of zone array
 360     0 MOV "nursery" f rc-absolute-cell rel-dlsym ;
 361
 362 : load-allot-ptr ( nursery-ptr allot-ptr -- )
 363     [ drop load-zone-ptr ] [ swap cell [+] MOV ] 2bi ;
 364
 365 : inc-allot-ptr ( nursery-ptr n -- )
 366     [ cell [+] ] dip 8 align ADD ;
 367
 368 : store-header ( temp class -- )
 369     [ [] ] [ type-number tag-fixnum ] bi* MOV ;
 370
 371 : store-tagged ( dst tag -- )
 372     tag-number OR ;
 373
 374 M:: x86 %allot ( dst size class nursery-ptr -- )
 375     nursery-ptr dst load-allot-ptr
 376     dst class store-header
 377     dst class store-tagged
 378     nursery-ptr size inc-allot-ptr ;
 379
 380 HOOK: %alien-global cpu ( symbol dll register -- )
 381
 382 M:: x86 %write-barrier ( src card# table -- )
 383     #! Mark the card pointed to by vreg.
 384     ! Mark the card
 385     card# src MOV
 386     card# card-bits SHR
 387     "cards_offset" f table %alien-global
 388     table card# [+] card-mark <byte> MOV
 389
 390     ! Mark the card deck
 391     card# deck-bits card-bits - SHR
 392     "decks_offset" f table %alien-global
 393     table card# [+] card-mark <byte> MOV ;
 394
 395 M: x86 %gc ( -- )
 396     "end" define-label
 397     temp-reg-1 load-zone-ptr
 398     temp-reg-2 temp-reg-1 cell [+] MOV
 399     temp-reg-2 1024 ADD
 400     temp-reg-1 temp-reg-1 3 cells [+] MOV
 401     temp-reg-2 temp-reg-1 CMP
 402     "end" get JLE
 403     %prepare-alien-invoke
 404     "minor_gc" f %alien-invoke
 405     "end" resolve-label ;
 406
 407 HOOK: stack-reg cpu ( -- reg )
 408
 409 : decr-stack-reg ( n -- )
 410     dup 0 = [ drop ] [ stack-reg swap SUB ] if ;
 411
 412 : incr-stack-reg ( n -- )
 413     dup 0 = [ drop ] [ stack-reg swap ADD ] if ;
 414
 415 M: x86 %epilogue ( n -- ) cell - incr-stack-reg ;
 416
 417 : %boolean ( dst word -- )
 418     over \ f tag-number MOV
 419     0 [] swap execute
 420     \ t rel-literal-x86 ; inline
 421
 422 M: x86 %compare ( dst cc src1 src2 -- )
 423     CMP {
 424         { cc< [ \ CMOVL %boolean ] }
 425         { cc<= [ \ CMOVLE %boolean ] }
 426         { cc> [ \ CMOVG %boolean ] }
 427         { cc>= [ \ CMOVGE %boolean ] }
 428         { cc= [ \ CMOVE %boolean ] }
 429         { cc/= [ \ CMOVNE %boolean ] }
 430     } case ;
 431
 432 M: x86 %compare-imm ( dst cc src1 src2 -- )
 433     %compare ;
 434
 435 M: x86 %compare-float ( dst cc src1 src2 -- )
 436     UCOMISD {
 437         { cc< [ \ CMOVB %boolean ] }
 438         { cc<= [ \ CMOVBE %boolean ] }
 439         { cc> [ \ CMOVA %boolean ] }
 440         { cc>= [ \ CMOVAE %boolean ] }
 441         { cc= [ \ CMOVE %boolean ] }
 442         { cc/= [ \ CMOVNE %boolean ] }
 443     } case ;
 444
 445 M: x86 %compare-branch ( label cc src1 src2 -- )
 446     CMP {
 447         { cc< [ JL ] }
 448         { cc<= [ JLE ] }
 449         { cc> [ JG ] }
 450         { cc>= [ JGE ] }
 451         { cc= [ JE ] }
 452         { cc/= [ JNE ] }
 453     } case ;
 454
 455 M: x86 %compare-imm-branch ( label src1 src2 cc -- )
 456     %compare-branch ;
 457
 458 M: x86 %compare-float-branch ( label cc src1 src2 -- )
 459     UCOMISD {
 460         { cc< [ JB ] }
 461         { cc<= [ JBE ] }
 462         { cc> [ JA ] }
 463         { cc>= [ JAE ] }
 464         { cc= [ JE ] }
 465         { cc/= [ JNE ] }
 466     } case ;
 467
 468 : stack@ ( n -- op ) stack-reg swap [+] ;
 469
 470 : param@ ( n -- op ) reserved-area-size + stack@ ;
 471
 472 : spill-integer-base ( stack-frame -- n )
 473     [ params>> ] [ return>> ] bi + reserved-area-size + ;
 474
 475 : spill-integer@ ( n -- op )
 476     cells
 477     stack-frame get spill-integer-base
 478     + stack@ ;
 479
 480 : spill-float-base ( stack-frame -- n )
 481     [ spill-integer-base ]
 482     [ spill-counts>> int-regs swap at int-regs reg-size * ]
 483     bi + ;
 484
 485 : spill-float@ ( n -- op )
 486     double-float-regs reg-size *
 487     stack-frame get spill-float-base
 488     + stack@ ;
 489
 490 M: x86 %spill-integer ( src n -- ) spill-integer@ swap MOV ;
 491 M: x86 %reload-integer ( dst n -- ) spill-integer@ MOV ;
 492
 493 M: x86 %spill-float ( src n -- ) spill-float@ swap MOVSD ;
 494 M: x86 %reload-float ( dst n -- ) spill-float@ MOVSD ;
 495
 496 M: x86 %loop-entry 16 code-alignment [ NOP ] times ;
 497
 498 M: int-regs %save-param-reg drop >r param@ r> MOV ;
 499 M: int-regs %load-param-reg drop swap param@ MOV ;
 500
 501 GENERIC: MOVSS/D ( dst src reg-class -- )
 502
 503 M: single-float-regs MOVSS/D drop MOVSS ;
 504 M: double-float-regs MOVSS/D drop MOVSD ;
 505
 506 M: float-regs %save-param-reg >r >r param@ r> r> MOVSS/D ;
 507 M: float-regs %load-param-reg >r swap param@ r> MOVSS/D ;
 508
 509 GENERIC: push-return-reg ( reg-class -- )
 510 GENERIC: load-return-reg ( n reg-class -- )
 511 GENERIC: store-return-reg ( n reg-class -- )
 512
 513 M: x86 %prepare-alien-invoke
 514     #! Save Factor stack pointers in case the C code calls a
 515     #! callback which does a GC, which must reliably trace
 516     #! all roots.
 517     "stack_chain" f temp-reg-1 %alien-global
 518     temp-reg-1 [] stack-reg MOV
 519     temp-reg-1 [] cell SUB
 520     temp-reg-1 2 cells [+] ds-reg MOV
 521     temp-reg-1 3 cells [+] rs-reg MOV ;
 522
 523 M: x86 value-structs? t ;
 524
 525 M: x86 small-enough? ( n -- ? )
 526     HEX: -80000000 HEX: 7fffffff between? ;
 527
 528 : next-stack@ ( n -- operand )
 529     #! nth parameter from the next stack frame. Used to box
 530     #! input values to callbacks; the callback has its own
 531     #! stack frame set up, and we want to read the frame
 532     #! set up by the caller.
 533     stack-frame get total-size>> + stack@ ;