arch/sparc/lib/rwsem_64.S

   1 /* rwsem.S: RW semaphore assembler.
   2  *
   3  * Written by David S. Miller (davem@redhat.com), 2001.
   4  * Derived from asm-i386/rwsem.h
   5  */
   6
   7 #include <asm/rwsem-const.h>
   8
   9         .section        .sched.text, "ax"
  10
  11         .globl          __down_read
  12 __down_read:
  13 1:      lduw            [%o0], %g1
  14         add             %g1, 1, %g7
  15         cas             [%o0], %g1, %g7
  16         cmp             %g1, %g7
  17         bne,pn          %icc, 1b
  18          add            %g7, 1, %g7
  19         cmp             %g7, 0
  20         bl,pn           %icc, 3f
  21          nop
  22 2:
  23         retl
  24          nop
  25 3:
  26         save            %sp, -192, %sp
  27         call            rwsem_down_read_failed
  28          mov            %i0, %o0
  29         ret
  30          restore
  31         .size           __down_read, .-__down_read
  32
  33         .globl          __down_read_trylock
  34 __down_read_trylock:
  35 1:      lduw            [%o0], %g1
  36         add             %g1, 1, %g7
  37         cmp             %g7, 0
  38         bl,pn           %icc, 2f
  39          mov            0, %o1
  40         cas             [%o0], %g1, %g7
  41         cmp             %g1, %g7
  42         bne,pn          %icc, 1b
  43          mov            1, %o1
  44 2:      retl
  45          mov            %o1, %o0
  46         .size           __down_read_trylock, .-__down_read_trylock
  47
  48         .globl          __down_write
  49 __down_write:
  50         sethi           %hi(RWSEM_ACTIVE_WRITE_BIAS), %g1
  51         or              %g1, %lo(RWSEM_ACTIVE_WRITE_BIAS), %g1
  52 1:
  53         lduw            [%o0], %g3
  54         add             %g3, %g1, %g7
  55         cas             [%o0], %g3, %g7
  56         cmp             %g3, %g7
  57         bne,pn          %icc, 1b
  58          cmp            %g7, 0
  59         bne,pn          %icc, 3f
  60          nop
  61 2:      retl
  62          nop
  63 3:
  64         save            %sp, -192, %sp
  65         call            rwsem_down_write_failed
  66          mov            %i0, %o0
  67         ret
  68          restore
  69         .size           __down_write, .-__down_write
  70
  71         .globl          __down_write_trylock
  72 __down_write_trylock:
  73         sethi           %hi(RWSEM_ACTIVE_WRITE_BIAS), %g1
  74         or              %g1, %lo(RWSEM_ACTIVE_WRITE_BIAS), %g1
  75 1:
  76         lduw            [%o0], %g3
  77         cmp             %g3, 0
  78         bne,pn          %icc, 2f
  79          mov            0, %o1
  80         add             %g3, %g1, %g7
  81         cas             [%o0], %g3, %g7
  82         cmp             %g3, %g7
  83         bne,pn          %icc, 1b
  84          mov            1, %o1
  85 2:      retl
  86          mov            %o1, %o0
  87         .size           __down_write_trylock, .-__down_write_trylock
  88
  89         .globl          __up_read
  90 __up_read:
  91 1:
  92         lduw            [%o0], %g1
  93         sub             %g1, 1, %g7
  94         cas             [%o0], %g1, %g7
  95         cmp             %g1, %g7
  96         bne,pn          %icc, 1b
  97          cmp            %g7, 0
  98         bl,pn           %icc, 3f
  99          nop
 100 2:      retl
 101          nop
 102 3:      sethi           %hi(RWSEM_ACTIVE_MASK), %g1
 103         sub             %g7, 1, %g7
 104         or              %g1, %lo(RWSEM_ACTIVE_MASK), %g1
 105         andcc           %g7, %g1, %g0
 106         bne,pn          %icc, 2b
 107          nop
 108         save            %sp, -192, %sp
 109         call            rwsem_wake
 110          mov            %i0, %o0
 111         ret
 112          restore
 113         .size           __up_read, .-__up_read
 114
 115         .globl          __up_write
 116 __up_write:
 117         sethi           %hi(RWSEM_ACTIVE_WRITE_BIAS), %g1
 118         or              %g1, %lo(RWSEM_ACTIVE_WRITE_BIAS), %g1
 119 1:
 120         lduw            [%o0], %g3
 121         sub             %g3, %g1, %g7
 122         cas             [%o0], %g3, %g7
 123         cmp             %g3, %g7
 124         bne,pn          %icc, 1b
 125          sub            %g7, %g1, %g7
 126         cmp             %g7, 0
 127         bl,pn           %icc, 3f
 128          nop
 129 2:
 130         retl
 131          nop
 132 3:
 133         save            %sp, -192, %sp
 134         call            rwsem_wake
 135          mov            %i0, %o0
 136         ret
 137          restore
 138         .size           __up_write, .-__up_write
 139
 140         .globl          __downgrade_write
 141 __downgrade_write:
 142         sethi           %hi(RWSEM_WAITING_BIAS), %g1
 143         or              %g1, %lo(RWSEM_WAITING_BIAS), %g1
 144 1:
 145         lduw            [%o0], %g3
 146         sub             %g3, %g1, %g7
 147         cas             [%o0], %g3, %g7
 148         cmp             %g3, %g7
 149         bne,pn          %icc, 1b
 150          sub            %g7, %g1, %g7
 151         cmp             %g7, 0
 152         bl,pn           %icc, 3f
 153          nop
 154 2:
 155         retl
 156          nop
 157 3:
 158         save            %sp, -192, %sp
 159         call            rwsem_downgrade_wake
 160          mov            %i0, %o0
 161         ret
 162          restore
 163         .size           __downgrade_write, .-__downgrade_write