arch/sparc/lib/memset.S

   1 /* linux/arch/sparc/lib/memset.S: Sparc optimized memset, bzero and clear_user code
   2  * Copyright (C) 1991,1996 Free Software Foundation
   3  * Copyright (C) 1996,1997 Jakub Jelinek (jj@sunsite.mff.cuni.cz)
   4  * Copyright (C) 1996 David S. Miller (davem@caip.rutgers.edu)
   5  *
   6  * Returns 0, if ok, and number of bytes not yet set if exception
   7  * occurs and we were called as clear_user.
   8  */
   9
  10 #include <asm/ptrace.h>
  11
  12 /* Work around cpp -rob */
  13 #define ALLOC #alloc
  14 #define EXECINSTR #execinstr
  15 #define EX(x,y,a,b)                             \
  16 98:     x,y;                                    \
  17         .section .fixup,ALLOC,EXECINSTR;        \
  18         .align  4;                              \
  19 99:     ba 30f;                                 \
  20          a, b, %o0;                             \
  21         .section __ex_table,ALLOC;              \
  22         .align  4;                              \
  23         .word   98b, 99b;                       \
  24         .text;                                  \
  25         .align  4
  26
  27 #define EXT(start,end,handler)                  \
  28         .section __ex_table,ALLOC;              \
  29         .align  4;                              \
  30         .word   start, 0, end, handler;         \
  31         .text;                                  \
  32         .align  4
  33
  34 /* Please don't change these macros, unless you change the logic
  35  * in the .fixup section below as well.
  36  * Store 64 bytes at (BASE + OFFSET) using value SOURCE. */
  37 #define ZERO_BIG_BLOCK(base, offset, source)    \
  38         std     source, [base + offset + 0x00]; \
  39         std     source, [base + offset + 0x08]; \
  40         std     source, [base + offset + 0x10]; \
  41         std     source, [base + offset + 0x18]; \
  42         std     source, [base + offset + 0x20]; \
  43         std     source, [base + offset + 0x28]; \
  44         std     source, [base + offset + 0x30]; \
  45         std     source, [base + offset + 0x38];
  46
  47 #define ZERO_LAST_BLOCKS(base, offset, source)  \
  48         std     source, [base - offset - 0x38]; \
  49         std     source, [base - offset - 0x30]; \
  50         std     source, [base - offset - 0x28]; \
  51         std     source, [base - offset - 0x20]; \
  52         std     source, [base - offset - 0x18]; \
  53         std     source, [base - offset - 0x10]; \
  54         std     source, [base - offset - 0x08]; \
  55         std     source, [base - offset - 0x00];
  56
  57         .text
  58         .align 4
  59
  60         .globl  __bzero_begin
  61 __bzero_begin:
  62
  63         .globl  __bzero, __memset,
  64         .globl  memset
  65         .globl  __memset_start, __memset_end
  66 __memset_start:
  67 __memset:
  68 memset:
  69         and     %o1, 0xff, %g3
  70         sll     %g3, 8, %g2
  71         or      %g3, %g2, %g3
  72         sll     %g3, 16, %g2
  73         or      %g3, %g2, %g3
  74         b       1f
  75          mov    %o2, %o1
  76 3:
  77         cmp     %o2, 3
  78         be      2f
  79          EX(stb %g3, [%o0], sub %o1, 0)
  80
  81         cmp     %o2, 2
  82         be      2f
  83          EX(stb %g3, [%o0 + 0x01], sub %o1, 1)
  84
  85         EX(stb  %g3, [%o0 + 0x02], sub %o1, 2)
  86 2:
  87         sub     %o2, 4, %o2
  88         add     %o1, %o2, %o1
  89         b       4f
  90          sub    %o0, %o2, %o0
  91
  92 __bzero:
  93         mov     %g0, %g3
  94 1:
  95         cmp     %o1, 7
  96         bleu    7f
  97          andcc  %o0, 3, %o2
  98
  99         bne     3b
 100 4:
 101          andcc  %o0, 4, %g0
 102
 103         be      2f
 104          mov    %g3, %g2
 105
 106         EX(st   %g3, [%o0], sub %o1, 0)
 107         sub     %o1, 4, %o1
 108         add     %o0, 4, %o0
 109 2:
 110         andcc   %o1, 0xffffff80, %o3    ! Now everything is 8 aligned and o1 is len to run
 111         be      9f
 112          andcc  %o1, 0x78, %o2
 113 10:
 114         ZERO_BIG_BLOCK(%o0, 0x00, %g2)
 115         subcc   %o3, 128, %o3
 116         ZERO_BIG_BLOCK(%o0, 0x40, %g2)
 117 11:
 118         EXT(10b, 11b, 20f)
 119         bne     10b
 120          add    %o0, 128, %o0
 121
 122         orcc    %o2, %g0, %g0
 123 9:
 124         be      13f
 125          andcc  %o1, 7, %o1
 126
 127         srl     %o2, 1, %o3
 128         set     13f, %o4
 129         sub     %o4, %o3, %o4
 130         jmp     %o4
 131          add    %o0, %o2, %o0
 132
 133 12:
 134         ZERO_LAST_BLOCKS(%o0, 0x48, %g2)
 135         ZERO_LAST_BLOCKS(%o0, 0x08, %g2)
 136 13:
 137         be      8f
 138          andcc  %o1, 4, %g0
 139
 140         be      1f
 141          andcc  %o1, 2, %g0
 142
 143         EX(st   %g3, [%o0], and %o1, 7)
 144         add     %o0, 4, %o0
 145 1:
 146         be      1f
 147          andcc  %o1, 1, %g0
 148
 149         EX(sth  %g3, [%o0], and %o1, 3)
 150         add     %o0, 2, %o0
 151 1:
 152         bne,a   8f
 153          EX(stb %g3, [%o0], and %o1, 1)
 154 8:
 155         retl
 156          clr    %o0
 157 7:
 158         be      13b
 159          orcc   %o1, 0, %g0
 160
 161         be      0f
 162 8:
 163          add    %o0, 1, %o0
 164         subcc   %o1, 1, %o1
 165         bne     8b
 166          EX(stb %g3, [%o0 - 1], add %o1, 1)
 167 0:
 168         retl
 169          clr    %o0
 170 __memset_end:
 171
 172         .section .fixup,#alloc,#execinstr
 173         .align  4
 174 20:
 175         cmp     %g2, 8
 176         bleu    1f
 177          and    %o1, 0x7f, %o1
 178         sub     %g2, 9, %g2
 179         add     %o3, 64, %o3
 180 1:
 181         sll     %g2, 3, %g2
 182         add     %o3, %o1, %o0
 183         b 30f
 184          sub    %o0, %g2, %o0
 185 21:
 186         mov     8, %o0
 187         and     %o1, 7, %o1
 188         sub     %o0, %g2, %o0
 189         sll     %o0, 3, %o0
 190         b 30f
 191          add    %o0, %o1, %o0
 192 30:
 193 /* %o4 is faulting address, %o5 is %pc where fault occurred */
 194         save    %sp, -104, %sp
 195         mov     %i5, %o0
 196         mov     %i7, %o1
 197         call    lookup_fault
 198          mov    %i4, %o2
 199         ret
 200          restore
 201
 202         .globl __bzero_end
 203 __bzero_end: