arch/sparc/lib/Memcpy_utils.S

   1 #ifndef __ASM_MEMCPY_UTILS
   2 #define __ASM_MEMCPY_UTILS
   3
   4 #include <linux/linkage.h>
   5 #include <asm/asi.h>
   6 #include <asm/visasm.h>
   7
   8 ENTRY(__restore_asi_fp)
   9         VISExitHalf
  10         retl
  11          wr     %g0, ASI_AIUS, %asi
  12 ENDPROC(__restore_asi_fp)
  13
  14 ENTRY(__restore_asi)
  15         retl
  16          wr     %g0, ASI_AIUS, %asi
  17 ENDPROC(__restore_asi)
  18
  19 ENTRY(memcpy_retl_o2)
  20         ba,pt   %xcc, __restore_asi
  21          mov    %o2, %o0
  22 ENDPROC(memcpy_retl_o2)
  23 ENTRY(memcpy_retl_o2_plus_1)
  24         ba,pt   %xcc, __restore_asi
  25          add    %o2, 1, %o0
  26 ENDPROC(memcpy_retl_o2_plus_1)
  27 ENTRY(memcpy_retl_o2_plus_3)
  28         ba,pt   %xcc, __restore_asi
  29          add    %o2, 3, %o0
  30 ENDPROC(memcpy_retl_o2_plus_3)
  31 ENTRY(memcpy_retl_o2_plus_4)
  32         ba,pt   %xcc, __restore_asi
  33          add    %o2, 4, %o0
  34 ENDPROC(memcpy_retl_o2_plus_4)
  35 ENTRY(memcpy_retl_o2_plus_5)
  36         ba,pt   %xcc, __restore_asi
  37          add    %o2, 5, %o0
  38 ENDPROC(memcpy_retl_o2_plus_5)
  39 ENTRY(memcpy_retl_o2_plus_6)
  40         ba,pt   %xcc, __restore_asi
  41          add    %o2, 6, %o0
  42 ENDPROC(memcpy_retl_o2_plus_6)
  43 ENTRY(memcpy_retl_o2_plus_7)
  44         ba,pt   %xcc, __restore_asi
  45          add    %o2, 7, %o0
  46 ENDPROC(memcpy_retl_o2_plus_7)
  47 ENTRY(memcpy_retl_o2_plus_8)
  48         ba,pt   %xcc, __restore_asi
  49          add    %o2, 8, %o0
  50 ENDPROC(memcpy_retl_o2_plus_8)
  51 ENTRY(memcpy_retl_o2_plus_15)
  52         ba,pt   %xcc, __restore_asi
  53          add    %o2, 15, %o0
  54 ENDPROC(memcpy_retl_o2_plus_15)
  55 ENTRY(memcpy_retl_o2_plus_15_8)
  56          add    %o2, 15, %o2
  57         ba,pt   %xcc, __restore_asi
  58          add    %o2, 8, %o0
  59 ENDPROC(memcpy_retl_o2_plus_15_8)
  60 ENTRY(memcpy_retl_o2_plus_16)
  61         ba,pt   %xcc, __restore_asi
  62          add    %o2, 16, %o0
  63 ENDPROC(memcpy_retl_o2_plus_16)
  64 ENTRY(memcpy_retl_o2_plus_24)
  65         ba,pt   %xcc, __restore_asi
  66          add    %o2, 24, %o0
  67 ENDPROC(memcpy_retl_o2_plus_24)
  68 ENTRY(memcpy_retl_o2_plus_31)
  69         ba,pt   %xcc, __restore_asi
  70          add    %o2, 31, %o0
  71 ENDPROC(memcpy_retl_o2_plus_31)
  72 ENTRY(memcpy_retl_o2_plus_32)
  73         ba,pt   %xcc, __restore_asi
  74          add    %o2, 32, %o0
  75 ENDPROC(memcpy_retl_o2_plus_32)
  76 ENTRY(memcpy_retl_o2_plus_31_32)
  77         add     %o2, 31, %o2
  78         ba,pt   %xcc, __restore_asi
  79          add    %o2, 32, %o0
  80 ENDPROC(memcpy_retl_o2_plus_31_32)
  81 ENTRY(memcpy_retl_o2_plus_31_24)
  82         add     %o2, 31, %o2
  83         ba,pt   %xcc, __restore_asi
  84          add    %o2, 24, %o0
  85 ENDPROC(memcpy_retl_o2_plus_31_24)
  86 ENTRY(memcpy_retl_o2_plus_31_16)
  87         add     %o2, 31, %o2
  88         ba,pt   %xcc, __restore_asi
  89          add    %o2, 16, %o0
  90 ENDPROC(memcpy_retl_o2_plus_31_16)
  91 ENTRY(memcpy_retl_o2_plus_31_8)
  92         add     %o2, 31, %o2
  93         ba,pt   %xcc, __restore_asi
  94          add    %o2, 8, %o0
  95 ENDPROC(memcpy_retl_o2_plus_31_8)
  96 ENTRY(memcpy_retl_o2_plus_63)
  97         ba,pt   %xcc, __restore_asi
  98          add    %o2, 63, %o0
  99 ENDPROC(memcpy_retl_o2_plus_63)
 100 ENTRY(memcpy_retl_o2_plus_63_64)
 101          add    %o2, 63, %o2
 102         ba,pt   %xcc, __restore_asi
 103          add    %o2, 64, %o0
 104 ENDPROC(memcpy_retl_o2_plus_63_64)
 105 ENTRY(memcpy_retl_o2_plus_63_56)
 106          add    %o2, 63, %o2
 107         ba,pt   %xcc, __restore_asi
 108          add    %o2, 56, %o0
 109 ENDPROC(memcpy_retl_o2_plus_63_56)
 110 ENTRY(memcpy_retl_o2_plus_63_48)
 111          add    %o2, 63, %o2
 112         ba,pt   %xcc, __restore_asi
 113          add    %o2, 48, %o0
 114 ENDPROC(memcpy_retl_o2_plus_63_48)
 115 ENTRY(memcpy_retl_o2_plus_63_40)
 116          add    %o2, 63, %o2
 117         ba,pt   %xcc, __restore_asi
 118          add    %o2, 40, %o0
 119 ENDPROC(memcpy_retl_o2_plus_63_40)
 120 ENTRY(memcpy_retl_o2_plus_63_32)
 121          add    %o2, 63, %o2
 122         ba,pt   %xcc, __restore_asi
 123          add    %o2, 32, %o0
 124 ENDPROC(memcpy_retl_o2_plus_63_32)
 125 ENTRY(memcpy_retl_o2_plus_63_24)
 126          add    %o2, 63, %o2
 127         ba,pt   %xcc, __restore_asi
 128          add    %o2, 24, %o0
 129 ENDPROC(memcpy_retl_o2_plus_63_24)
 130 ENTRY(memcpy_retl_o2_plus_63_16)
 131          add    %o2, 63, %o2
 132         ba,pt   %xcc, __restore_asi
 133          add    %o2, 16, %o0
 134 ENDPROC(memcpy_retl_o2_plus_63_16)
 135 ENTRY(memcpy_retl_o2_plus_63_8)
 136          add    %o2, 63, %o2
 137         ba,pt   %xcc, __restore_asi
 138          add    %o2, 8, %o0
 139 ENDPROC(memcpy_retl_o2_plus_63_8)
 140 ENTRY(memcpy_retl_o2_plus_o5)
 141         ba,pt   %xcc, __restore_asi
 142          add    %o2, %o5, %o0
 143 ENDPROC(memcpy_retl_o2_plus_o5)
 144 ENTRY(memcpy_retl_o2_plus_o5_plus_1)
 145         add     %o5, 1, %o5
 146         ba,pt   %xcc, __restore_asi
 147          add    %o2, %o5, %o0
 148 ENDPROC(memcpy_retl_o2_plus_o5_plus_1)
 149 ENTRY(memcpy_retl_o2_plus_o5_plus_4)
 150         add     %o5, 4, %o5
 151         ba,pt   %xcc, __restore_asi
 152          add    %o2, %o5, %o0
 153 ENDPROC(memcpy_retl_o2_plus_o5_plus_4)
 154 ENTRY(memcpy_retl_o2_plus_o5_plus_8)
 155         add     %o5, 8, %o5
 156         ba,pt   %xcc, __restore_asi
 157          add    %o2, %o5, %o0
 158 ENDPROC(memcpy_retl_o2_plus_o5_plus_8)
 159 ENTRY(memcpy_retl_o2_plus_o5_plus_16)
 160         add     %o5, 16, %o5
 161         ba,pt   %xcc, __restore_asi
 162          add    %o2, %o5, %o0
 163 ENDPROC(memcpy_retl_o2_plus_o5_plus_16)
 164 ENTRY(memcpy_retl_o2_plus_o5_plus_24)
 165         add     %o5, 24, %o5
 166         ba,pt   %xcc, __restore_asi
 167          add    %o2, %o5, %o0
 168 ENDPROC(memcpy_retl_o2_plus_o5_plus_24)
 169 ENTRY(memcpy_retl_o2_plus_o5_plus_32)
 170         add     %o5, 32, %o5
 171         ba,pt   %xcc, __restore_asi
 172          add    %o2, %o5, %o0
 173 ENDPROC(memcpy_retl_o2_plus_o5_plus_32)
 174 ENTRY(memcpy_retl_o2_plus_o5_64)
 175         add     %o5, 32, %o5
 176         ba,pt   %xcc, __restore_asi
 177          add    %o2, %o5, %o0
 178 ENDPROC(memcpy_retl_o2_plus_o5_64)
 179 ENTRY(memcpy_retl_o2_plus_g1)
 180         ba,pt   %xcc, __restore_asi
 181          add    %o2, %g1, %o0
 182 ENDPROC(memcpy_retl_o2_plus_g1)
 183 ENTRY(memcpy_retl_o2_plus_g1_plus_1)
 184         add     %g1, 1, %g1
 185         ba,pt   %xcc, __restore_asi
 186          add    %o2, %g1, %o0
 187 ENDPROC(memcpy_retl_o2_plus_g1_plus_1)
 188 ENTRY(memcpy_retl_o2_plus_g1_plus_8)
 189         add     %g1, 8, %g1
 190         ba,pt   %xcc, __restore_asi
 191          add    %o2, %g1, %o0
 192 ENDPROC(memcpy_retl_o2_plus_g1_plus_8)
 193 ENTRY(memcpy_retl_o2_plus_o4)
 194         ba,pt   %xcc, __restore_asi
 195          add    %o2, %o4, %o0
 196 ENDPROC(memcpy_retl_o2_plus_o4)
 197 ENTRY(memcpy_retl_o2_plus_o4_plus_8)
 198         add     %o4, 8, %o4
 199         ba,pt   %xcc, __restore_asi
 200          add    %o2, %o4, %o0
 201 ENDPROC(memcpy_retl_o2_plus_o4_plus_8)
 202 ENTRY(memcpy_retl_o2_plus_o4_plus_16)
 203         add     %o4, 16, %o4
 204         ba,pt   %xcc, __restore_asi
 205          add    %o2, %o4, %o0
 206 ENDPROC(memcpy_retl_o2_plus_o4_plus_16)
 207 ENTRY(memcpy_retl_o2_plus_o4_plus_24)
 208         add     %o4, 24, %o4
 209         ba,pt   %xcc, __restore_asi
 210          add    %o2, %o4, %o0
 211 ENDPROC(memcpy_retl_o2_plus_o4_plus_24)
 212 ENTRY(memcpy_retl_o2_plus_o4_plus_32)
 213         add     %o4, 32, %o4
 214         ba,pt   %xcc, __restore_asi
 215          add    %o2, %o4, %o0
 216 ENDPROC(memcpy_retl_o2_plus_o4_plus_32)
 217 ENTRY(memcpy_retl_o2_plus_o4_plus_40)
 218         add     %o4, 40, %o4
 219         ba,pt   %xcc, __restore_asi
 220          add    %o2, %o4, %o0
 221 ENDPROC(memcpy_retl_o2_plus_o4_plus_40)
 222 ENTRY(memcpy_retl_o2_plus_o4_plus_48)
 223         add     %o4, 48, %o4
 224         ba,pt   %xcc, __restore_asi
 225          add    %o2, %o4, %o0
 226 ENDPROC(memcpy_retl_o2_plus_o4_plus_48)
 227 ENTRY(memcpy_retl_o2_plus_o4_plus_56)
 228         add     %o4, 56, %o4
 229         ba,pt   %xcc, __restore_asi
 230          add    %o2, %o4, %o0
 231 ENDPROC(memcpy_retl_o2_plus_o4_plus_56)
 232 ENTRY(memcpy_retl_o2_plus_o4_plus_64)
 233         add     %o4, 64, %o4
 234         ba,pt   %xcc, __restore_asi
 235          add    %o2, %o4, %o0
 236 ENDPROC(memcpy_retl_o2_plus_o4_plus_64)
 237 ENTRY(memcpy_retl_o2_plus_o5_plus_64)
 238         add     %o5, 64, %o5
 239         ba,pt   %xcc, __restore_asi
 240          add    %o2, %o5, %o0
 241 ENDPROC(memcpy_retl_o2_plus_o5_plus_64)
 242 ENTRY(memcpy_retl_o2_plus_o3_fp)
 243         ba,pt   %xcc, __restore_asi_fp
 244          add    %o2, %o3, %o0
 245 ENDPROC(memcpy_retl_o2_plus_o3_fp)
 246 ENTRY(memcpy_retl_o2_plus_o3_plus_1_fp)
 247         add     %o3, 1, %o3
 248         ba,pt   %xcc, __restore_asi_fp
 249          add    %o2, %o3, %o0
 250 ENDPROC(memcpy_retl_o2_plus_o3_plus_1_fp)
 251 ENTRY(memcpy_retl_o2_plus_o3_plus_4_fp)
 252         add     %o3, 4, %o3
 253         ba,pt   %xcc, __restore_asi_fp
 254          add    %o2, %o3, %o0
 255 ENDPROC(memcpy_retl_o2_plus_o3_plus_4_fp)
 256 ENTRY(memcpy_retl_o2_plus_o4_fp)
 257         ba,pt   %xcc, __restore_asi_fp
 258          add    %o2, %o4, %o0
 259 ENDPROC(memcpy_retl_o2_plus_o4_fp)
 260 ENTRY(memcpy_retl_o2_plus_o4_plus_8_fp)
 261         add     %o4, 8, %o4
 262         ba,pt   %xcc, __restore_asi_fp
 263          add    %o2, %o4, %o0
 264 ENDPROC(memcpy_retl_o2_plus_o4_plus_8_fp)
 265 ENTRY(memcpy_retl_o2_plus_o4_plus_16_fp)
 266         add     %o4, 16, %o4
 267         ba,pt   %xcc, __restore_asi_fp
 268          add    %o2, %o4, %o0
 269 ENDPROC(memcpy_retl_o2_plus_o4_plus_16_fp)
 270 ENTRY(memcpy_retl_o2_plus_o4_plus_24_fp)
 271         add     %o4, 24, %o4
 272         ba,pt   %xcc, __restore_asi_fp
 273          add    %o2, %o4, %o0
 274 ENDPROC(memcpy_retl_o2_plus_o4_plus_24_fp)
 275 ENTRY(memcpy_retl_o2_plus_o4_plus_32_fp)
 276         add     %o4, 32, %o4
 277         ba,pt   %xcc, __restore_asi_fp
 278          add    %o2, %o4, %o0
 279 ENDPROC(memcpy_retl_o2_plus_o4_plus_32_fp)
 280 ENTRY(memcpy_retl_o2_plus_o4_plus_40_fp)
 281         add     %o4, 40, %o4
 282         ba,pt   %xcc, __restore_asi_fp
 283          add    %o2, %o4, %o0
 284 ENDPROC(memcpy_retl_o2_plus_o4_plus_40_fp)
 285 ENTRY(memcpy_retl_o2_plus_o4_plus_48_fp)
 286         add     %o4, 48, %o4
 287         ba,pt   %xcc, __restore_asi_fp
 288          add    %o2, %o4, %o0
 289 ENDPROC(memcpy_retl_o2_plus_o4_plus_48_fp)
 290 ENTRY(memcpy_retl_o2_plus_o4_plus_56_fp)
 291         add     %o4, 56, %o4
 292         ba,pt   %xcc, __restore_asi_fp
 293          add    %o2, %o4, %o0
 294 ENDPROC(memcpy_retl_o2_plus_o4_plus_56_fp)
 295 ENTRY(memcpy_retl_o2_plus_o4_plus_64_fp)
 296         add     %o4, 64, %o4
 297         ba,pt   %xcc, __restore_asi_fp
 298          add    %o2, %o4, %o0
 299 ENDPROC(memcpy_retl_o2_plus_o4_plus_64_fp)
 300 ENTRY(memcpy_retl_o2_plus_o5_fp)
 301         ba,pt   %xcc, __restore_asi_fp
 302          add    %o2, %o5, %o0
 303 ENDPROC(memcpy_retl_o2_plus_o5_fp)
 304 ENTRY(memcpy_retl_o2_plus_o5_plus_64_fp)
 305         add     %o5, 64, %o5
 306         ba,pt   %xcc, __restore_asi_fp
 307          add    %o2, %o5, %o0
 308 ENDPROC(memcpy_retl_o2_plus_o5_plus_64_fp)
 309 ENTRY(memcpy_retl_o2_plus_o5_plus_56_fp)
 310         add     %o5, 56, %o5
 311         ba,pt   %xcc, __restore_asi_fp
 312          add    %o2, %o5, %o0
 313 ENDPROC(memcpy_retl_o2_plus_o5_plus_56_fp)
 314 ENTRY(memcpy_retl_o2_plus_o5_plus_48_fp)
 315         add     %o5, 48, %o5
 316         ba,pt   %xcc, __restore_asi_fp
 317          add    %o2, %o5, %o0
 318 ENDPROC(memcpy_retl_o2_plus_o5_plus_48_fp)
 319 ENTRY(memcpy_retl_o2_plus_o5_plus_40_fp)
 320         add     %o5, 40, %o5
 321         ba,pt   %xcc, __restore_asi_fp
 322          add    %o2, %o5, %o0
 323 ENDPROC(memcpy_retl_o2_plus_o5_plus_40_fp)
 324 ENTRY(memcpy_retl_o2_plus_o5_plus_32_fp)
 325         add     %o5, 32, %o5
 326         ba,pt   %xcc, __restore_asi_fp
 327          add    %o2, %o5, %o0
 328 ENDPROC(memcpy_retl_o2_plus_o5_plus_32_fp)
 329 ENTRY(memcpy_retl_o2_plus_o5_plus_24_fp)
 330         add     %o5, 24, %o5
 331         ba,pt   %xcc, __restore_asi_fp
 332          add    %o2, %o5, %o0
 333 ENDPROC(memcpy_retl_o2_plus_o5_plus_24_fp)
 334 ENTRY(memcpy_retl_o2_plus_o5_plus_16_fp)
 335         add     %o5, 16, %o5
 336         ba,pt   %xcc, __restore_asi_fp
 337          add    %o2, %o5, %o0
 338 ENDPROC(memcpy_retl_o2_plus_o5_plus_16_fp)
 339 ENTRY(memcpy_retl_o2_plus_o5_plus_8_fp)
 340         add     %o5, 8, %o5
 341         ba,pt   %xcc, __restore_asi_fp
 342          add    %o2, %o5, %o0
 343 ENDPROC(memcpy_retl_o2_plus_o5_plus_8_fp)
 344
 345 #endif