arch/sparc/lib/GENmemcpy.S

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 /* GENmemcpy.S: Generic sparc64 memcpy.
   3  *
   4  * Copyright (C) 2007 David S. Miller (davem@davemloft.net)
   5  */
   6
   7 #ifdef __KERNEL__
   8 #include <linux/linkage.h>
   9 #define GLOBAL_SPARE    %g7
  10 #else
  11 #define GLOBAL_SPARE    %g5
  12 #endif
  13
  14 #ifndef EX_LD
  15 #define EX_LD(x,y)      x
  16 #endif
  17
  18 #ifndef EX_ST
  19 #define EX_ST(x,y)      x
  20 #endif
  21
  22 #ifndef LOAD
  23 #define LOAD(type,addr,dest)    type [addr], dest
  24 #endif
  25
  26 #ifndef STORE
  27 #define STORE(type,src,addr)    type src, [addr]
  28 #endif
  29
  30 #ifndef FUNC_NAME
  31 #define FUNC_NAME       GENmemcpy
  32 #endif
  33
  34 #ifndef PREAMBLE
  35 #define PREAMBLE
  36 #endif
  37
  38 #ifndef XCC
  39 #define XCC xcc
  40 #endif
  41
  42         .register       %g2,#scratch
  43         .register       %g3,#scratch
  44
  45         .text
  46
  47 #ifndef EX_RETVAL
  48 #define EX_RETVAL(x)    x
  49 ENTRY(GEN_retl_o4_1)
  50         add     %o4, %o2, %o4
  51         retl
  52          add    %o4, 1, %o0
  53 ENDPROC(GEN_retl_o4_1)
  54 ENTRY(GEN_retl_g1_8)
  55         add     %g1, %o2, %g1
  56         retl
  57          add    %g1, 8, %o0
  58 ENDPROC(GEN_retl_g1_8)
  59 ENTRY(GEN_retl_o2_4)
  60         retl
  61          add    %o2, 4, %o0
  62 ENDPROC(GEN_retl_o2_4)
  63 ENTRY(GEN_retl_o2_1)
  64         retl
  65          add    %o2, 1, %o0
  66 ENDPROC(GEN_retl_o2_1)
  67 #endif
  68
  69         .align          64
  70
  71         .globl  FUNC_NAME
  72         .type   FUNC_NAME,#function
  73 FUNC_NAME:      /* %o0=dst, %o1=src, %o2=len */
  74         srlx            %o2, 31, %g2
  75         cmp             %g2, 0
  76         tne             %XCC, 5
  77         PREAMBLE
  78         mov             %o0, GLOBAL_SPARE
  79
  80         cmp             %o2, 0
  81         be,pn           %XCC, 85f
  82          or             %o0, %o1, %o3
  83         cmp             %o2, 16
  84         blu,a,pn        %XCC, 80f
  85          or             %o3, %o2, %o3
  86
  87         xor             %o0, %o1, %o4
  88         andcc           %o4, 0x7, %g0
  89         bne,a,pn        %XCC, 90f
  90          sub            %o0, %o1, %o3
  91
  92         and             %o0, 0x7, %o4
  93         sub             %o4, 0x8, %o4
  94         sub             %g0, %o4, %o4
  95         sub             %o2, %o4, %o2
  96 1:      subcc           %o4, 1, %o4
  97         EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o4_1)
  98         EX_ST(STORE(stb, %g1, %o0),GEN_retl_o4_1)
  99         add             %o1, 1, %o1
 100         bne,pt          %XCC, 1b
 101         add             %o0, 1, %o0
 102
 103         andn            %o2, 0x7, %g1
 104         sub             %o2, %g1, %o2
 105 1:      subcc           %g1, 0x8, %g1
 106         EX_LD(LOAD(ldx, %o1, %g2),GEN_retl_g1_8)
 107         EX_ST(STORE(stx, %g2, %o0),GEN_retl_g1_8)
 108         add             %o1, 0x8, %o1
 109         bne,pt          %XCC, 1b
 110          add            %o0, 0x8, %o0
 111
 112         brz,pt          %o2, 85f
 113          sub            %o0, %o1, %o3
 114         ba,a,pt         %XCC, 90f
 115
 116         .align          64
 117 80: /* 0 < len <= 16 */
 118         andcc           %o3, 0x3, %g0
 119         bne,pn          %XCC, 90f
 120          sub            %o0, %o1, %o3
 121
 122 1:
 123         subcc           %o2, 4, %o2
 124         EX_LD(LOAD(lduw, %o1, %g1),GEN_retl_o2_4)
 125         EX_ST(STORE(stw, %g1, %o1 + %o3),GEN_retl_o2_4)
 126         bgu,pt          %XCC, 1b
 127          add            %o1, 4, %o1
 128
 129 85:     retl
 130          mov            EX_RETVAL(GLOBAL_SPARE), %o0
 131
 132         .align          32
 133 90:
 134         subcc           %o2, 1, %o2
 135         EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o2_1)
 136         EX_ST(STORE(stb, %g1, %o1 + %o3),GEN_retl_o2_1)
 137         bgu,pt          %XCC, 90b
 138          add            %o1, 1, %o1
 139         retl
 140          mov            EX_RETVAL(GLOBAL_SPARE), %o0
 141
 142         .size           FUNC_NAME, .-FUNC_NAME