arch/sparc/kernel/fpu_traps.S

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2         /* This is trivial with the new code... */
   3         .globl          do_fpdis
   4         .type           do_fpdis,#function
   5 do_fpdis:
   6         sethi           %hi(TSTATE_PEF), %g4
   7         rdpr            %tstate, %g5
   8         andcc           %g5, %g4, %g0
   9         be,pt           %xcc, 1f
  10          nop
  11         rd              %fprs, %g5
  12         andcc           %g5, FPRS_FEF, %g0
  13         be,pt           %xcc, 1f
  14          nop
  15
  16         /* Legal state when DCR_IFPOE is set in Cheetah %dcr. */
  17         sethi           %hi(109f), %g7
  18         ba,pt           %xcc, etrap
  19 109:     or             %g7, %lo(109b), %g7
  20         add             %g0, %g0, %g0
  21         ba,a,pt         %xcc, rtrap
  22
  23 1:      TRAP_LOAD_THREAD_REG(%g6, %g1)
  24         ldub            [%g6 + TI_FPSAVED], %g5
  25         wr              %g0, FPRS_FEF, %fprs
  26         andcc           %g5, FPRS_FEF, %g0
  27         be,a,pt         %icc, 1f
  28          clr            %g7
  29         ldx             [%g6 + TI_GSR], %g7
  30 1:      andcc           %g5, FPRS_DL, %g0
  31         bne,pn          %icc, 2f
  32          fzero          %f0
  33         andcc           %g5, FPRS_DU, %g0
  34         bne,pn          %icc, 1f
  35          fzero          %f2
  36         faddd           %f0, %f2, %f4
  37         fmuld           %f0, %f2, %f6
  38         faddd           %f0, %f2, %f8
  39         fmuld           %f0, %f2, %f10
  40         faddd           %f0, %f2, %f12
  41         fmuld           %f0, %f2, %f14
  42         faddd           %f0, %f2, %f16
  43         fmuld           %f0, %f2, %f18
  44         faddd           %f0, %f2, %f20
  45         fmuld           %f0, %f2, %f22
  46         faddd           %f0, %f2, %f24
  47         fmuld           %f0, %f2, %f26
  48         faddd           %f0, %f2, %f28
  49         fmuld           %f0, %f2, %f30
  50         faddd           %f0, %f2, %f32
  51         fmuld           %f0, %f2, %f34
  52         faddd           %f0, %f2, %f36
  53         fmuld           %f0, %f2, %f38
  54         faddd           %f0, %f2, %f40
  55         fmuld           %f0, %f2, %f42
  56         faddd           %f0, %f2, %f44
  57         fmuld           %f0, %f2, %f46
  58         faddd           %f0, %f2, %f48
  59         fmuld           %f0, %f2, %f50
  60         faddd           %f0, %f2, %f52
  61         fmuld           %f0, %f2, %f54
  62         faddd           %f0, %f2, %f56
  63         fmuld           %f0, %f2, %f58
  64         b,pt            %xcc, fpdis_exit2
  65          faddd          %f0, %f2, %f60
  66 1:      mov             SECONDARY_CONTEXT, %g3
  67         add             %g6, TI_FPREGS + 0x80, %g1
  68         faddd           %f0, %f2, %f4
  69         fmuld           %f0, %f2, %f6
  70
  71 661:    ldxa            [%g3] ASI_DMMU, %g5
  72         .section        .sun4v_1insn_patch, "ax"
  73         .word           661b
  74         ldxa            [%g3] ASI_MMU, %g5
  75         .previous
  76
  77         sethi           %hi(sparc64_kern_sec_context), %g2
  78         ldx             [%g2 + %lo(sparc64_kern_sec_context)], %g2
  79
  80 661:    stxa            %g2, [%g3] ASI_DMMU
  81         .section        .sun4v_1insn_patch, "ax"
  82         .word           661b
  83         stxa            %g2, [%g3] ASI_MMU
  84         .previous
  85
  86         membar          #Sync
  87         add             %g6, TI_FPREGS + 0xc0, %g2
  88         faddd           %f0, %f2, %f8
  89         fmuld           %f0, %f2, %f10
  90         membar          #Sync
  91         ldda            [%g1] ASI_BLK_S, %f32
  92         ldda            [%g2] ASI_BLK_S, %f48
  93         membar          #Sync
  94         faddd           %f0, %f2, %f12
  95         fmuld           %f0, %f2, %f14
  96         faddd           %f0, %f2, %f16
  97         fmuld           %f0, %f2, %f18
  98         faddd           %f0, %f2, %f20
  99         fmuld           %f0, %f2, %f22
 100         faddd           %f0, %f2, %f24
 101         fmuld           %f0, %f2, %f26
 102         faddd           %f0, %f2, %f28
 103         fmuld           %f0, %f2, %f30
 104         ba,a,pt         %xcc, fpdis_exit
 105
 106 2:      andcc           %g5, FPRS_DU, %g0
 107         bne,pt          %icc, 3f
 108          fzero          %f32
 109         mov             SECONDARY_CONTEXT, %g3
 110         fzero           %f34
 111
 112 661:    ldxa            [%g3] ASI_DMMU, %g5
 113         .section        .sun4v_1insn_patch, "ax"
 114         .word           661b
 115         ldxa            [%g3] ASI_MMU, %g5
 116         .previous
 117
 118         add             %g6, TI_FPREGS, %g1
 119         sethi           %hi(sparc64_kern_sec_context), %g2
 120         ldx             [%g2 + %lo(sparc64_kern_sec_context)], %g2
 121
 122 661:    stxa            %g2, [%g3] ASI_DMMU
 123         .section        .sun4v_1insn_patch, "ax"
 124         .word           661b
 125         stxa            %g2, [%g3] ASI_MMU
 126         .previous
 127
 128         membar          #Sync
 129         add             %g6, TI_FPREGS + 0x40, %g2
 130         faddd           %f32, %f34, %f36
 131         fmuld           %f32, %f34, %f38
 132         membar          #Sync
 133         ldda            [%g1] ASI_BLK_S, %f0
 134         ldda            [%g2] ASI_BLK_S, %f16
 135         membar          #Sync
 136         faddd           %f32, %f34, %f40
 137         fmuld           %f32, %f34, %f42
 138         faddd           %f32, %f34, %f44
 139         fmuld           %f32, %f34, %f46
 140         faddd           %f32, %f34, %f48
 141         fmuld           %f32, %f34, %f50
 142         faddd           %f32, %f34, %f52
 143         fmuld           %f32, %f34, %f54
 144         faddd           %f32, %f34, %f56
 145         fmuld           %f32, %f34, %f58
 146         faddd           %f32, %f34, %f60
 147         fmuld           %f32, %f34, %f62
 148         ba,a,pt         %xcc, fpdis_exit
 149
 150 3:      mov             SECONDARY_CONTEXT, %g3
 151         add             %g6, TI_FPREGS, %g1
 152
 153 661:    ldxa            [%g3] ASI_DMMU, %g5
 154         .section        .sun4v_1insn_patch, "ax"
 155         .word           661b
 156         ldxa            [%g3] ASI_MMU, %g5
 157         .previous
 158
 159         sethi           %hi(sparc64_kern_sec_context), %g2
 160         ldx             [%g2 + %lo(sparc64_kern_sec_context)], %g2
 161
 162 661:    stxa            %g2, [%g3] ASI_DMMU
 163         .section        .sun4v_1insn_patch, "ax"
 164         .word           661b
 165         stxa            %g2, [%g3] ASI_MMU
 166         .previous
 167
 168         membar          #Sync
 169         mov             0x40, %g2
 170         membar          #Sync
 171         ldda            [%g1] ASI_BLK_S, %f0
 172         ldda            [%g1 + %g2] ASI_BLK_S, %f16
 173         add             %g1, 0x80, %g1
 174         ldda            [%g1] ASI_BLK_S, %f32
 175         ldda            [%g1 + %g2] ASI_BLK_S, %f48
 176         membar          #Sync
 177 fpdis_exit:
 178
 179 661:    stxa            %g5, [%g3] ASI_DMMU
 180         .section        .sun4v_1insn_patch, "ax"
 181         .word           661b
 182         stxa            %g5, [%g3] ASI_MMU
 183         .previous
 184
 185         membar          #Sync
 186 fpdis_exit2:
 187         wr              %g7, 0, %gsr
 188         ldx             [%g6 + TI_XFSR], %fsr
 189         rdpr            %tstate, %g3
 190         or              %g3, %g4, %g3           ! anal...
 191         wrpr            %g3, %tstate
 192         wr              %g0, FPRS_FEF, %fprs    ! clean DU/DL bits
 193         retry
 194         .size           do_fpdis,.-do_fpdis
 195
 196         .align          32
 197         .type           fp_other_bounce,#function
 198 fp_other_bounce:
 199         call            do_fpother
 200          add            %sp, PTREGS_OFF, %o0
 201         ba,a,pt         %xcc, rtrap
 202         .size           fp_other_bounce,.-fp_other_bounce
 203
 204         .align          32
 205         .globl          do_fpother_check_fitos
 206         .type           do_fpother_check_fitos,#function
 207 do_fpother_check_fitos:
 208         TRAP_LOAD_THREAD_REG(%g6, %g1)
 209         sethi           %hi(fp_other_bounce - 4), %g7
 210         or              %g7, %lo(fp_other_bounce - 4), %g7
 211
 212         /* NOTE: Need to preserve %g7 until we fully commit
 213          *       to the fitos fixup.
 214          */
 215         stx             %fsr, [%g6 + TI_XFSR]
 216         rdpr            %tstate, %g3
 217         andcc           %g3, TSTATE_PRIV, %g0
 218         bne,pn          %xcc, do_fptrap_after_fsr
 219          nop
 220         ldx             [%g6 + TI_XFSR], %g3
 221         srlx            %g3, 14, %g1
 222         and             %g1, 7, %g1
 223         cmp             %g1, 2                  ! Unfinished FP-OP
 224         bne,pn          %xcc, do_fptrap_after_fsr
 225          sethi          %hi(1 << 23), %g1       ! Inexact
 226         andcc           %g3, %g1, %g0
 227         bne,pn          %xcc, do_fptrap_after_fsr
 228          rdpr           %tpc, %g1
 229         lduwa           [%g1] ASI_AIUP, %g3     ! This cannot ever fail
 230 #define FITOS_MASK      0xc1f83fe0
 231 #define FITOS_COMPARE   0x81a01880
 232         sethi           %hi(FITOS_MASK), %g1
 233         or              %g1, %lo(FITOS_MASK), %g1
 234         and             %g3, %g1, %g1
 235         sethi           %hi(FITOS_COMPARE), %g2
 236         or              %g2, %lo(FITOS_COMPARE), %g2
 237         cmp             %g1, %g2
 238         bne,pn          %xcc, do_fptrap_after_fsr
 239          nop
 240         std             %f62, [%g6 + TI_FPREGS + (62 * 4)]
 241         sethi           %hi(fitos_table_1), %g1
 242         and             %g3, 0x1f, %g2
 243         or              %g1, %lo(fitos_table_1),  %g1
 244         sllx            %g2, 2, %g2
 245         jmpl            %g1 + %g2, %g0
 246          ba,pt          %xcc, fitos_emul_continue
 247
 248 fitos_table_1:
 249         fitod           %f0, %f62
 250         fitod           %f1, %f62
 251         fitod           %f2, %f62
 252         fitod           %f3, %f62
 253         fitod           %f4, %f62
 254         fitod           %f5, %f62
 255         fitod           %f6, %f62
 256         fitod           %f7, %f62
 257         fitod           %f8, %f62
 258         fitod           %f9, %f62
 259         fitod           %f10, %f62
 260         fitod           %f11, %f62
 261         fitod           %f12, %f62
 262         fitod           %f13, %f62
 263         fitod           %f14, %f62
 264         fitod           %f15, %f62
 265         fitod           %f16, %f62
 266         fitod           %f17, %f62
 267         fitod           %f18, %f62
 268         fitod           %f19, %f62
 269         fitod           %f20, %f62
 270         fitod           %f21, %f62
 271         fitod           %f22, %f62
 272         fitod           %f23, %f62
 273         fitod           %f24, %f62
 274         fitod           %f25, %f62
 275         fitod           %f26, %f62
 276         fitod           %f27, %f62
 277         fitod           %f28, %f62
 278         fitod           %f29, %f62
 279         fitod           %f30, %f62
 280         fitod           %f31, %f62
 281
 282 fitos_emul_continue:
 283         sethi           %hi(fitos_table_2), %g1
 284         srl             %g3, 25, %g2
 285         or              %g1, %lo(fitos_table_2), %g1
 286         and             %g2, 0x1f, %g2
 287         sllx            %g2, 2, %g2
 288         jmpl            %g1 + %g2, %g0
 289          ba,pt          %xcc, fitos_emul_fini
 290
 291 fitos_table_2:
 292         fdtos           %f62, %f0
 293         fdtos           %f62, %f1
 294         fdtos           %f62, %f2
 295         fdtos           %f62, %f3
 296         fdtos           %f62, %f4
 297         fdtos           %f62, %f5
 298         fdtos           %f62, %f6
 299         fdtos           %f62, %f7
 300         fdtos           %f62, %f8
 301         fdtos           %f62, %f9
 302         fdtos           %f62, %f10
 303         fdtos           %f62, %f11
 304         fdtos           %f62, %f12
 305         fdtos           %f62, %f13
 306         fdtos           %f62, %f14
 307         fdtos           %f62, %f15
 308         fdtos           %f62, %f16
 309         fdtos           %f62, %f17
 310         fdtos           %f62, %f18
 311         fdtos           %f62, %f19
 312         fdtos           %f62, %f20
 313         fdtos           %f62, %f21
 314         fdtos           %f62, %f22
 315         fdtos           %f62, %f23
 316         fdtos           %f62, %f24
 317         fdtos           %f62, %f25
 318         fdtos           %f62, %f26
 319         fdtos           %f62, %f27
 320         fdtos           %f62, %f28
 321         fdtos           %f62, %f29
 322         fdtos           %f62, %f30
 323         fdtos           %f62, %f31
 324
 325 fitos_emul_fini:
 326         ldd             [%g6 + TI_FPREGS + (62 * 4)], %f62
 327         done
 328         .size           do_fpother_check_fitos,.-do_fpother_check_fitos
 329
 330         .align          32
 331         .globl          do_fptrap
 332         .type           do_fptrap,#function
 333 do_fptrap:
 334         TRAP_LOAD_THREAD_REG(%g6, %g1)
 335         stx             %fsr, [%g6 + TI_XFSR]
 336 do_fptrap_after_fsr:
 337         ldub            [%g6 + TI_FPSAVED], %g3
 338         rd              %fprs, %g1
 339         or              %g3, %g1, %g3
 340         stb             %g3, [%g6 + TI_FPSAVED]
 341         rd              %gsr, %g3
 342         stx             %g3, [%g6 + TI_GSR]
 343         mov             SECONDARY_CONTEXT, %g3
 344
 345 661:    ldxa            [%g3] ASI_DMMU, %g5
 346         .section        .sun4v_1insn_patch, "ax"
 347         .word           661b
 348         ldxa            [%g3] ASI_MMU, %g5
 349         .previous
 350
 351         sethi           %hi(sparc64_kern_sec_context), %g2
 352         ldx             [%g2 + %lo(sparc64_kern_sec_context)], %g2
 353
 354 661:    stxa            %g2, [%g3] ASI_DMMU
 355         .section        .sun4v_1insn_patch, "ax"
 356         .word           661b
 357         stxa            %g2, [%g3] ASI_MMU
 358         .previous
 359
 360         membar          #Sync
 361         add             %g6, TI_FPREGS, %g2
 362         andcc           %g1, FPRS_DL, %g0
 363         be,pn           %icc, 4f
 364          mov            0x40, %g3
 365         stda            %f0, [%g2] ASI_BLK_S
 366         stda            %f16, [%g2 + %g3] ASI_BLK_S
 367         andcc           %g1, FPRS_DU, %g0
 368         be,pn           %icc, 5f
 369 4:       add            %g2, 128, %g2
 370         stda            %f32, [%g2] ASI_BLK_S
 371         stda            %f48, [%g2 + %g3] ASI_BLK_S
 372 5:      mov             SECONDARY_CONTEXT, %g1
 373         membar          #Sync
 374
 375 661:    stxa            %g5, [%g1] ASI_DMMU
 376         .section        .sun4v_1insn_patch, "ax"
 377         .word           661b
 378         stxa            %g5, [%g1] ASI_MMU
 379         .previous
 380
 381         membar          #Sync
 382         ba,pt           %xcc, etrap
 383          wr             %g0, 0, %fprs
 384         .size           do_fptrap,.-do_fptrap