arch/xtensa/mm/misc.S

   1 /*
   2  * arch/xtensa/mm/misc.S
   3  *
   4  * Miscellaneous assembly functions.
   5  *
   6  * This file is subject to the terms and conditions of the GNU General Public
   7  * License.  See the file "COPYING" in the main directory of this archive
   8  * for more details.
   9  *
  10  * Copyright (C) 2001 - 2007 Tensilica Inc.
  11  *
  12  * Chris Zankel <chris@zankel.net>
  13  */
  14
  15
  16 #include <linux/linkage.h>
  17 #include <asm/page.h>
  18 #include <asm/pgtable.h>
  19 #include <asm/asmmacro.h>
  20 #include <asm/cacheasm.h>
  21 #include <asm/tlbflush.h>
  22
  23
  24 /*
  25  * clear_page and clear_user_page are the same for non-cache-aliased configs.
  26  *
  27  * clear_page (unsigned long page)
  28  *                    a2
  29  */
  30
  31 ENTRY(clear_page)
  32         entry   a1, 16
  33
  34         movi    a3, 0
  35         __loopi a2, a7, PAGE_SIZE, 32
  36         s32i    a3, a2, 0
  37         s32i    a3, a2, 4
  38         s32i    a3, a2, 8
  39         s32i    a3, a2, 12
  40         s32i    a3, a2, 16
  41         s32i    a3, a2, 20
  42         s32i    a3, a2, 24
  43         s32i    a3, a2, 28
  44         __endla a2, a7, 32
  45
  46         retw
  47
  48 /*
  49  * copy_page and copy_user_page are the same for non-cache-aliased configs.
  50  *
  51  * copy_page (void *to, void *from)
  52  *               a2          a3
  53  */
  54
  55 ENTRY(copy_page)
  56         entry   a1, 16
  57
  58         __loopi a2, a4, PAGE_SIZE, 32
  59
  60         l32i    a8, a3, 0
  61         l32i    a9, a3, 4
  62         s32i    a8, a2, 0
  63         s32i    a9, a2, 4
  64
  65         l32i    a8, a3, 8
  66         l32i    a9, a3, 12
  67         s32i    a8, a2, 8
  68         s32i    a9, a2, 12
  69
  70         l32i    a8, a3, 16
  71         l32i    a9, a3, 20
  72         s32i    a8, a2, 16
  73         s32i    a9, a2, 20
  74
  75         l32i    a8, a3, 24
  76         l32i    a9, a3, 28
  77         s32i    a8, a2, 24
  78         s32i    a9, a2, 28
  79
  80         addi    a2, a2, 32
  81         addi    a3, a3, 32
  82
  83         __endl  a2, a4
  84
  85         retw
  86
  87 /*
  88  * If we have to deal with cache aliasing, we use temporary memory mappings
  89  * to ensure that the source and destination pages have the same color as
  90  * the virtual address. We use way 0 and 1 for temporary mappings in such cases.
  91  *
  92  * The temporary DTLB entries shouldn't be flushed by interrupts, but are
  93  * flushed by preemptive task switches. Special code in the
  94  * fast_second_level_miss handler re-established the temporary mapping.
  95  * It requires that the PPNs for the destination and source addresses are
  96  * in a6, and a7, respectively.
  97  */
  98
  99 /* TLB miss exceptions are treated special in the following region */
 100
 101 ENTRY(__tlbtemp_mapping_start)
 102
 103 #if (DCACHE_WAY_SIZE > PAGE_SIZE)
 104
 105 /*
 106  * clear_user_page (void *addr, unsigned long vaddr, struct page *page)
 107  *                     a2              a3                 a4
 108  */
 109
 110 ENTRY(clear_user_page)
 111         entry   a1, 32
 112
 113         /* Mark page dirty and determine alias. */
 114
 115         movi    a7, (1 << PG_ARCH_1)
 116         l32i    a5, a4, PAGE_FLAGS
 117         xor     a6, a2, a3
 118         extui   a3, a3, PAGE_SHIFT, DCACHE_ALIAS_ORDER
 119         extui   a6, a6, PAGE_SHIFT, DCACHE_ALIAS_ORDER
 120         or      a5, a5, a7
 121         slli    a3, a3, PAGE_SHIFT
 122         s32i    a5, a4, PAGE_FLAGS
 123
 124         /* Skip setting up a temporary DTLB if not aliased. */
 125
 126         beqz    a6, 1f
 127
 128         /* Invalidate kernel page. */
 129
 130         mov     a10, a2
 131         call8   __invalidate_dcache_page
 132
 133         /* Setup a temporary DTLB with the color of the VPN */
 134
 135         movi    a4, -PAGE_OFFSET + (PAGE_KERNEL | _PAGE_HW_WRITE)
 136         movi    a5, TLBTEMP_BASE_1                      # virt
 137         add     a6, a2, a4                              # ppn
 138         add     a2, a5, a3                              # add 'color'
 139
 140         wdtlb   a6, a2
 141         dsync
 142
 143 1:      movi    a3, 0
 144         __loopi a2, a7, PAGE_SIZE, 32
 145         s32i    a3, a2, 0
 146         s32i    a3, a2, 4
 147         s32i    a3, a2, 8
 148         s32i    a3, a2, 12
 149         s32i    a3, a2, 16
 150         s32i    a3, a2, 20
 151         s32i    a3, a2, 24
 152         s32i    a3, a2, 28
 153         __endla a2, a7, 32
 154
 155         bnez    a6, 1f
 156         retw
 157
 158         /* We need to invalidate the temporary idtlb entry, if any. */
 159
 160 1:      addi    a2, a2, -PAGE_SIZE
 161         idtlb   a2
 162         dsync
 163
 164         retw
 165
 166 /*
 167  * copy_page_user (void *to, void *from, unsigned long vaddr, struct page *page)
 168  *                    a2          a3            a4                  a5
 169  */
 170
 171 ENTRY(copy_user_page)
 172
 173         entry   a1, 32
 174
 175         /* Mark page dirty and determine alias for destination. */
 176
 177         movi    a8, (1 << PG_ARCH_1)
 178         l32i    a9, a5, PAGE_FLAGS
 179         xor     a6, a2, a4
 180         xor     a7, a3, a4
 181         extui   a4, a4, PAGE_SHIFT, DCACHE_ALIAS_ORDER
 182         extui   a6, a6, PAGE_SHIFT, DCACHE_ALIAS_ORDER
 183         extui   a7, a7, PAGE_SHIFT, DCACHE_ALIAS_ORDER
 184         or      a9, a9, a8
 185         slli    a4, a4, PAGE_SHIFT
 186         s32i    a9, a5, PAGE_FLAGS
 187         movi    a5, -PAGE_OFFSET + (PAGE_KERNEL | _PAGE_HW_WRITE)
 188
 189         beqz    a6, 1f
 190
 191         /* Invalidate dcache */
 192
 193         mov     a10, a2
 194         call8   __invalidate_dcache_page
 195
 196         /* Setup a temporary DTLB with a matching color. */
 197
 198         movi    a8, TLBTEMP_BASE_1                      # base
 199         add     a6, a2, a5                              # ppn
 200         add     a2, a8, a4                              # add 'color'
 201
 202         wdtlb   a6, a2
 203         dsync
 204
 205         /* Skip setting up a temporary DTLB for destination if not aliased. */
 206
 207 1:      beqz    a7, 1f
 208
 209         /* Setup a temporary DTLB with a matching color. */
 210
 211         movi    a8, TLBTEMP_BASE_2                      # base
 212         add     a7, a3, a5                              # ppn
 213         add     a3, a8, a4
 214         addi    a8, a3, 1                               # way1
 215
 216         wdtlb   a7, a8
 217         dsync
 218
 219 1:      __loopi a2, a4, PAGE_SIZE, 32
 220
 221         l32i    a8, a3, 0
 222         l32i    a9, a3, 4
 223         s32i    a8, a2, 0
 224         s32i    a9, a2, 4
 225
 226         l32i    a8, a3, 8
 227         l32i    a9, a3, 12
 228         s32i    a8, a2, 8
 229         s32i    a9, a2, 12
 230
 231         l32i    a8, a3, 16
 232         l32i    a9, a3, 20
 233         s32i    a8, a2, 16
 234         s32i    a9, a2, 20
 235
 236         l32i    a8, a3, 24
 237         l32i    a9, a3, 28
 238         s32i    a8, a2, 24
 239         s32i    a9, a2, 28
 240
 241         addi    a2, a2, 32
 242         addi    a3, a3, 32
 243
 244         __endl  a2, a4
 245
 246         /* We need to invalidate any temporary mapping! */
 247
 248         bnez    a6, 1f
 249         bnez    a7, 2f
 250         retw
 251
 252 1:      addi    a2, a2, -PAGE_SIZE
 253         idtlb   a2
 254         dsync
 255         bnez    a7, 2f
 256         retw
 257
 258 2:      addi    a3, a3, -PAGE_SIZE+1
 259         idtlb   a3
 260         dsync
 261
 262         retw
 263
 264 #endif
 265
 266 #if (DCACHE_WAY_SIZE > PAGE_SIZE)
 267
 268 /*
 269  * void __flush_invalidate_dcache_page_alias (addr, phys)
 270  *                                             a2    a3
 271  */
 272
 273 ENTRY(__flush_invalidate_dcache_page_alias)
 274         entry   sp, 16
 275
 276         movi    a7, 0                   # required for exception handler
 277         addi    a6, a3, (PAGE_KERNEL | _PAGE_HW_WRITE)
 278         mov     a4, a2
 279         wdtlb   a6, a2
 280         dsync
 281
 282         ___flush_invalidate_dcache_page a2 a3
 283
 284         idtlb   a4
 285         dsync
 286
 287         retw
 288
 289 #endif
 290
 291 ENTRY(__tlbtemp_mapping_itlb)
 292
 293 #if (ICACHE_WAY_SIZE > PAGE_SIZE)
 294
 295 ENTRY(__invalidate_icache_page_alias)
 296         entry   sp, 16
 297
 298 <<<<<<< HEAD:arch/xtensa/mm/misc.S
 299         addi    a6, a3, (PAGE_KERNEL | _PAGE_HW_WRITE)
 300 =======
 301         addi    a6, a3, (PAGE_KERNEL_EXEC | _PAGE_HW_WRITE)
 302 >>>>>>> 264e3e889d86e552b4191d69bb60f4f3b383135a:arch/xtensa/mm/misc.S
 303         mov     a4, a2
 304         witlb   a6, a2
 305         isync
 306
 307         ___invalidate_icache_page a2 a3
 308
 309         iitlb   a4
 310         isync
 311         retw
 312
 313 #endif
 314
 315 /* End of special treatment in tlb miss exception */
 316
 317 ENTRY(__tlbtemp_mapping_end)
 318
 319 /*
 320  * void __invalidate_icache_page(ulong start)
 321  */
 322
 323 ENTRY(__invalidate_icache_page)
 324         entry   sp, 16
 325
 326         ___invalidate_icache_page a2 a3
 327         isync
 328
 329         retw
 330
 331 /*
 332  * void __invalidate_dcache_page(ulong start)
 333  */
 334
 335 ENTRY(__invalidate_dcache_page)
 336         entry   sp, 16
 337
 338         ___invalidate_dcache_page a2 a3
 339         dsync
 340
 341         retw
 342
 343 /*
 344  * void __flush_invalidate_dcache_page(ulong start)
 345  */
 346
 347 ENTRY(__flush_invalidate_dcache_page)
 348         entry   sp, 16
 349
 350         ___flush_invalidate_dcache_page a2 a3
 351
 352         dsync
 353         retw
 354
 355 /*
 356  * void __flush_dcache_page(ulong start)
 357  */
 358
 359 ENTRY(__flush_dcache_page)
 360         entry   sp, 16
 361
 362         ___flush_dcache_page a2 a3
 363
 364         dsync
 365         retw
 366
 367 /*
 368  * void __invalidate_icache_range(ulong start, ulong size)
 369  */
 370
 371 ENTRY(__invalidate_icache_range)
 372         entry   sp, 16
 373
 374         ___invalidate_icache_range a2 a3 a4
 375         isync
 376
 377         retw
 378
 379 /*
 380  * void __flush_invalidate_dcache_range(ulong start, ulong size)
 381  */
 382
 383 ENTRY(__flush_invalidate_dcache_range)
 384         entry   sp, 16
 385
 386         ___flush_invalidate_dcache_range a2 a3 a4
 387         dsync
 388
 389         retw
 390
 391 /*
 392  * void _flush_dcache_range(ulong start, ulong size)
 393  */
 394
 395 ENTRY(__flush_dcache_range)
 396         entry   sp, 16
 397
 398         ___flush_dcache_range a2 a3 a4
 399         dsync
 400
 401         retw
 402
 403 /*
 404  * void _invalidate_dcache_range(ulong start, ulong size)
 405  */
 406
 407 ENTRY(__invalidate_dcache_range)
 408         entry   sp, 16
 409
 410         ___invalidate_dcache_range a2 a3 a4
 411
 412         retw
 413
 414 /*
 415  * void _invalidate_icache_all(void)
 416  */
 417
 418 ENTRY(__invalidate_icache_all)
 419         entry   sp, 16
 420
 421         ___invalidate_icache_all a2 a3
 422         isync
 423
 424         retw
 425
 426 /*
 427  * void _flush_invalidate_dcache_all(void)
 428  */
 429
 430 ENTRY(__flush_invalidate_dcache_all)
 431         entry   sp, 16
 432
 433         ___flush_invalidate_dcache_all a2 a3
 434         dsync
 435
 436         retw
 437
 438 /*
 439  * void _invalidate_dcache_all(void)
 440  */
 441
 442 ENTRY(__invalidate_dcache_all)
 443         entry   sp, 16
 444
 445         ___invalidate_dcache_all a2 a3
 446         dsync
 447
 448         retw
 449