arch/arm/mm/cache-v4wt.S

   1 /*
   2  *  linux/arch/arm/mm/cache-v4wt.S
   3  *
   4  *  Copyright (C) 1997-2002 Russell king
   5  *
   6  * This program is free software; you can redistribute it and/or modify
   7  * it under the terms of the GNU General Public License version 2 as
   8  * published by the Free Software Foundation.
   9  *
  10  *  ARMv4 write through cache operations support.
  11  *
  12  *  We assume that the write buffer is not enabled.
  13  */
  14 #include <linux/linkage.h>
  15 #include <linux/init.h>
  16 #include <asm/hardware.h>
  17 #include <asm/page.h>
  18 #include "proc-macros.S"
  19
  20 /*
  21  * The size of one data cache line.
  22  */
  23 // following mask by Victor Yu. 06-06-2005
  24 #if 0
  25 #define CACHE_DLINESIZE 32
  26 // following add by Victor Yu. 06-06-2005
  27 #else
  28 #define CACHE_DLINESIZE 16
  29 #endif
  30
  31 /*
  32  * The number of data cache segments.
  33  */
  34 #define CACHE_DSEGMENTS 8
  35
  36 /*
  37  * The number of lines in a cache segment.
  38  */
  39 #define CACHE_DENTRIES  64
  40
  41 /*
  42  * This is the size at which it becomes more efficient to
  43  * clean the whole cache, rather than using the individual
  44  * cache line maintainence instructions.
  45  *
  46  * *** This needs benchmarking
  47  */
  48 #define CACHE_DLIMIT    16384
  49
  50 /*
  51  *      flush_user_cache_all()
  52  *
  53  *      Invalidate all cache entries in a particular address
  54  *      space.
  55  */
  56 ENTRY(v4wt_flush_user_cache_all)
  57         /* FALLTHROUGH */
  58 /*
  59  *      flush_kern_cache_all()
  60  *
  61  *      Clean and invalidate the entire cache.
  62  */
  63 ENTRY(v4wt_flush_kern_cache_all)
  64         mov     r2, #VM_EXEC
  65         mov     ip, #0
  66 __flush_whole_cache:
  67         tst     r2, #VM_EXEC
  68         mcrne   p15, 0, ip, c7, c5, 0           @ invalidate I cache
  69         mcr     p15, 0, ip, c7, c6, 0           @ invalidate D cache
  70         mov     pc, lr
  71
  72 /*
  73  *      flush_user_cache_range(start, end, flags)
  74  *
  75  *      Clean and invalidate a range of cache entries in the specified
  76  *      address space.
  77  *
  78  *      - start - start address (inclusive, page aligned)
  79  *      - end   - end address (exclusive, page aligned)
  80  *      - flags - vma_area_struct flags describing address space
  81  */
  82 ENTRY(v4wt_flush_user_cache_range)
  83         sub     r3, r1, r0                      @ calculate total size
  84         cmp     r3, #CACHE_DLIMIT
  85         bhs     __flush_whole_cache
  86
  87 1:      mcr     p15, 0, r0, c7, c6, 1           @ invalidate D entry
  88         tst     r2, #VM_EXEC
  89         mcrne   p15, 0, r0, c7, c5, 1           @ invalidate I entry
  90         add     r0, r0, #CACHE_DLINESIZE
  91         cmp     r0, r1
  92         blo     1b
  93         mov     pc, lr
  94
  95 /*
  96  *      coherent_kern_range(start, end)
  97  *
  98  *      Ensure coherency between the Icache and the Dcache in the
  99  *      region described by start.  If you have non-snooping
 100  *      Harvard caches, you need to implement this function.
 101  *
 102  *      - start  - virtual start address
 103  *      - end    - virtual end address
 104  */
 105 ENTRY(v4wt_coherent_kern_range)
 106         /* FALLTRHOUGH */
 107
 108 /*
 109  *      coherent_user_range(start, end)
 110  *
 111  *      Ensure coherency between the Icache and the Dcache in the
 112  *      region described by start.  If you have non-snooping
 113  *      Harvard caches, you need to implement this function.
 114  *
 115  *      - start  - virtual start address
 116  *      - end    - virtual end address
 117  */
 118 ENTRY(v4wt_coherent_user_range)
 119         bic     r0, r0, #CACHE_DLINESIZE - 1
 120 1:      mcr     p15, 0, r0, c7, c5, 1           @ invalidate I entry
 121         add     r0, r0, #CACHE_DLINESIZE
 122         cmp     r0, r1
 123         blo     1b
 124         mov     pc, lr
 125
 126 /*
 127  *      flush_kern_dcache_page(void *page)
 128  *
 129  *      Ensure no D cache aliasing occurs, either with itself or
 130  *      the I cache
 131  *
 132  *      - addr  - page aligned address
 133  */
 134 ENTRY(v4wt_flush_kern_dcache_page)
 135         mov     r2, #0
 136         mcr     p15, 0, r2, c7, c5, 0           @ invalidate I cache
 137         add     r1, r0, #PAGE_SZ
 138         /* fallthrough */
 139
 140 /*
 141  *      dma_inv_range(start, end)
 142  *
 143  *      Invalidate (discard) the specified virtual address range.
 144  *      May not write back any entries.  If 'start' or 'end'
 145  *      are not cache line aligned, those lines must be written
 146  *      back.
 147  *
 148  *      - start  - virtual start address
 149  *      - end    - virtual end address
 150  */
 151 ENTRY(v4wt_dma_inv_range)
 152         bic     r0, r0, #CACHE_DLINESIZE - 1
 153 1:      mcr     p15, 0, r0, c7, c6, 1           @ invalidate D entry
 154         add     r0, r0, #CACHE_DLINESIZE
 155         cmp     r0, r1
 156         blo     1b
 157         /* FALLTHROUGH */
 158
 159 /*
 160  *      dma_clean_range(start, end)
 161  *
 162  *      Clean the specified virtual address range.
 163  *
 164  *      - start  - virtual start address
 165  *      - end    - virtual end address
 166  */
 167 ENTRY(v4wt_dma_clean_range)
 168         mov     pc, lr
 169
 170 /*
 171  *      dma_flush_range(start, end)
 172  *
 173  *      Clean and invalidate the specified virtual address range.
 174  *
 175  *      - start  - virtual start address
 176  *      - end    - virtual end address
 177  */
 178         .globl  v4wt_dma_flush_range
 179         .equ    v4wt_dma_flush_range, v4wt_dma_inv_range
 180
 181         __INITDATA
 182
 183         .type   v4wt_cache_fns, #object
 184 ENTRY(v4wt_cache_fns)
 185         .long   v4wt_flush_kern_cache_all
 186         .long   v4wt_flush_user_cache_all
 187         .long   v4wt_flush_user_cache_range
 188         .long   v4wt_coherent_kern_range
 189         .long   v4wt_coherent_user_range
 190         .long   v4wt_flush_kern_dcache_page
 191         .long   v4wt_dma_inv_range
 192         .long   v4wt_dma_clean_range
 193         .long   v4wt_dma_flush_range
 194         .size   v4wt_cache_fns, . - v4wt_cache_fns