arch/powerpc/kernel/vdso64/gettimeofday.S

   1 /*
   2  * Userland implementation of gettimeofday() for 64 bits processes in a
   3  * ppc64 kernel for use in the vDSO
   4  *
   5  * Copyright (C) 2004 Benjamin Herrenschmuidt (benh@kernel.crashing.org),
   6  *                    IBM Corp.
   7  *
   8  * This program is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU General Public License
  10  * as published by the Free Software Foundation; either version
  11  * 2 of the License, or (at your option) any later version.
  12  */
  13 #include <asm/processor.h>
  14 #include <asm/ppc_asm.h>
  15 #include <asm/vdso.h>
  16 #include <asm/asm-offsets.h>
  17 #include <asm/unistd.h>
  18
  19         .text
  20 /*
  21  * Exact prototype of gettimeofday
  22  *
  23  * int __kernel_gettimeofday(struct timeval *tv, struct timezone *tz);
  24  *
  25  */
  26 V_FUNCTION_BEGIN(__kernel_gettimeofday)
  27   .cfi_startproc
  28         mflr    r12
  29   .cfi_register lr,r12
  30
  31         mr      r11,r3                  /* r11 holds tv */
  32         mr      r10,r4                  /* r10 holds tz */
  33         bl      V_LOCAL_FUNC(__get_datapage)    /* get data page */
  34         cmpldi  r11,0                   /* check if tv is NULL */
  35         beq     2f
  36         bl      V_LOCAL_FUNC(__do_get_xsec)     /* get xsec from tb & kernel */
  37         lis     r7,15                   /* r7 = 1000000 = USEC_PER_SEC */
  38         ori     r7,r7,16960
  39         rldicl  r5,r4,44,20             /* r5 = sec = xsec / XSEC_PER_SEC */
  40         rldicr  r6,r5,20,43             /* r6 = sec * XSEC_PER_SEC */
  41         std     r5,TVAL64_TV_SEC(r11)   /* store sec in tv */
  42         subf    r0,r6,r4                /* r0 = xsec = (xsec - r6) */
  43         mulld   r0,r0,r7                /* usec = (xsec * USEC_PER_SEC) /
  44                                          * XSEC_PER_SEC
  45                                          */
  46         rldicl  r0,r0,44,20
  47         std     r0,TVAL64_TV_USEC(r11)  /* store usec in tv */
  48 2:      cmpldi  r10,0                   /* check if tz is NULL */
  49         beq     1f
  50         lwz     r4,CFG_TZ_MINUTEWEST(r3)/* fill tz */
  51         lwz     r5,CFG_TZ_DSTTIME(r3)
  52         stw     r4,TZONE_TZ_MINWEST(r10)
  53         stw     r5,TZONE_TZ_DSTTIME(r10)
  54 1:      mtlr    r12
  55         crclr   cr0*4+so
  56         li      r3,0                    /* always success */
  57         blr
  58   .cfi_endproc
  59 V_FUNCTION_END(__kernel_gettimeofday)
  60
  61
  62 /*
  63  * Exact prototype of clock_gettime()
  64  *
  65  * int __kernel_clock_gettime(clockid_t clock_id, struct timespec *tp);
  66  *
  67  */
  68 V_FUNCTION_BEGIN(__kernel_clock_gettime)
  69   .cfi_startproc
  70         /* Check for supported clock IDs */
  71         cmpwi   cr0,r3,CLOCK_REALTIME
  72         cmpwi   cr1,r3,CLOCK_MONOTONIC
  73         cror    cr0*4+eq,cr0*4+eq,cr1*4+eq
  74         bne     cr0,99f
  75
  76         mflr    r12                     /* r12 saves lr */
  77   .cfi_register lr,r12
  78         mr      r11,r4                  /* r11 saves tp */
  79         bl      V_LOCAL_FUNC(__get_datapage)    /* get data page */
  80 50:     bl      V_LOCAL_FUNC(__do_get_tspec)    /* get time from tb & kernel */
  81         bne     cr1,80f                 /* if not monotonic, all done */
  82
  83         /*
  84          * CLOCK_MONOTONIC
  85          */
  86
  87         /* now we must fixup using wall to monotonic. We need to snapshot
  88          * that value and do the counter trick again. Fortunately, we still
  89          * have the counter value in r8 that was returned by __do_get_tspec.
  90          * At this point, r4,r5 contain our sec/nsec values.
  91          */
  92
  93         lwa     r6,WTOM_CLOCK_SEC(r3)
  94         lwa     r9,WTOM_CLOCK_NSEC(r3)
  95
  96         /* We now have our result in r6,r9. We create a fake dependency
  97          * on that result and re-check the counter
  98          */
  99         or      r0,r6,r9
 100         xor     r0,r0,r0
 101         add     r3,r3,r0
 102         ld      r0,CFG_TB_UPDATE_COUNT(r3)
 103         cmpld   cr0,r0,r8               /* check if updated */
 104         bne-    50b
 105
 106         /* Add wall->monotonic offset and check for overflow or underflow.
 107          */
 108         add     r4,r4,r6
 109         add     r5,r5,r9
 110         cmpd    cr0,r5,r7
 111         cmpdi   cr1,r5,0
 112         blt     1f
 113         subf    r5,r7,r5
 114         addi    r4,r4,1
 115 1:      bge     cr1,80f
 116         addi    r4,r4,-1
 117         add     r5,r5,r7
 118
 119 80:     std     r4,TSPC64_TV_SEC(r11)
 120         std     r5,TSPC64_TV_NSEC(r11)
 121
 122         mtlr    r12
 123         crclr   cr0*4+so
 124         li      r3,0
 125         blr
 126
 127         /*
 128          * syscall fallback
 129          */
 130 99:
 131         li      r0,__NR_clock_gettime
 132         sc
 133         blr
 134   .cfi_endproc
 135 V_FUNCTION_END(__kernel_clock_gettime)
 136
 137
 138 /*
 139  * Exact prototype of clock_getres()
 140  *
 141  * int __kernel_clock_getres(clockid_t clock_id, struct timespec *res);
 142  *
 143  */
 144 V_FUNCTION_BEGIN(__kernel_clock_getres)
 145   .cfi_startproc
 146         /* Check for supported clock IDs */
 147         cmpwi   cr0,r3,CLOCK_REALTIME
 148         cmpwi   cr1,r3,CLOCK_MONOTONIC
 149         cror    cr0*4+eq,cr0*4+eq,cr1*4+eq
 150         bne     cr0,99f
 151
 152         li      r3,0
 153         cmpli   cr0,r4,0
 154         crclr   cr0*4+so
 155         beqlr
 156         lis     r5,CLOCK_REALTIME_RES@h
 157         ori     r5,r5,CLOCK_REALTIME_RES@l
 158         std     r3,TSPC64_TV_SEC(r4)
 159         std     r5,TSPC64_TV_NSEC(r4)
 160         blr
 161
 162         /*
 163          * syscall fallback
 164          */
 165 99:
 166         li      r0,__NR_clock_getres
 167         sc
 168         blr
 169   .cfi_endproc
 170 V_FUNCTION_END(__kernel_clock_getres)
 171
 172
 173 /*
 174  * This is the core of gettimeofday(), it returns the xsec
 175  * value in r4 and expects the datapage ptr (non clobbered)
 176  * in r3. clobbers r0,r4,r5,r6,r7,r8
 177  * When returning, r8 contains the counter value that can be reused
 178  */
 179 V_FUNCTION_BEGIN(__do_get_xsec)
 180   .cfi_startproc
 181         /* check for update count & load values */
 182 1:      ld      r8,CFG_TB_UPDATE_COUNT(r3)
 183         andi.   r0,r8,1                 /* pending update ? loop */
 184         bne-    1b
 185         xor     r0,r8,r8                /* create dependency */
 186         add     r3,r3,r0
 187
 188         /* Get TB & offset it. We use the MFTB macro which will generate
 189          * workaround code for Cell.
 190          */
 191         MFTB(r7)
 192         ld      r9,CFG_TB_ORIG_STAMP(r3)
 193         subf    r7,r9,r7
 194
 195         /* Scale result */
 196         ld      r5,CFG_TB_TO_XS(r3)
 197         mulhdu  r7,r7,r5
 198
 199         /* Add stamp since epoch */
 200         ld      r6,CFG_STAMP_XSEC(r3)
 201         add     r4,r6,r7
 202
 203         xor     r0,r4,r4
 204         add     r3,r3,r0
 205         ld      r0,CFG_TB_UPDATE_COUNT(r3)
 206         cmpld   cr0,r0,r8               /* check if updated */
 207         bne-    1b
 208         blr
 209   .cfi_endproc
 210 V_FUNCTION_END(__do_get_xsec)
 211
 212 /*
 213  * This is the core of clock_gettime(), it returns the current
 214  * time in seconds and nanoseconds in r4 and r5.
 215  * It expects the datapage ptr in r3 and doesn't clobber it.
 216  * It clobbers r0 and r6 and returns NSEC_PER_SEC in r7.
 217  * On return, r8 contains the counter value that can be reused.
 218  * This clobbers cr0 but not any other cr field.
 219  */
 220 V_FUNCTION_BEGIN(__do_get_tspec)
 221   .cfi_startproc
 222         /* check for update count & load values */
 223 1:      ld      r8,CFG_TB_UPDATE_COUNT(r3)
 224         andi.   r0,r8,1                 /* pending update ? loop */
 225         bne-    1b
 226         xor     r0,r8,r8                /* create dependency */
 227         add     r3,r3,r0
 228
 229         /* Get TB & offset it. We use the MFTB macro which will generate
 230          * workaround code for Cell.
 231          */
 232         MFTB(r7)
 233         ld      r9,CFG_TB_ORIG_STAMP(r3)
 234         subf    r7,r9,r7
 235
 236         /* Scale result */
 237         ld      r5,CFG_TB_TO_XS(r3)
 238         sldi    r7,r7,12                /* compute time since stamp_xtime */
 239         mulhdu  r6,r7,r5                /* in units of 2^-32 seconds */
 240
 241         /* Add stamp since epoch */
 242         ld      r4,STAMP_XTIME+TSPC64_TV_SEC(r3)
 243         ld      r5,STAMP_XTIME+TSPC64_TV_NSEC(r3)
 244         or      r0,r4,r5
 245         or      r0,r0,r6
 246         xor     r0,r0,r0
 247         add     r3,r3,r0
 248         ld      r0,CFG_TB_UPDATE_COUNT(r3)
 249         cmpld   r0,r8                   /* check if updated */
 250         bne-    1b                      /* reload if so */
 251
 252         /* convert to seconds & nanoseconds and add to stamp */
 253         lis     r7,NSEC_PER_SEC@h
 254         ori     r7,r7,NSEC_PER_SEC@l
 255         mulhwu  r0,r6,r7                /* compute nanoseconds and */
 256         srdi    r6,r6,32                /* seconds since stamp_xtime */
 257         clrldi  r0,r0,32
 258         add     r5,r5,r0                /* add nanoseconds together */
 259         cmpd    r5,r7                   /* overflow? */
 260         add     r4,r4,r6
 261         bltlr                           /* all done if no overflow */
 262         subf    r5,r7,r5                /* if overflow, adjust */
 263         addi    r4,r4,1
 264         blr
 265   .cfi_endproc
 266 V_FUNCTION_END(__do_get_tspec)