Doug Anson / mbedTLSLibrary

mbed TLS library

Dependents:   HTTPClient-SSL WS_SERVER

include/polarssl/bn_mul.h@0:137634ff4186, 2015-06-11 (annotated)

Committer:
ansond
Date:
Thu Jun 11 03:27:03 2015 +0000
Revision:
0:137634ff4186
initial commit

Who changed what in which revision?

UserRevisionLine numberNew contents of line
ansond 0:137634ff4186 1 /**
ansond 0:137634ff4186 2 * \file bn_mul.h
ansond 0:137634ff4186 3 *
ansond 0:137634ff4186 4 * \brief Multi-precision integer library
ansond 0:137634ff4186 5 *
ansond 0:137634ff4186 6 * Copyright (C) 2006-2010, ARM Limited, All Rights Reserved
ansond 0:137634ff4186 7 *
ansond 0:137634ff4186 8 * This file is part of mbed TLS (https://tls.mbed.org)
ansond 0:137634ff4186 9 *
ansond 0:137634ff4186 10 * This program is free software; you can redistribute it and/or modify
ansond 0:137634ff4186 11 * it under the terms of the GNU General Public License as published by
ansond 0:137634ff4186 12 * the Free Software Foundation; either version 2 of the License, or
ansond 0:137634ff4186 13 * (at your option) any later version.
ansond 0:137634ff4186 14 *
ansond 0:137634ff4186 15 * This program is distributed in the hope that it will be useful,
ansond 0:137634ff4186 16 * but WITHOUT ANY WARRANTY; without even the implied warranty of
ansond 0:137634ff4186 17 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
ansond 0:137634ff4186 18 * GNU General Public License for more details.
ansond 0:137634ff4186 19 *
ansond 0:137634ff4186 20 * You should have received a copy of the GNU General Public License along
ansond 0:137634ff4186 21 * with this program; if not, write to the Free Software Foundation, Inc.,
ansond 0:137634ff4186 22 * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
ansond 0:137634ff4186 23 */
ansond 0:137634ff4186 24 /*
ansond 0:137634ff4186 25 * Multiply source vector [s] with b, add result
ansond 0:137634ff4186 26 * to destination vector [d] and set carry c.
ansond 0:137634ff4186 27 *
ansond 0:137634ff4186 28 * Currently supports:
ansond 0:137634ff4186 29 *
ansond 0:137634ff4186 30 * . IA-32 (386+) . AMD64 / EM64T
ansond 0:137634ff4186 31 * . IA-32 (SSE2) . Motorola 68000
ansond 0:137634ff4186 32 * . PowerPC, 32-bit . MicroBlaze
ansond 0:137634ff4186 33 * . PowerPC, 64-bit . TriCore
ansond 0:137634ff4186 34 * . SPARC v8 . ARM v3+
ansond 0:137634ff4186 35 * . Alpha . MIPS32
ansond 0:137634ff4186 36 * . C, longlong . C, generic
ansond 0:137634ff4186 37 */
ansond 0:137634ff4186 38 #ifndef POLARSSL_BN_MUL_H
ansond 0:137634ff4186 39 #define POLARSSL_BN_MUL_H
ansond 0:137634ff4186 40
ansond 0:137634ff4186 41 #include "bignum.h"
ansond 0:137634ff4186 42
ansond 0:137634ff4186 43 #if defined(POLARSSL_HAVE_ASM)
ansond 0:137634ff4186 44
ansond 0:137634ff4186 45 #if defined(__GNUC__)
ansond 0:137634ff4186 46 #if defined(__i386__)
ansond 0:137634ff4186 47
ansond 0:137634ff4186 48 #define MULADDC_INIT \
ansond 0:137634ff4186 49 asm( \
ansond 0:137634ff4186 50 "movl %%ebx, %0 \n\t" \
ansond 0:137634ff4186 51 "movl %5, %%esi \n\t" \
ansond 0:137634ff4186 52 "movl %6, %%edi \n\t" \
ansond 0:137634ff4186 53 "movl %7, %%ecx \n\t" \
ansond 0:137634ff4186 54 "movl %8, %%ebx \n\t"
ansond 0:137634ff4186 55
ansond 0:137634ff4186 56 #define MULADDC_CORE \
ansond 0:137634ff4186 57 "lodsl \n\t" \
ansond 0:137634ff4186 58 "mull %%ebx \n\t" \
ansond 0:137634ff4186 59 "addl %%ecx, %%eax \n\t" \
ansond 0:137634ff4186 60 "adcl $0, %%edx \n\t" \
ansond 0:137634ff4186 61 "addl (%%edi), %%eax \n\t" \
ansond 0:137634ff4186 62 "adcl $0, %%edx \n\t" \
ansond 0:137634ff4186 63 "movl %%edx, %%ecx \n\t" \
ansond 0:137634ff4186 64 "stosl \n\t"
ansond 0:137634ff4186 65
ansond 0:137634ff4186 66 #if defined(POLARSSL_HAVE_SSE2)
ansond 0:137634ff4186 67
ansond 0:137634ff4186 68 #define MULADDC_HUIT \
ansond 0:137634ff4186 69 "movd %%ecx, %%mm1 \n\t" \
ansond 0:137634ff4186 70 "movd %%ebx, %%mm0 \n\t" \
ansond 0:137634ff4186 71 "movd (%%edi), %%mm3 \n\t" \
ansond 0:137634ff4186 72 "paddq %%mm3, %%mm1 \n\t" \
ansond 0:137634ff4186 73 "movd (%%esi), %%mm2 \n\t" \
ansond 0:137634ff4186 74 "pmuludq %%mm0, %%mm2 \n\t" \
ansond 0:137634ff4186 75 "movd 4(%%esi), %%mm4 \n\t" \
ansond 0:137634ff4186 76 "pmuludq %%mm0, %%mm4 \n\t" \
ansond 0:137634ff4186 77 "movd 8(%%esi), %%mm6 \n\t" \
ansond 0:137634ff4186 78 "pmuludq %%mm0, %%mm6 \n\t" \
ansond 0:137634ff4186 79 "movd 12(%%esi), %%mm7 \n\t" \
ansond 0:137634ff4186 80 "pmuludq %%mm0, %%mm7 \n\t" \
ansond 0:137634ff4186 81 "paddq %%mm2, %%mm1 \n\t" \
ansond 0:137634ff4186 82 "movd 4(%%edi), %%mm3 \n\t" \
ansond 0:137634ff4186 83 "paddq %%mm4, %%mm3 \n\t" \
ansond 0:137634ff4186 84 "movd 8(%%edi), %%mm5 \n\t" \
ansond 0:137634ff4186 85 "paddq %%mm6, %%mm5 \n\t" \
ansond 0:137634ff4186 86 "movd 12(%%edi), %%mm4 \n\t" \
ansond 0:137634ff4186 87 "paddq %%mm4, %%mm7 \n\t" \
ansond 0:137634ff4186 88 "movd %%mm1, (%%edi) \n\t" \
ansond 0:137634ff4186 89 "movd 16(%%esi), %%mm2 \n\t" \
ansond 0:137634ff4186 90 "pmuludq %%mm0, %%mm2 \n\t" \
ansond 0:137634ff4186 91 "psrlq $32, %%mm1 \n\t" \
ansond 0:137634ff4186 92 "movd 20(%%esi), %%mm4 \n\t" \
ansond 0:137634ff4186 93 "pmuludq %%mm0, %%mm4 \n\t" \
ansond 0:137634ff4186 94 "paddq %%mm3, %%mm1 \n\t" \
ansond 0:137634ff4186 95 "movd 24(%%esi), %%mm6 \n\t" \
ansond 0:137634ff4186 96 "pmuludq %%mm0, %%mm6 \n\t" \
ansond 0:137634ff4186 97 "movd %%mm1, 4(%%edi) \n\t" \
ansond 0:137634ff4186 98 "psrlq $32, %%mm1 \n\t" \
ansond 0:137634ff4186 99 "movd 28(%%esi), %%mm3 \n\t" \
ansond 0:137634ff4186 100 "pmuludq %%mm0, %%mm3 \n\t" \
ansond 0:137634ff4186 101 "paddq %%mm5, %%mm1 \n\t" \
ansond 0:137634ff4186 102 "movd 16(%%edi), %%mm5 \n\t" \
ansond 0:137634ff4186 103 "paddq %%mm5, %%mm2 \n\t" \
ansond 0:137634ff4186 104 "movd %%mm1, 8(%%edi) \n\t" \
ansond 0:137634ff4186 105 "psrlq $32, %%mm1 \n\t" \
ansond 0:137634ff4186 106 "paddq %%mm7, %%mm1 \n\t" \
ansond 0:137634ff4186 107 "movd 20(%%edi), %%mm5 \n\t" \
ansond 0:137634ff4186 108 "paddq %%mm5, %%mm4 \n\t" \
ansond 0:137634ff4186 109 "movd %%mm1, 12(%%edi) \n\t" \
ansond 0:137634ff4186 110 "psrlq $32, %%mm1 \n\t" \
ansond 0:137634ff4186 111 "paddq %%mm2, %%mm1 \n\t" \
ansond 0:137634ff4186 112 "movd 24(%%edi), %%mm5 \n\t" \
ansond 0:137634ff4186 113 "paddq %%mm5, %%mm6 \n\t" \
ansond 0:137634ff4186 114 "movd %%mm1, 16(%%edi) \n\t" \
ansond 0:137634ff4186 115 "psrlq $32, %%mm1 \n\t" \
ansond 0:137634ff4186 116 "paddq %%mm4, %%mm1 \n\t" \
ansond 0:137634ff4186 117 "movd 28(%%edi), %%mm5 \n\t" \
ansond 0:137634ff4186 118 "paddq %%mm5, %%mm3 \n\t" \
ansond 0:137634ff4186 119 "movd %%mm1, 20(%%edi) \n\t" \
ansond 0:137634ff4186 120 "psrlq $32, %%mm1 \n\t" \
ansond 0:137634ff4186 121 "paddq %%mm6, %%mm1 \n\t" \
ansond 0:137634ff4186 122 "movd %%mm1, 24(%%edi) \n\t" \
ansond 0:137634ff4186 123 "psrlq $32, %%mm1 \n\t" \
ansond 0:137634ff4186 124 "paddq %%mm3, %%mm1 \n\t" \
ansond 0:137634ff4186 125 "movd %%mm1, 28(%%edi) \n\t" \
ansond 0:137634ff4186 126 "addl $32, %%edi \n\t" \
ansond 0:137634ff4186 127 "addl $32, %%esi \n\t" \
ansond 0:137634ff4186 128 "psrlq $32, %%mm1 \n\t" \
ansond 0:137634ff4186 129 "movd %%mm1, %%ecx \n\t"
ansond 0:137634ff4186 130
ansond 0:137634ff4186 131 #define MULADDC_STOP \
ansond 0:137634ff4186 132 "emms \n\t" \
ansond 0:137634ff4186 133 "movl %4, %%ebx \n\t" \
ansond 0:137634ff4186 134 "movl %%ecx, %1 \n\t" \
ansond 0:137634ff4186 135 "movl %%edi, %2 \n\t" \
ansond 0:137634ff4186 136 "movl %%esi, %3 \n\t" \
ansond 0:137634ff4186 137 : "=m" (t), "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 138 : "m" (t), "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 139 : "eax", "ecx", "edx", "esi", "edi" \
ansond 0:137634ff4186 140 );
ansond 0:137634ff4186 141
ansond 0:137634ff4186 142 #else
ansond 0:137634ff4186 143
ansond 0:137634ff4186 144 #define MULADDC_STOP \
ansond 0:137634ff4186 145 "movl %4, %%ebx \n\t" \
ansond 0:137634ff4186 146 "movl %%ecx, %1 \n\t" \
ansond 0:137634ff4186 147 "movl %%edi, %2 \n\t" \
ansond 0:137634ff4186 148 "movl %%esi, %3 \n\t" \
ansond 0:137634ff4186 149 : "=m" (t), "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 150 : "m" (t), "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 151 : "eax", "ecx", "edx", "esi", "edi" \
ansond 0:137634ff4186 152 );
ansond 0:137634ff4186 153 #endif /* SSE2 */
ansond 0:137634ff4186 154 #endif /* i386 */
ansond 0:137634ff4186 155
ansond 0:137634ff4186 156 #if defined(__amd64__) || defined (__x86_64__)
ansond 0:137634ff4186 157
ansond 0:137634ff4186 158 #define MULADDC_INIT \
ansond 0:137634ff4186 159 asm( \
ansond 0:137634ff4186 160 "movq %3, %%rsi \n\t" \
ansond 0:137634ff4186 161 "movq %4, %%rdi \n\t" \
ansond 0:137634ff4186 162 "movq %5, %%rcx \n\t" \
ansond 0:137634ff4186 163 "movq %6, %%rbx \n\t" \
ansond 0:137634ff4186 164 "xorq %%r8, %%r8 \n\t"
ansond 0:137634ff4186 165
ansond 0:137634ff4186 166 #define MULADDC_CORE \
ansond 0:137634ff4186 167 "movq (%%rsi), %%rax \n\t" \
ansond 0:137634ff4186 168 "mulq %%rbx \n\t" \
ansond 0:137634ff4186 169 "addq $8, %%rsi \n\t" \
ansond 0:137634ff4186 170 "addq %%rcx, %%rax \n\t" \
ansond 0:137634ff4186 171 "movq %%r8, %%rcx \n\t" \
ansond 0:137634ff4186 172 "adcq $0, %%rdx \n\t" \
ansond 0:137634ff4186 173 "nop \n\t" \
ansond 0:137634ff4186 174 "addq %%rax, (%%rdi) \n\t" \
ansond 0:137634ff4186 175 "adcq %%rdx, %%rcx \n\t" \
ansond 0:137634ff4186 176 "addq $8, %%rdi \n\t"
ansond 0:137634ff4186 177
ansond 0:137634ff4186 178 #define MULADDC_STOP \
ansond 0:137634ff4186 179 "movq %%rcx, %0 \n\t" \
ansond 0:137634ff4186 180 "movq %%rdi, %1 \n\t" \
ansond 0:137634ff4186 181 "movq %%rsi, %2 \n\t" \
ansond 0:137634ff4186 182 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 183 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 184 : "rax", "rcx", "rdx", "rbx", "rsi", "rdi", "r8" \
ansond 0:137634ff4186 185 );
ansond 0:137634ff4186 186
ansond 0:137634ff4186 187 #endif /* AMD64 */
ansond 0:137634ff4186 188
ansond 0:137634ff4186 189 #if defined(__mc68020__) || defined(__mcpu32__)
ansond 0:137634ff4186 190
ansond 0:137634ff4186 191 #define MULADDC_INIT \
ansond 0:137634ff4186 192 asm( \
ansond 0:137634ff4186 193 "movl %3, %%a2 \n\t" \
ansond 0:137634ff4186 194 "movl %4, %%a3 \n\t" \
ansond 0:137634ff4186 195 "movl %5, %%d3 \n\t" \
ansond 0:137634ff4186 196 "movl %6, %%d2 \n\t" \
ansond 0:137634ff4186 197 "moveq #0, %%d0 \n\t"
ansond 0:137634ff4186 198
ansond 0:137634ff4186 199 #define MULADDC_CORE \
ansond 0:137634ff4186 200 "movel %%a2@+, %%d1 \n\t" \
ansond 0:137634ff4186 201 "mulul %%d2, %%d4:%%d1 \n\t" \
ansond 0:137634ff4186 202 "addl %%d3, %%d1 \n\t" \
ansond 0:137634ff4186 203 "addxl %%d0, %%d4 \n\t" \
ansond 0:137634ff4186 204 "moveq #0, %%d3 \n\t" \
ansond 0:137634ff4186 205 "addl %%d1, %%a3@+ \n\t" \
ansond 0:137634ff4186 206 "addxl %%d4, %%d3 \n\t"
ansond 0:137634ff4186 207
ansond 0:137634ff4186 208 #define MULADDC_STOP \
ansond 0:137634ff4186 209 "movl %%d3, %0 \n\t" \
ansond 0:137634ff4186 210 "movl %%a3, %1 \n\t" \
ansond 0:137634ff4186 211 "movl %%a2, %2 \n\t" \
ansond 0:137634ff4186 212 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 213 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 214 : "d0", "d1", "d2", "d3", "d4", "a2", "a3" \
ansond 0:137634ff4186 215 );
ansond 0:137634ff4186 216
ansond 0:137634ff4186 217 #define MULADDC_HUIT \
ansond 0:137634ff4186 218 "movel %%a2@+, %%d1 \n\t" \
ansond 0:137634ff4186 219 "mulul %%d2, %%d4:%%d1 \n\t" \
ansond 0:137634ff4186 220 "addxl %%d3, %%d1 \n\t" \
ansond 0:137634ff4186 221 "addxl %%d0, %%d4 \n\t" \
ansond 0:137634ff4186 222 "addl %%d1, %%a3@+ \n\t" \
ansond 0:137634ff4186 223 "movel %%a2@+, %%d1 \n\t" \
ansond 0:137634ff4186 224 "mulul %%d2, %%d3:%%d1 \n\t" \
ansond 0:137634ff4186 225 "addxl %%d4, %%d1 \n\t" \
ansond 0:137634ff4186 226 "addxl %%d0, %%d3 \n\t" \
ansond 0:137634ff4186 227 "addl %%d1, %%a3@+ \n\t" \
ansond 0:137634ff4186 228 "movel %%a2@+, %%d1 \n\t" \
ansond 0:137634ff4186 229 "mulul %%d2, %%d4:%%d1 \n\t" \
ansond 0:137634ff4186 230 "addxl %%d3, %%d1 \n\t" \
ansond 0:137634ff4186 231 "addxl %%d0, %%d4 \n\t" \
ansond 0:137634ff4186 232 "addl %%d1, %%a3@+ \n\t" \
ansond 0:137634ff4186 233 "movel %%a2@+, %%d1 \n\t" \
ansond 0:137634ff4186 234 "mulul %%d2, %%d3:%%d1 \n\t" \
ansond 0:137634ff4186 235 "addxl %%d4, %%d1 \n\t" \
ansond 0:137634ff4186 236 "addxl %%d0, %%d3 \n\t" \
ansond 0:137634ff4186 237 "addl %%d1, %%a3@+ \n\t" \
ansond 0:137634ff4186 238 "movel %%a2@+, %%d1 \n\t" \
ansond 0:137634ff4186 239 "mulul %%d2, %%d4:%%d1 \n\t" \
ansond 0:137634ff4186 240 "addxl %%d3, %%d1 \n\t" \
ansond 0:137634ff4186 241 "addxl %%d0, %%d4 \n\t" \
ansond 0:137634ff4186 242 "addl %%d1, %%a3@+ \n\t" \
ansond 0:137634ff4186 243 "movel %%a2@+, %%d1 \n\t" \
ansond 0:137634ff4186 244 "mulul %%d2, %%d3:%%d1 \n\t" \
ansond 0:137634ff4186 245 "addxl %%d4, %%d1 \n\t" \
ansond 0:137634ff4186 246 "addxl %%d0, %%d3 \n\t" \
ansond 0:137634ff4186 247 "addl %%d1, %%a3@+ \n\t" \
ansond 0:137634ff4186 248 "movel %%a2@+, %%d1 \n\t" \
ansond 0:137634ff4186 249 "mulul %%d2, %%d4:%%d1 \n\t" \
ansond 0:137634ff4186 250 "addxl %%d3, %%d1 \n\t" \
ansond 0:137634ff4186 251 "addxl %%d0, %%d4 \n\t" \
ansond 0:137634ff4186 252 "addl %%d1, %%a3@+ \n\t" \
ansond 0:137634ff4186 253 "movel %%a2@+, %%d1 \n\t" \
ansond 0:137634ff4186 254 "mulul %%d2, %%d3:%%d1 \n\t" \
ansond 0:137634ff4186 255 "addxl %%d4, %%d1 \n\t" \
ansond 0:137634ff4186 256 "addxl %%d0, %%d3 \n\t" \
ansond 0:137634ff4186 257 "addl %%d1, %%a3@+ \n\t" \
ansond 0:137634ff4186 258 "addxl %%d0, %%d3 \n\t"
ansond 0:137634ff4186 259
ansond 0:137634ff4186 260 #endif /* MC68000 */
ansond 0:137634ff4186 261
ansond 0:137634ff4186 262 #if defined(__powerpc64__) || defined(__ppc64__)
ansond 0:137634ff4186 263
ansond 0:137634ff4186 264 #if defined(__MACH__) && defined(__APPLE__)
ansond 0:137634ff4186 265
ansond 0:137634ff4186 266 #define MULADDC_INIT \
ansond 0:137634ff4186 267 asm( \
ansond 0:137634ff4186 268 "ld r3, %3 \n\t" \
ansond 0:137634ff4186 269 "ld r4, %4 \n\t" \
ansond 0:137634ff4186 270 "ld r5, %5 \n\t" \
ansond 0:137634ff4186 271 "ld r6, %6 \n\t" \
ansond 0:137634ff4186 272 "addi r3, r3, -8 \n\t" \
ansond 0:137634ff4186 273 "addi r4, r4, -8 \n\t" \
ansond 0:137634ff4186 274 "addic r5, r5, 0 \n\t"
ansond 0:137634ff4186 275
ansond 0:137634ff4186 276 #define MULADDC_CORE \
ansond 0:137634ff4186 277 "ldu r7, 8(r3) \n\t" \
ansond 0:137634ff4186 278 "mulld r8, r7, r6 \n\t" \
ansond 0:137634ff4186 279 "mulhdu r9, r7, r6 \n\t" \
ansond 0:137634ff4186 280 "adde r8, r8, r5 \n\t" \
ansond 0:137634ff4186 281 "ld r7, 8(r4) \n\t" \
ansond 0:137634ff4186 282 "addze r5, r9 \n\t" \
ansond 0:137634ff4186 283 "addc r8, r8, r7 \n\t" \
ansond 0:137634ff4186 284 "stdu r8, 8(r4) \n\t"
ansond 0:137634ff4186 285
ansond 0:137634ff4186 286 #define MULADDC_STOP \
ansond 0:137634ff4186 287 "addze r5, r5 \n\t" \
ansond 0:137634ff4186 288 "addi r4, r4, 8 \n\t" \
ansond 0:137634ff4186 289 "addi r3, r3, 8 \n\t" \
ansond 0:137634ff4186 290 "std r5, %0 \n\t" \
ansond 0:137634ff4186 291 "std r4, %1 \n\t" \
ansond 0:137634ff4186 292 "std r3, %2 \n\t" \
ansond 0:137634ff4186 293 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 294 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 295 : "r3", "r4", "r5", "r6", "r7", "r8", "r9" \
ansond 0:137634ff4186 296 );
ansond 0:137634ff4186 297
ansond 0:137634ff4186 298
ansond 0:137634ff4186 299 #else /* __MACH__ && __APPLE__ */
ansond 0:137634ff4186 300
ansond 0:137634ff4186 301 #define MULADDC_INIT \
ansond 0:137634ff4186 302 asm( \
ansond 0:137634ff4186 303 "ld %%r3, %3 \n\t" \
ansond 0:137634ff4186 304 "ld %%r4, %4 \n\t" \
ansond 0:137634ff4186 305 "ld %%r5, %5 \n\t" \
ansond 0:137634ff4186 306 "ld %%r6, %6 \n\t" \
ansond 0:137634ff4186 307 "addi %%r3, %%r3, -8 \n\t" \
ansond 0:137634ff4186 308 "addi %%r4, %%r4, -8 \n\t" \
ansond 0:137634ff4186 309 "addic %%r5, %%r5, 0 \n\t"
ansond 0:137634ff4186 310
ansond 0:137634ff4186 311 #define MULADDC_CORE \
ansond 0:137634ff4186 312 "ldu %%r7, 8(%%r3) \n\t" \
ansond 0:137634ff4186 313 "mulld %%r8, %%r7, %%r6 \n\t" \
ansond 0:137634ff4186 314 "mulhdu %%r9, %%r7, %%r6 \n\t" \
ansond 0:137634ff4186 315 "adde %%r8, %%r8, %%r5 \n\t" \
ansond 0:137634ff4186 316 "ld %%r7, 8(%%r4) \n\t" \
ansond 0:137634ff4186 317 "addze %%r5, %%r9 \n\t" \
ansond 0:137634ff4186 318 "addc %%r8, %%r8, %%r7 \n\t" \
ansond 0:137634ff4186 319 "stdu %%r8, 8(%%r4) \n\t"
ansond 0:137634ff4186 320
ansond 0:137634ff4186 321 #define MULADDC_STOP \
ansond 0:137634ff4186 322 "addze %%r5, %%r5 \n\t" \
ansond 0:137634ff4186 323 "addi %%r4, %%r4, 8 \n\t" \
ansond 0:137634ff4186 324 "addi %%r3, %%r3, 8 \n\t" \
ansond 0:137634ff4186 325 "std %%r5, %0 \n\t" \
ansond 0:137634ff4186 326 "std %%r4, %1 \n\t" \
ansond 0:137634ff4186 327 "std %%r3, %2 \n\t" \
ansond 0:137634ff4186 328 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 329 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 330 : "r3", "r4", "r5", "r6", "r7", "r8", "r9" \
ansond 0:137634ff4186 331 );
ansond 0:137634ff4186 332
ansond 0:137634ff4186 333 #endif /* __MACH__ && __APPLE__ */
ansond 0:137634ff4186 334
ansond 0:137634ff4186 335 #elif defined(__powerpc__) || defined(__ppc__) /* end PPC64/begin PPC32 */
ansond 0:137634ff4186 336
ansond 0:137634ff4186 337 #if defined(__MACH__) && defined(__APPLE__)
ansond 0:137634ff4186 338
ansond 0:137634ff4186 339 #define MULADDC_INIT \
ansond 0:137634ff4186 340 asm( \
ansond 0:137634ff4186 341 "lwz r3, %3 \n\t" \
ansond 0:137634ff4186 342 "lwz r4, %4 \n\t" \
ansond 0:137634ff4186 343 "lwz r5, %5 \n\t" \
ansond 0:137634ff4186 344 "lwz r6, %6 \n\t" \
ansond 0:137634ff4186 345 "addi r3, r3, -4 \n\t" \
ansond 0:137634ff4186 346 "addi r4, r4, -4 \n\t" \
ansond 0:137634ff4186 347 "addic r5, r5, 0 \n\t"
ansond 0:137634ff4186 348
ansond 0:137634ff4186 349 #define MULADDC_CORE \
ansond 0:137634ff4186 350 "lwzu r7, 4(r3) \n\t" \
ansond 0:137634ff4186 351 "mullw r8, r7, r6 \n\t" \
ansond 0:137634ff4186 352 "mulhwu r9, r7, r6 \n\t" \
ansond 0:137634ff4186 353 "adde r8, r8, r5 \n\t" \
ansond 0:137634ff4186 354 "lwz r7, 4(r4) \n\t" \
ansond 0:137634ff4186 355 "addze r5, r9 \n\t" \
ansond 0:137634ff4186 356 "addc r8, r8, r7 \n\t" \
ansond 0:137634ff4186 357 "stwu r8, 4(r4) \n\t"
ansond 0:137634ff4186 358
ansond 0:137634ff4186 359 #define MULADDC_STOP \
ansond 0:137634ff4186 360 "addze r5, r5 \n\t" \
ansond 0:137634ff4186 361 "addi r4, r4, 4 \n\t" \
ansond 0:137634ff4186 362 "addi r3, r3, 4 \n\t" \
ansond 0:137634ff4186 363 "stw r5, %0 \n\t" \
ansond 0:137634ff4186 364 "stw r4, %1 \n\t" \
ansond 0:137634ff4186 365 "stw r3, %2 \n\t" \
ansond 0:137634ff4186 366 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 367 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 368 : "r3", "r4", "r5", "r6", "r7", "r8", "r9" \
ansond 0:137634ff4186 369 );
ansond 0:137634ff4186 370
ansond 0:137634ff4186 371 #else /* __MACH__ && __APPLE__ */
ansond 0:137634ff4186 372
ansond 0:137634ff4186 373 #define MULADDC_INIT \
ansond 0:137634ff4186 374 asm( \
ansond 0:137634ff4186 375 "lwz %%r3, %3 \n\t" \
ansond 0:137634ff4186 376 "lwz %%r4, %4 \n\t" \
ansond 0:137634ff4186 377 "lwz %%r5, %5 \n\t" \
ansond 0:137634ff4186 378 "lwz %%r6, %6 \n\t" \
ansond 0:137634ff4186 379 "addi %%r3, %%r3, -4 \n\t" \
ansond 0:137634ff4186 380 "addi %%r4, %%r4, -4 \n\t" \
ansond 0:137634ff4186 381 "addic %%r5, %%r5, 0 \n\t"
ansond 0:137634ff4186 382
ansond 0:137634ff4186 383 #define MULADDC_CORE \
ansond 0:137634ff4186 384 "lwzu %%r7, 4(%%r3) \n\t" \
ansond 0:137634ff4186 385 "mullw %%r8, %%r7, %%r6 \n\t" \
ansond 0:137634ff4186 386 "mulhwu %%r9, %%r7, %%r6 \n\t" \
ansond 0:137634ff4186 387 "adde %%r8, %%r8, %%r5 \n\t" \
ansond 0:137634ff4186 388 "lwz %%r7, 4(%%r4) \n\t" \
ansond 0:137634ff4186 389 "addze %%r5, %%r9 \n\t" \
ansond 0:137634ff4186 390 "addc %%r8, %%r8, %%r7 \n\t" \
ansond 0:137634ff4186 391 "stwu %%r8, 4(%%r4) \n\t"
ansond 0:137634ff4186 392
ansond 0:137634ff4186 393 #define MULADDC_STOP \
ansond 0:137634ff4186 394 "addze %%r5, %%r5 \n\t" \
ansond 0:137634ff4186 395 "addi %%r4, %%r4, 4 \n\t" \
ansond 0:137634ff4186 396 "addi %%r3, %%r3, 4 \n\t" \
ansond 0:137634ff4186 397 "stw %%r5, %0 \n\t" \
ansond 0:137634ff4186 398 "stw %%r4, %1 \n\t" \
ansond 0:137634ff4186 399 "stw %%r3, %2 \n\t" \
ansond 0:137634ff4186 400 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 401 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 402 : "r3", "r4", "r5", "r6", "r7", "r8", "r9" \
ansond 0:137634ff4186 403 );
ansond 0:137634ff4186 404
ansond 0:137634ff4186 405 #endif /* __MACH__ && __APPLE__ */
ansond 0:137634ff4186 406
ansond 0:137634ff4186 407 #endif /* PPC32 */
ansond 0:137634ff4186 408
ansond 0:137634ff4186 409 /*
ansond 0:137634ff4186 410 * The Sparc64 assembly is reported to be broken.
ansond 0:137634ff4186 411 * Disable it for now, until we're able to fix it.
ansond 0:137634ff4186 412 */
ansond 0:137634ff4186 413 #if 0 && defined(__sparc__) && defined(__sparc64__)
ansond 0:137634ff4186 414
ansond 0:137634ff4186 415 #define MULADDC_INIT \
ansond 0:137634ff4186 416 asm( \
ansond 0:137634ff4186 417 "ldx %3, %%o0 \n\t" \
ansond 0:137634ff4186 418 "ldx %4, %%o1 \n\t" \
ansond 0:137634ff4186 419 "ld %5, %%o2 \n\t" \
ansond 0:137634ff4186 420 "ld %6, %%o3 \n\t"
ansond 0:137634ff4186 421
ansond 0:137634ff4186 422 #define MULADDC_CORE \
ansond 0:137634ff4186 423 "ld [%%o0], %%o4 \n\t" \
ansond 0:137634ff4186 424 "inc 4, %%o0 \n\t" \
ansond 0:137634ff4186 425 "ld [%%o1], %%o5 \n\t" \
ansond 0:137634ff4186 426 "umul %%o3, %%o4, %%o4 \n\t" \
ansond 0:137634ff4186 427 "addcc %%o4, %%o2, %%o4 \n\t" \
ansond 0:137634ff4186 428 "rd %%y, %%g1 \n\t" \
ansond 0:137634ff4186 429 "addx %%g1, 0, %%g1 \n\t" \
ansond 0:137634ff4186 430 "addcc %%o4, %%o5, %%o4 \n\t" \
ansond 0:137634ff4186 431 "st %%o4, [%%o1] \n\t" \
ansond 0:137634ff4186 432 "addx %%g1, 0, %%o2 \n\t" \
ansond 0:137634ff4186 433 "inc 4, %%o1 \n\t"
ansond 0:137634ff4186 434
ansond 0:137634ff4186 435 #define MULADDC_STOP \
ansond 0:137634ff4186 436 "st %%o2, %0 \n\t" \
ansond 0:137634ff4186 437 "stx %%o1, %1 \n\t" \
ansond 0:137634ff4186 438 "stx %%o0, %2 \n\t" \
ansond 0:137634ff4186 439 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 440 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 441 : "g1", "o0", "o1", "o2", "o3", "o4", \
ansond 0:137634ff4186 442 "o5" \
ansond 0:137634ff4186 443 );
ansond 0:137634ff4186 444 #endif /* SPARCv9 */
ansond 0:137634ff4186 445
ansond 0:137634ff4186 446 #if defined(__sparc__) && !defined(__sparc64__)
ansond 0:137634ff4186 447
ansond 0:137634ff4186 448 #define MULADDC_INIT \
ansond 0:137634ff4186 449 asm( \
ansond 0:137634ff4186 450 "ld %3, %%o0 \n\t" \
ansond 0:137634ff4186 451 "ld %4, %%o1 \n\t" \
ansond 0:137634ff4186 452 "ld %5, %%o2 \n\t" \
ansond 0:137634ff4186 453 "ld %6, %%o3 \n\t"
ansond 0:137634ff4186 454
ansond 0:137634ff4186 455 #define MULADDC_CORE \
ansond 0:137634ff4186 456 "ld [%%o0], %%o4 \n\t" \
ansond 0:137634ff4186 457 "inc 4, %%o0 \n\t" \
ansond 0:137634ff4186 458 "ld [%%o1], %%o5 \n\t" \
ansond 0:137634ff4186 459 "umul %%o3, %%o4, %%o4 \n\t" \
ansond 0:137634ff4186 460 "addcc %%o4, %%o2, %%o4 \n\t" \
ansond 0:137634ff4186 461 "rd %%y, %%g1 \n\t" \
ansond 0:137634ff4186 462 "addx %%g1, 0, %%g1 \n\t" \
ansond 0:137634ff4186 463 "addcc %%o4, %%o5, %%o4 \n\t" \
ansond 0:137634ff4186 464 "st %%o4, [%%o1] \n\t" \
ansond 0:137634ff4186 465 "addx %%g1, 0, %%o2 \n\t" \
ansond 0:137634ff4186 466 "inc 4, %%o1 \n\t"
ansond 0:137634ff4186 467
ansond 0:137634ff4186 468 #define MULADDC_STOP \
ansond 0:137634ff4186 469 "st %%o2, %0 \n\t" \
ansond 0:137634ff4186 470 "st %%o1, %1 \n\t" \
ansond 0:137634ff4186 471 "st %%o0, %2 \n\t" \
ansond 0:137634ff4186 472 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 473 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 474 : "g1", "o0", "o1", "o2", "o3", "o4", \
ansond 0:137634ff4186 475 "o5" \
ansond 0:137634ff4186 476 );
ansond 0:137634ff4186 477
ansond 0:137634ff4186 478 #endif /* SPARCv8 */
ansond 0:137634ff4186 479
ansond 0:137634ff4186 480 #if defined(__microblaze__) || defined(microblaze)
ansond 0:137634ff4186 481
ansond 0:137634ff4186 482 #define MULADDC_INIT \
ansond 0:137634ff4186 483 asm( \
ansond 0:137634ff4186 484 "lwi r3, %3 \n\t" \
ansond 0:137634ff4186 485 "lwi r4, %4 \n\t" \
ansond 0:137634ff4186 486 "lwi r5, %5 \n\t" \
ansond 0:137634ff4186 487 "lwi r6, %6 \n\t" \
ansond 0:137634ff4186 488 "andi r7, r6, 0xffff \n\t" \
ansond 0:137634ff4186 489 "bsrli r6, r6, 16 \n\t"
ansond 0:137634ff4186 490
ansond 0:137634ff4186 491 #define MULADDC_CORE \
ansond 0:137634ff4186 492 "lhui r8, r3, 0 \n\t" \
ansond 0:137634ff4186 493 "addi r3, r3, 2 \n\t" \
ansond 0:137634ff4186 494 "lhui r9, r3, 0 \n\t" \
ansond 0:137634ff4186 495 "addi r3, r3, 2 \n\t" \
ansond 0:137634ff4186 496 "mul r10, r9, r6 \n\t" \
ansond 0:137634ff4186 497 "mul r11, r8, r7 \n\t" \
ansond 0:137634ff4186 498 "mul r12, r9, r7 \n\t" \
ansond 0:137634ff4186 499 "mul r13, r8, r6 \n\t" \
ansond 0:137634ff4186 500 "bsrli r8, r10, 16 \n\t" \
ansond 0:137634ff4186 501 "bsrli r9, r11, 16 \n\t" \
ansond 0:137634ff4186 502 "add r13, r13, r8 \n\t" \
ansond 0:137634ff4186 503 "add r13, r13, r9 \n\t" \
ansond 0:137634ff4186 504 "bslli r10, r10, 16 \n\t" \
ansond 0:137634ff4186 505 "bslli r11, r11, 16 \n\t" \
ansond 0:137634ff4186 506 "add r12, r12, r10 \n\t" \
ansond 0:137634ff4186 507 "addc r13, r13, r0 \n\t" \
ansond 0:137634ff4186 508 "add r12, r12, r11 \n\t" \
ansond 0:137634ff4186 509 "addc r13, r13, r0 \n\t" \
ansond 0:137634ff4186 510 "lwi r10, r4, 0 \n\t" \
ansond 0:137634ff4186 511 "add r12, r12, r10 \n\t" \
ansond 0:137634ff4186 512 "addc r13, r13, r0 \n\t" \
ansond 0:137634ff4186 513 "add r12, r12, r5 \n\t" \
ansond 0:137634ff4186 514 "addc r5, r13, r0 \n\t" \
ansond 0:137634ff4186 515 "swi r12, r4, 0 \n\t" \
ansond 0:137634ff4186 516 "addi r4, r4, 4 \n\t"
ansond 0:137634ff4186 517
ansond 0:137634ff4186 518 #define MULADDC_STOP \
ansond 0:137634ff4186 519 "swi r5, %0 \n\t" \
ansond 0:137634ff4186 520 "swi r4, %1 \n\t" \
ansond 0:137634ff4186 521 "swi r3, %2 \n\t" \
ansond 0:137634ff4186 522 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 523 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 524 : "r3", "r4" "r5", "r6", "r7", "r8", \
ansond 0:137634ff4186 525 "r9", "r10", "r11", "r12", "r13" \
ansond 0:137634ff4186 526 );
ansond 0:137634ff4186 527
ansond 0:137634ff4186 528 #endif /* MicroBlaze */
ansond 0:137634ff4186 529
ansond 0:137634ff4186 530 #if defined(__tricore__)
ansond 0:137634ff4186 531
ansond 0:137634ff4186 532 #define MULADDC_INIT \
ansond 0:137634ff4186 533 asm( \
ansond 0:137634ff4186 534 "ld.a %%a2, %3 \n\t" \
ansond 0:137634ff4186 535 "ld.a %%a3, %4 \n\t" \
ansond 0:137634ff4186 536 "ld.w %%d4, %5 \n\t" \
ansond 0:137634ff4186 537 "ld.w %%d1, %6 \n\t" \
ansond 0:137634ff4186 538 "xor %%d5, %%d5 \n\t"
ansond 0:137634ff4186 539
ansond 0:137634ff4186 540 #define MULADDC_CORE \
ansond 0:137634ff4186 541 "ld.w %%d0, [%%a2+] \n\t" \
ansond 0:137634ff4186 542 "madd.u %%e2, %%e4, %%d0, %%d1 \n\t" \
ansond 0:137634ff4186 543 "ld.w %%d0, [%%a3] \n\t" \
ansond 0:137634ff4186 544 "addx %%d2, %%d2, %%d0 \n\t" \
ansond 0:137634ff4186 545 "addc %%d3, %%d3, 0 \n\t" \
ansond 0:137634ff4186 546 "mov %%d4, %%d3 \n\t" \
ansond 0:137634ff4186 547 "st.w [%%a3+], %%d2 \n\t"
ansond 0:137634ff4186 548
ansond 0:137634ff4186 549 #define MULADDC_STOP \
ansond 0:137634ff4186 550 "st.w %0, %%d4 \n\t" \
ansond 0:137634ff4186 551 "st.a %1, %%a3 \n\t" \
ansond 0:137634ff4186 552 "st.a %2, %%a2 \n\t" \
ansond 0:137634ff4186 553 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 554 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 555 : "d0", "d1", "e2", "d4", "a2", "a3" \
ansond 0:137634ff4186 556 );
ansond 0:137634ff4186 557
ansond 0:137634ff4186 558 #endif /* TriCore */
ansond 0:137634ff4186 559
ansond 0:137634ff4186 560 #if defined(__arm__)
ansond 0:137634ff4186 561
ansond 0:137634ff4186 562 #if defined(__thumb__) && !defined(__thumb2__)
ansond 0:137634ff4186 563
ansond 0:137634ff4186 564 #define MULADDC_INIT \
ansond 0:137634ff4186 565 asm( \
ansond 0:137634ff4186 566 "ldr r0, %3 \n\t" \
ansond 0:137634ff4186 567 "ldr r1, %4 \n\t" \
ansond 0:137634ff4186 568 "ldr r2, %5 \n\t" \
ansond 0:137634ff4186 569 "ldr r3, %6 \n\t" \
ansond 0:137634ff4186 570 "lsr r7, r3, #16 \n\t" \
ansond 0:137634ff4186 571 "mov r9, r7 \n\t" \
ansond 0:137634ff4186 572 "lsl r7, r3, #16 \n\t" \
ansond 0:137634ff4186 573 "lsr r7, r7, #16 \n\t" \
ansond 0:137634ff4186 574 "mov r8, r7 \n\t"
ansond 0:137634ff4186 575
ansond 0:137634ff4186 576 #define MULADDC_CORE \
ansond 0:137634ff4186 577 "ldmia r0!, {r6} \n\t" \
ansond 0:137634ff4186 578 "lsr r7, r6, #16 \n\t" \
ansond 0:137634ff4186 579 "lsl r6, r6, #16 \n\t" \
ansond 0:137634ff4186 580 "lsr r6, r6, #16 \n\t" \
ansond 0:137634ff4186 581 "mov r4, r8 \n\t" \
ansond 0:137634ff4186 582 "mul r4, r6 \n\t" \
ansond 0:137634ff4186 583 "mov r3, r9 \n\t" \
ansond 0:137634ff4186 584 "mul r6, r3 \n\t" \
ansond 0:137634ff4186 585 "mov r5, r9 \n\t" \
ansond 0:137634ff4186 586 "mul r5, r7 \n\t" \
ansond 0:137634ff4186 587 "mov r3, r8 \n\t" \
ansond 0:137634ff4186 588 "mul r7, r3 \n\t" \
ansond 0:137634ff4186 589 "lsr r3, r6, #16 \n\t" \
ansond 0:137634ff4186 590 "add r5, r5, r3 \n\t" \
ansond 0:137634ff4186 591 "lsr r3, r7, #16 \n\t" \
ansond 0:137634ff4186 592 "add r5, r5, r3 \n\t" \
ansond 0:137634ff4186 593 "add r4, r4, r2 \n\t" \
ansond 0:137634ff4186 594 "mov r2, #0 \n\t" \
ansond 0:137634ff4186 595 "adc r5, r2 \n\t" \
ansond 0:137634ff4186 596 "lsl r3, r6, #16 \n\t" \
ansond 0:137634ff4186 597 "add r4, r4, r3 \n\t" \
ansond 0:137634ff4186 598 "adc r5, r2 \n\t" \
ansond 0:137634ff4186 599 "lsl r3, r7, #16 \n\t" \
ansond 0:137634ff4186 600 "add r4, r4, r3 \n\t" \
ansond 0:137634ff4186 601 "adc r5, r2 \n\t" \
ansond 0:137634ff4186 602 "ldr r3, [r1] \n\t" \
ansond 0:137634ff4186 603 "add r4, r4, r3 \n\t" \
ansond 0:137634ff4186 604 "adc r2, r5 \n\t" \
ansond 0:137634ff4186 605 "stmia r1!, {r4} \n\t"
ansond 0:137634ff4186 606
ansond 0:137634ff4186 607 #define MULADDC_STOP \
ansond 0:137634ff4186 608 "str r2, %0 \n\t" \
ansond 0:137634ff4186 609 "str r1, %1 \n\t" \
ansond 0:137634ff4186 610 "str r0, %2 \n\t" \
ansond 0:137634ff4186 611 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 612 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 613 : "r0", "r1", "r2", "r3", "r4", "r5", \
ansond 0:137634ff4186 614 "r6", "r7", "r8", "r9", "cc" \
ansond 0:137634ff4186 615 );
ansond 0:137634ff4186 616
ansond 0:137634ff4186 617 #else
ansond 0:137634ff4186 618
ansond 0:137634ff4186 619 #define MULADDC_INIT \
ansond 0:137634ff4186 620 asm( \
ansond 0:137634ff4186 621 "ldr r0, %3 \n\t" \
ansond 0:137634ff4186 622 "ldr r1, %4 \n\t" \
ansond 0:137634ff4186 623 "ldr r2, %5 \n\t" \
ansond 0:137634ff4186 624 "ldr r3, %6 \n\t"
ansond 0:137634ff4186 625
ansond 0:137634ff4186 626 #define MULADDC_CORE \
ansond 0:137634ff4186 627 "ldr r4, [r0], #4 \n\t" \
ansond 0:137634ff4186 628 "mov r5, #0 \n\t" \
ansond 0:137634ff4186 629 "ldr r6, [r1] \n\t" \
ansond 0:137634ff4186 630 "umlal r2, r5, r3, r4 \n\t" \
ansond 0:137634ff4186 631 "adds r7, r6, r2 \n\t" \
ansond 0:137634ff4186 632 "adc r2, r5, #0 \n\t" \
ansond 0:137634ff4186 633 "str r7, [r1], #4 \n\t"
ansond 0:137634ff4186 634
ansond 0:137634ff4186 635 #define MULADDC_STOP \
ansond 0:137634ff4186 636 "str r2, %0 \n\t" \
ansond 0:137634ff4186 637 "str r1, %1 \n\t" \
ansond 0:137634ff4186 638 "str r0, %2 \n\t" \
ansond 0:137634ff4186 639 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 640 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 641 : "r0", "r1", "r2", "r3", "r4", "r5", \
ansond 0:137634ff4186 642 "r6", "r7", "cc" \
ansond 0:137634ff4186 643 );
ansond 0:137634ff4186 644
ansond 0:137634ff4186 645 #endif /* Thumb */
ansond 0:137634ff4186 646
ansond 0:137634ff4186 647 #endif /* ARMv3 */
ansond 0:137634ff4186 648
ansond 0:137634ff4186 649 #if defined(__alpha__)
ansond 0:137634ff4186 650
ansond 0:137634ff4186 651 #define MULADDC_INIT \
ansond 0:137634ff4186 652 asm( \
ansond 0:137634ff4186 653 "ldq $1, %3 \n\t" \
ansond 0:137634ff4186 654 "ldq $2, %4 \n\t" \
ansond 0:137634ff4186 655 "ldq $3, %5 \n\t" \
ansond 0:137634ff4186 656 "ldq $4, %6 \n\t"
ansond 0:137634ff4186 657
ansond 0:137634ff4186 658 #define MULADDC_CORE \
ansond 0:137634ff4186 659 "ldq $6, 0($1) \n\t" \
ansond 0:137634ff4186 660 "addq $1, 8, $1 \n\t" \
ansond 0:137634ff4186 661 "mulq $6, $4, $7 \n\t" \
ansond 0:137634ff4186 662 "umulh $6, $4, $6 \n\t" \
ansond 0:137634ff4186 663 "addq $7, $3, $7 \n\t" \
ansond 0:137634ff4186 664 "cmpult $7, $3, $3 \n\t" \
ansond 0:137634ff4186 665 "ldq $5, 0($2) \n\t" \
ansond 0:137634ff4186 666 "addq $7, $5, $7 \n\t" \
ansond 0:137634ff4186 667 "cmpult $7, $5, $5 \n\t" \
ansond 0:137634ff4186 668 "stq $7, 0($2) \n\t" \
ansond 0:137634ff4186 669 "addq $2, 8, $2 \n\t" \
ansond 0:137634ff4186 670 "addq $6, $3, $3 \n\t" \
ansond 0:137634ff4186 671 "addq $5, $3, $3 \n\t"
ansond 0:137634ff4186 672
ansond 0:137634ff4186 673 #define MULADDC_STOP \
ansond 0:137634ff4186 674 "stq $3, %0 \n\t" \
ansond 0:137634ff4186 675 "stq $2, %1 \n\t" \
ansond 0:137634ff4186 676 "stq $1, %2 \n\t" \
ansond 0:137634ff4186 677 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 678 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 679 : "$1", "$2", "$3", "$4", "$5", "$6", "$7" \
ansond 0:137634ff4186 680 );
ansond 0:137634ff4186 681 #endif /* Alpha */
ansond 0:137634ff4186 682
ansond 0:137634ff4186 683 #if defined(__mips__) && !defined(__mips64)
ansond 0:137634ff4186 684
ansond 0:137634ff4186 685 #define MULADDC_INIT \
ansond 0:137634ff4186 686 asm( \
ansond 0:137634ff4186 687 "lw $10, %3 \n\t" \
ansond 0:137634ff4186 688 "lw $11, %4 \n\t" \
ansond 0:137634ff4186 689 "lw $12, %5 \n\t" \
ansond 0:137634ff4186 690 "lw $13, %6 \n\t"
ansond 0:137634ff4186 691
ansond 0:137634ff4186 692 #define MULADDC_CORE \
ansond 0:137634ff4186 693 "lw $14, 0($10) \n\t" \
ansond 0:137634ff4186 694 "multu $13, $14 \n\t" \
ansond 0:137634ff4186 695 "addi $10, $10, 4 \n\t" \
ansond 0:137634ff4186 696 "mflo $14 \n\t" \
ansond 0:137634ff4186 697 "mfhi $9 \n\t" \
ansond 0:137634ff4186 698 "addu $14, $12, $14 \n\t" \
ansond 0:137634ff4186 699 "lw $15, 0($11) \n\t" \
ansond 0:137634ff4186 700 "sltu $12, $14, $12 \n\t" \
ansond 0:137634ff4186 701 "addu $15, $14, $15 \n\t" \
ansond 0:137634ff4186 702 "sltu $14, $15, $14 \n\t" \
ansond 0:137634ff4186 703 "addu $12, $12, $9 \n\t" \
ansond 0:137634ff4186 704 "sw $15, 0($11) \n\t" \
ansond 0:137634ff4186 705 "addu $12, $12, $14 \n\t" \
ansond 0:137634ff4186 706 "addi $11, $11, 4 \n\t"
ansond 0:137634ff4186 707
ansond 0:137634ff4186 708 #define MULADDC_STOP \
ansond 0:137634ff4186 709 "sw $12, %0 \n\t" \
ansond 0:137634ff4186 710 "sw $11, %1 \n\t" \
ansond 0:137634ff4186 711 "sw $10, %2 \n\t" \
ansond 0:137634ff4186 712 : "=m" (c), "=m" (d), "=m" (s) \
ansond 0:137634ff4186 713 : "m" (s), "m" (d), "m" (c), "m" (b) \
ansond 0:137634ff4186 714 : "$9", "$10", "$11", "$12", "$13", "$14", "$15" \
ansond 0:137634ff4186 715 );
ansond 0:137634ff4186 716
ansond 0:137634ff4186 717 #endif /* MIPS */
ansond 0:137634ff4186 718 #endif /* GNUC */
ansond 0:137634ff4186 719
ansond 0:137634ff4186 720 #if (defined(_MSC_VER) && defined(_M_IX86)) || defined(__WATCOMC__)
ansond 0:137634ff4186 721
ansond 0:137634ff4186 722 #define MULADDC_INIT \
ansond 0:137634ff4186 723 __asm mov esi, s \
ansond 0:137634ff4186 724 __asm mov edi, d \
ansond 0:137634ff4186 725 __asm mov ecx, c \
ansond 0:137634ff4186 726 __asm mov ebx, b
ansond 0:137634ff4186 727
ansond 0:137634ff4186 728 #define MULADDC_CORE \
ansond 0:137634ff4186 729 __asm lodsd \
ansond 0:137634ff4186 730 __asm mul ebx \
ansond 0:137634ff4186 731 __asm add eax, ecx \
ansond 0:137634ff4186 732 __asm adc edx, 0 \
ansond 0:137634ff4186 733 __asm add eax, [edi] \
ansond 0:137634ff4186 734 __asm adc edx, 0 \
ansond 0:137634ff4186 735 __asm mov ecx, edx \
ansond 0:137634ff4186 736 __asm stosd
ansond 0:137634ff4186 737
ansond 0:137634ff4186 738 #if defined(POLARSSL_HAVE_SSE2)
ansond 0:137634ff4186 739
ansond 0:137634ff4186 740 #define EMIT __asm _emit
ansond 0:137634ff4186 741
ansond 0:137634ff4186 742 #define MULADDC_HUIT \
ansond 0:137634ff4186 743 EMIT 0x0F EMIT 0x6E EMIT 0xC9 \
ansond 0:137634ff4186 744 EMIT 0x0F EMIT 0x6E EMIT 0xC3 \
ansond 0:137634ff4186 745 EMIT 0x0F EMIT 0x6E EMIT 0x1F \
ansond 0:137634ff4186 746 EMIT 0x0F EMIT 0xD4 EMIT 0xCB \
ansond 0:137634ff4186 747 EMIT 0x0F EMIT 0x6E EMIT 0x16 \
ansond 0:137634ff4186 748 EMIT 0x0F EMIT 0xF4 EMIT 0xD0 \
ansond 0:137634ff4186 749 EMIT 0x0F EMIT 0x6E EMIT 0x66 EMIT 0x04 \
ansond 0:137634ff4186 750 EMIT 0x0F EMIT 0xF4 EMIT 0xE0 \
ansond 0:137634ff4186 751 EMIT 0x0F EMIT 0x6E EMIT 0x76 EMIT 0x08 \
ansond 0:137634ff4186 752 EMIT 0x0F EMIT 0xF4 EMIT 0xF0 \
ansond 0:137634ff4186 753 EMIT 0x0F EMIT 0x6E EMIT 0x7E EMIT 0x0C \
ansond 0:137634ff4186 754 EMIT 0x0F EMIT 0xF4 EMIT 0xF8 \
ansond 0:137634ff4186 755 EMIT 0x0F EMIT 0xD4 EMIT 0xCA \
ansond 0:137634ff4186 756 EMIT 0x0F EMIT 0x6E EMIT 0x5F EMIT 0x04 \
ansond 0:137634ff4186 757 EMIT 0x0F EMIT 0xD4 EMIT 0xDC \
ansond 0:137634ff4186 758 EMIT 0x0F EMIT 0x6E EMIT 0x6F EMIT 0x08 \
ansond 0:137634ff4186 759 EMIT 0x0F EMIT 0xD4 EMIT 0xEE \
ansond 0:137634ff4186 760 EMIT 0x0F EMIT 0x6E EMIT 0x67 EMIT 0x0C \
ansond 0:137634ff4186 761 EMIT 0x0F EMIT 0xD4 EMIT 0xFC \
ansond 0:137634ff4186 762 EMIT 0x0F EMIT 0x7E EMIT 0x0F \
ansond 0:137634ff4186 763 EMIT 0x0F EMIT 0x6E EMIT 0x56 EMIT 0x10 \
ansond 0:137634ff4186 764 EMIT 0x0F EMIT 0xF4 EMIT 0xD0 \
ansond 0:137634ff4186 765 EMIT 0x0F EMIT 0x73 EMIT 0xD1 EMIT 0x20 \
ansond 0:137634ff4186 766 EMIT 0x0F EMIT 0x6E EMIT 0x66 EMIT 0x14 \
ansond 0:137634ff4186 767 EMIT 0x0F EMIT 0xF4 EMIT 0xE0 \
ansond 0:137634ff4186 768 EMIT 0x0F EMIT 0xD4 EMIT 0xCB \
ansond 0:137634ff4186 769 EMIT 0x0F EMIT 0x6E EMIT 0x76 EMIT 0x18 \
ansond 0:137634ff4186 770 EMIT 0x0F EMIT 0xF4 EMIT 0xF0 \
ansond 0:137634ff4186 771 EMIT 0x0F EMIT 0x7E EMIT 0x4F EMIT 0x04 \
ansond 0:137634ff4186 772 EMIT 0x0F EMIT 0x73 EMIT 0xD1 EMIT 0x20 \
ansond 0:137634ff4186 773 EMIT 0x0F EMIT 0x6E EMIT 0x5E EMIT 0x1C \
ansond 0:137634ff4186 774 EMIT 0x0F EMIT 0xF4 EMIT 0xD8 \
ansond 0:137634ff4186 775 EMIT 0x0F EMIT 0xD4 EMIT 0xCD \
ansond 0:137634ff4186 776 EMIT 0x0F EMIT 0x6E EMIT 0x6F EMIT 0x10 \
ansond 0:137634ff4186 777 EMIT 0x0F EMIT 0xD4 EMIT 0xD5 \
ansond 0:137634ff4186 778 EMIT 0x0F EMIT 0x7E EMIT 0x4F EMIT 0x08 \
ansond 0:137634ff4186 779 EMIT 0x0F EMIT 0x73 EMIT 0xD1 EMIT 0x20 \
ansond 0:137634ff4186 780 EMIT 0x0F EMIT 0xD4 EMIT 0xCF \
ansond 0:137634ff4186 781 EMIT 0x0F EMIT 0x6E EMIT 0x6F EMIT 0x14 \
ansond 0:137634ff4186 782 EMIT 0x0F EMIT 0xD4 EMIT 0xE5 \
ansond 0:137634ff4186 783 EMIT 0x0F EMIT 0x7E EMIT 0x4F EMIT 0x0C \
ansond 0:137634ff4186 784 EMIT 0x0F EMIT 0x73 EMIT 0xD1 EMIT 0x20 \
ansond 0:137634ff4186 785 EMIT 0x0F EMIT 0xD4 EMIT 0xCA \
ansond 0:137634ff4186 786 EMIT 0x0F EMIT 0x6E EMIT 0x6F EMIT 0x18 \
ansond 0:137634ff4186 787 EMIT 0x0F EMIT 0xD4 EMIT 0xF5 \
ansond 0:137634ff4186 788 EMIT 0x0F EMIT 0x7E EMIT 0x4F EMIT 0x10 \
ansond 0:137634ff4186 789 EMIT 0x0F EMIT 0x73 EMIT 0xD1 EMIT 0x20 \
ansond 0:137634ff4186 790 EMIT 0x0F EMIT 0xD4 EMIT 0xCC \
ansond 0:137634ff4186 791 EMIT 0x0F EMIT 0x6E EMIT 0x6F EMIT 0x1C \
ansond 0:137634ff4186 792 EMIT 0x0F EMIT 0xD4 EMIT 0xDD \
ansond 0:137634ff4186 793 EMIT 0x0F EMIT 0x7E EMIT 0x4F EMIT 0x14 \
ansond 0:137634ff4186 794 EMIT 0x0F EMIT 0x73 EMIT 0xD1 EMIT 0x20 \
ansond 0:137634ff4186 795 EMIT 0x0F EMIT 0xD4 EMIT 0xCE \
ansond 0:137634ff4186 796 EMIT 0x0F EMIT 0x7E EMIT 0x4F EMIT 0x18 \
ansond 0:137634ff4186 797 EMIT 0x0F EMIT 0x73 EMIT 0xD1 EMIT 0x20 \
ansond 0:137634ff4186 798 EMIT 0x0F EMIT 0xD4 EMIT 0xCB \
ansond 0:137634ff4186 799 EMIT 0x0F EMIT 0x7E EMIT 0x4F EMIT 0x1C \
ansond 0:137634ff4186 800 EMIT 0x83 EMIT 0xC7 EMIT 0x20 \
ansond 0:137634ff4186 801 EMIT 0x83 EMIT 0xC6 EMIT 0x20 \
ansond 0:137634ff4186 802 EMIT 0x0F EMIT 0x73 EMIT 0xD1 EMIT 0x20 \
ansond 0:137634ff4186 803 EMIT 0x0F EMIT 0x7E EMIT 0xC9
ansond 0:137634ff4186 804
ansond 0:137634ff4186 805 #define MULADDC_STOP \
ansond 0:137634ff4186 806 EMIT 0x0F EMIT 0x77 \
ansond 0:137634ff4186 807 __asm mov c, ecx \
ansond 0:137634ff4186 808 __asm mov d, edi \
ansond 0:137634ff4186 809 __asm mov s, esi \
ansond 0:137634ff4186 810
ansond 0:137634ff4186 811 #else
ansond 0:137634ff4186 812
ansond 0:137634ff4186 813 #define MULADDC_STOP \
ansond 0:137634ff4186 814 __asm mov c, ecx \
ansond 0:137634ff4186 815 __asm mov d, edi \
ansond 0:137634ff4186 816 __asm mov s, esi \
ansond 0:137634ff4186 817
ansond 0:137634ff4186 818 #endif /* SSE2 */
ansond 0:137634ff4186 819 #endif /* MSVC */
ansond 0:137634ff4186 820
ansond 0:137634ff4186 821 #endif /* POLARSSL_HAVE_ASM */
ansond 0:137634ff4186 822
ansond 0:137634ff4186 823 #if !defined(MULADDC_CORE)
ansond 0:137634ff4186 824 #if defined(POLARSSL_HAVE_UDBL)
ansond 0:137634ff4186 825
ansond 0:137634ff4186 826 #define MULADDC_INIT \
ansond 0:137634ff4186 827 { \
ansond 0:137634ff4186 828 t_udbl r; \
ansond 0:137634ff4186 829 t_uint r0, r1;
ansond 0:137634ff4186 830
ansond 0:137634ff4186 831 #define MULADDC_CORE \
ansond 0:137634ff4186 832 r = *(s++) * (t_udbl) b; \
ansond 0:137634ff4186 833 r0 = (t_uint) r; \
ansond 0:137634ff4186 834 r1 = (t_uint)( r >> biL ); \
ansond 0:137634ff4186 835 r0 += c; r1 += (r0 < c); \
ansond 0:137634ff4186 836 r0 += *d; r1 += (r0 < *d); \
ansond 0:137634ff4186 837 c = r1; *(d++) = r0;
ansond 0:137634ff4186 838
ansond 0:137634ff4186 839 #define MULADDC_STOP \
ansond 0:137634ff4186 840 }
ansond 0:137634ff4186 841
ansond 0:137634ff4186 842 #else
ansond 0:137634ff4186 843 #define MULADDC_INIT \
ansond 0:137634ff4186 844 { \
ansond 0:137634ff4186 845 t_uint s0, s1, b0, b1; \
ansond 0:137634ff4186 846 t_uint r0, r1, rx, ry; \
ansond 0:137634ff4186 847 b0 = ( b << biH ) >> biH; \
ansond 0:137634ff4186 848 b1 = ( b >> biH );
ansond 0:137634ff4186 849
ansond 0:137634ff4186 850 #define MULADDC_CORE \
ansond 0:137634ff4186 851 s0 = ( *s << biH ) >> biH; \
ansond 0:137634ff4186 852 s1 = ( *s >> biH ); s++; \
ansond 0:137634ff4186 853 rx = s0 * b1; r0 = s0 * b0; \
ansond 0:137634ff4186 854 ry = s1 * b0; r1 = s1 * b1; \
ansond 0:137634ff4186 855 r1 += ( rx >> biH ); \
ansond 0:137634ff4186 856 r1 += ( ry >> biH ); \
ansond 0:137634ff4186 857 rx <<= biH; ry <<= biH; \
ansond 0:137634ff4186 858 r0 += rx; r1 += (r0 < rx); \
ansond 0:137634ff4186 859 r0 += ry; r1 += (r0 < ry); \
ansond 0:137634ff4186 860 r0 += c; r1 += (r0 < c); \
ansond 0:137634ff4186 861 r0 += *d; r1 += (r0 < *d); \
ansond 0:137634ff4186 862 c = r1; *(d++) = r0;
ansond 0:137634ff4186 863
ansond 0:137634ff4186 864 #define MULADDC_STOP \
ansond 0:137634ff4186 865 }
ansond 0:137634ff4186 866
ansond 0:137634ff4186 867 #endif /* C (generic) */
ansond 0:137634ff4186 868 #endif /* C (longlong) */
ansond 0:137634ff4186 869
ansond 0:137634ff4186 870 #endif /* bn_mul.h */
ansond 0:137634ff4186 871