Debian Codegraph @

modules/lsp-dsp-lib/include/private/dsp/arch/x86/sse2/graphics/axis.h

raw
1 /*
2 * Copyright (C) 2020 Linux Studio Plugins Project <https://lsp-plug.in/>
3 * (C) 2020 Vladimir Sadovnikov <[email protected]>
4 *
5 * This file is part of lsp-dsp-lib
6 * Created on: 31 мар. 2020 г.
7 *
8 * lsp-dsp-lib is free software: you can redistribute it and/or modify
9 * it under the terms of the GNU Lesser General Public License as published by
10 * the Free Software Foundation, either version 3 of the License, or
11 * any later version.
12 *
13 * lsp-dsp-lib is distributed in the hope that it will be useful,
14 * but WITHOUT ANY WARRANTY; without even the implied warranty of
15 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
16 * GNU Lesser General Public License for more details.
17 *
18 * You should have received a copy of the GNU Lesser General Public License
19 * along with lsp-dsp-lib. If not, see <https://www.gnu.org/licenses/>.
20 */
21
22 #ifndef PRIVATE_DSP_ARCH_X86_SSE2_GRAPHICS_AXIS_H_
23 #define PRIVATE_DSP_ARCH_X86_SSE2_GRAPHICS_AXIS_H_
24
25 #ifndef PRIVATE_DSP_ARCH_X86_SSE2_IMPL
26 #error "This header should not be included directly"
27 #endif /* PRIVATE_DSP_ARCH_X86_SSE2_IMPL */
28
29 namespace lsp
30 {
31 namespace sse2
32 {
33 IF_ARCH_X86(
34 static const uint32_t LOG_IARGS[] __lsp_aligned16 =
35 {
36 LSP_DSP_VEC4(0x7fffffff), // X_SIGN
37 LSP_DSP_VEC4(0x322bcc77), // X_AMP = 1e-8
38 LSP_DSP_VEC4(0x007fffff), // X_MANT
39 LSP_DSP_VEC4(0x0000007f), // X_MMASK
40 LSP_DSP_VEC4(0x3f000000), // X_HALF = 0.5
41 LSP_DSP_VEC4(0x3f3504f3), // SQRT1_2
42 LSP_DSP_VEC4(0x3f800000), // ONE
43 LSP_DSP_VEC4(0x3d9021bb), // C0
44 LSP_DSP_VEC4(0xbdebd1b8), // C1
45 LSP_DSP_VEC4(0x3def251a), // C2
46 LSP_DSP_VEC4(0xbdfe5d4f), // C3
47 LSP_DSP_VEC4(0x3e11e9bf), // C4
48 LSP_DSP_VEC4(0xbe2aae50), // C5
49 LSP_DSP_VEC4(0x3e4cceac), // C6
50 LSP_DSP_VEC4(0xbe7ffffc), // C7
51 LSP_DSP_VEC4(0x3eaaaaaa), // C8
52 LSP_DSP_VEC4(0xbf000000), // C9
53 LSP_DSP_VEC4(0x3f316430) // LXE + LN2
54 };
55 )
56
57 void axis_apply_log1(float *x, const float *v, float zero, float norm_x, size_t count)
58 {
59 //---------------------------------------------------------------
60 // Prepare constants
61 ARCH_X86_ASM
62 (
63 __ASM_EMIT("movss %[zero], %%xmm0")
64 __ASM_EMIT("movss %[norm_x], %%xmm1")
65
66 __ASM_EMIT("sub $4, %[count]")
67 __ASM_EMIT("jb 2f")
68 __ASM_EMIT("shufps $0x00, %%xmm0, %%xmm0") // xmm0 == zero
69 __ASM_EMIT("shufps $0x00, %%xmm1, %%xmm1") // xmm1 == norm_x
70
71 // Do x4 blocks
72 __ASM_EMIT("1:")
73 __ASM_EMIT("movups (%[v]), %%xmm3") // xmm3 = v
74 __ASM_EMIT("andps 0x00(%[ILOG]), %%xmm3") // xmm3 = abs(v)
75 __ASM_EMIT("add $0x10, %[v]") // v += 4
76 __ASM_EMIT("maxps 0x10(%[ILOG]), %%xmm3") // xmm3 = max(X_AMP, abs(v)), ignores denormalized values
77 __ASM_EMIT("mulps %%xmm0, %%xmm3") // xmm3 = max(X_AMP, abs(v)) * zero
78 // Step 2: parse float value
79 __ASM_EMIT("movdqa %%xmm3, %%xmm4") // xmm4 = v
80 __ASM_EMIT("psrld $23, %%xmm4") // xmm4 = frac(v)
81 __ASM_EMIT("andps 0x20(%[ILOG]), %%xmm3") // xmm3 = mant(v)
82 __ASM_EMIT("psubd 0x30(%[ILOG]), %%xmm4") // xmm4 = frac(v) - 127
83 __ASM_EMIT("orps 0x40(%[ILOG]), %%xmm3") // xmm3 = V = mant(v)+0.5
84 __ASM_EMIT("cvtdq2ps %%xmm4, %%xmm4") // xmm4 = E = float(frac(v)-127)
85 // Prepare logarithm approximation calculations
86 __ASM_EMIT("movaps %%xmm3, %%xmm5") // xmm5 = V
87 __ASM_EMIT("movaps %%xmm3, %%xmm6") // xmm6 = V
88 __ASM_EMIT("cmpltps 0x50(%[ILOG]), %%xmm5") // xmm5 = [ V < sqrt(1/2) ]
89 __ASM_EMIT("movaps 0x60(%[ILOG]), %%xmm7") // xmm7 = 1.0
90 __ASM_EMIT("andps %%xmm5, %%xmm6") // xmm6 = V * [ V < sqrt(1/2) ]
91 __ASM_EMIT("addps %%xmm6, %%xmm3") // xmm3 = V + V * [ V < sqrt(1/2) ]
92 __ASM_EMIT("andnps %%xmm7, %%xmm5") // xmm5 = 1.0 * [ V >= sqrt(1/2) ]
93 __ASM_EMIT("addps %%xmm5, %%xmm4") // xmm4 = E + 1.0 * [ V >= sqrt(1/2) ] = B
94 __ASM_EMIT("subps %%xmm7, %%xmm3") // xmm3 = V + V * [ V < sqrt(1/2) ] - 1.0 = A
95 // Calculate logarithmic values
96 __ASM_EMIT("movaps 0x70(%[ILOG]), %%xmm5") // xmm5 = L0
97 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = L0*A
98 __ASM_EMIT("addps 0x80(%[ILOG]), %%xmm5") // xmm5 = L1+L0*A
99 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L1+L0*A)
100 __ASM_EMIT("addps 0x90(%[ILOG]), %%xmm5") // xmm5 = L2+A*(L1+L0*A)
101 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L2+A*(L1+L0*A))
102 __ASM_EMIT("addps 0xa0(%[ILOG]), %%xmm5") // xmm5 = L3+A*L2+A*(L1+L0*A)
103 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L3+A*L2+A*(L1+L0*A))
104 __ASM_EMIT("addps 0xb0(%[ILOG]), %%xmm5") // xmm5 = L4+A*(L3+A*L2+A*(L1+L0*A))
105 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L4+A*(L3+A*L2+A*(L1+L0*A)))
106 __ASM_EMIT("addps 0xc0(%[ILOG]), %%xmm5") // xmm5 = L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))
107 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))
108 __ASM_EMIT("addps 0xd0(%[ILOG]), %%xmm5") // xmm5 = L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))
109 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))
110 __ASM_EMIT("addps 0xe0(%[ILOG]), %%xmm5") // xmm5 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))
111 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))
112 __ASM_EMIT("addps 0xf0(%[ILOG]), %%xmm5") // xmm5 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))
113 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))))
114 __ASM_EMIT("addps 0x100(%[ILOG]), %%xmm5") // xmm5 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + L9
115 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + L9)
116 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*A*(A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + L9)
117 __ASM_EMIT("mulps 0x110(%[ILOG]), %%xmm4") // xmm4 = B*(LXE + LN2)
118 __ASM_EMIT("addps %%xmm4, %%xmm5") // xmm5 = B*(LXE + LN2) + A*A*A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))))
119 __ASM_EMIT("addps %%xmm3, %%xmm5") // xmm5 = B*(LXE + LN2) + A*A*A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + A
120 // Apply values to axes
121 __ASM_EMIT("movaps %%xmm5, %%xmm3") // xmm3 = log(abs(v*zero)), xmm5=log(abs(v*zero))
122 __ASM_EMIT("movups (%[x]), %%xmm4") // xmm4 = x
123 __ASM_EMIT("mulps %%xmm1, %%xmm3") // xmm3 = log(abs(v*zero)) * norm_x
124 __ASM_EMIT("addps %%xmm3, %%xmm4") // xmm4 = x + log(abs(v*zero)) * norm_x
125 __ASM_EMIT("movups %%xmm4, (%[x])")
126 __ASM_EMIT("add $0x10, %[x]")
127 __ASM_EMIT("sub $4, %[count]")
128 __ASM_EMIT("jae 1b")
129
130 __ASM_EMIT("2:")
131 __ASM_EMIT("add $3, %[count]")
132 __ASM_EMIT("jl 4f")
133
134 // Do x1 blocks
135 __ASM_EMIT("3:")
136 __ASM_EMIT("movss (%[v]), %%xmm3") // xmm3 = v
137 __ASM_EMIT("andps 0x00(%[ILOG]), %%xmm3") // xmm3 = abs(v)
138 __ASM_EMIT("add $0x04, %[v]") // v += 4
139 __ASM_EMIT("maxps 0x10(%[ILOG]), %%xmm3") // xmm3 = max(X_AMP, abs(v)), ignores denormalized values
140 __ASM_EMIT("mulps %%xmm0, %%xmm3") // xmm5 = max(X_AMP, abs(v)) * zero
141 // Step 2: parse float value
142 __ASM_EMIT("movdqa %%xmm3, %%xmm4") // xmm4 = v
143 __ASM_EMIT("psrld $23, %%xmm4") // xmm4 = frac(v)
144 __ASM_EMIT("andps 0x20(%[ILOG]), %%xmm3") // xmm3 = mant(v)
145 __ASM_EMIT("psubd 0x30(%[ILOG]), %%xmm4") // xmm4 = frac(v) - 127
146 __ASM_EMIT("orps 0x40(%[ILOG]), %%xmm3") // xmm3 = V = mant(v)+0.5
147 __ASM_EMIT("cvtdq2ps %%xmm4, %%xmm4") // xmm4 = E = float(frac(v)-127)
148 // Prepare logarithm approximation calculations
149 __ASM_EMIT("movaps %%xmm3, %%xmm5") // xmm5 = V
150 __ASM_EMIT("movaps %%xmm3, %%xmm6") // xmm6 = V
151 __ASM_EMIT("cmpltps 0x50(%[ILOG]), %%xmm5") // xmm5 = [ V < sqrt(1/2) ]
152 __ASM_EMIT("movaps 0x60(%[ILOG]), %%xmm7") // xmm7 = 1.0
153 __ASM_EMIT("andps %%xmm5, %%xmm6") // xmm6 = V * [ V < sqrt(1/2) ]
154 __ASM_EMIT("addps %%xmm6, %%xmm3") // xmm6 = V + V * [ V < sqrt(1/2) ]
155 __ASM_EMIT("andnps %%xmm7, %%xmm5") // xmm5 = 1.0 * [ V >= sqrt(1/2) ]
156 __ASM_EMIT("addps %%xmm5, %%xmm4") // xmm4 = E + 1.0 * [ V >= sqrt(1/2) ] = B
157 __ASM_EMIT("subps %%xmm7, %%xmm3") // xmm3 = V + V * [ V < sqrt(1/2) ] - 1.0 = A
158 // Calculate logarithmic values
159 __ASM_EMIT("movaps 0x70(%[ILOG]), %%xmm5") // xmm5 = L0
160 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = L0*A
161 __ASM_EMIT("addss 0x80(%[ILOG]), %%xmm5") // xmm5 = L1+L0*A
162 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L1+L0*A)
163 __ASM_EMIT("addss 0x90(%[ILOG]), %%xmm5") // xmm5 = L2+A*(L1+L0*A)
164 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L2+A*(L1+L0*A))
165 __ASM_EMIT("addss 0xa0(%[ILOG]), %%xmm5") // xmm5 = L3+A*L2+A*(L1+L0*A)
166 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L3+A*L2+A*(L1+L0*A))
167 __ASM_EMIT("addss 0xb0(%[ILOG]), %%xmm5") // xmm5 = L4+A*(L3+A*L2+A*(L1+L0*A))
168 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L4+A*(L3+A*L2+A*(L1+L0*A)))
169 __ASM_EMIT("addss 0xc0(%[ILOG]), %%xmm5") // xmm5 = L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))
170 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))
171 __ASM_EMIT("addss 0xd0(%[ILOG]), %%xmm5") // xmm5 = L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))
172 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))
173 __ASM_EMIT("addss 0xe0(%[ILOG]), %%xmm5") // xmm5 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))
174 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))
175 __ASM_EMIT("addss 0xf0(%[ILOG]), %%xmm5") // xmm5 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))
176 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))))
177 __ASM_EMIT("addss 0x100(%[ILOG]), %%xmm5") // xmm5 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + L9
178 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + L9)
179 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*A*(A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + L9)
180 __ASM_EMIT("mulss 0x110(%[ILOG]), %%xmm4") // xmm4 = B*(LXE + LN2)
181 __ASM_EMIT("addss %%xmm4, %%xmm5") // xmm5 = B*(LXE + LN2) + A*A*A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))))
182 __ASM_EMIT("addss %%xmm3, %%xmm5") // xmm5 = B*(LXE + LN2) + A*A*A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + A
183 // Apply values to axes
184 __ASM_EMIT("movaps %%xmm5, %%xmm3") // xmm3 = log(abs(v*zero)), xmm5=log(abs(v*zero))
185 __ASM_EMIT("movss (%[x]), %%xmm4") // xmm4 = x
186 __ASM_EMIT("mulps %%xmm1, %%xmm3") // xmm3 = log(abs(v*zero)) * norm_x
187 __ASM_EMIT("addps %%xmm3, %%xmm4") // xmm4 = x + log(abs(v*zero)) * norm_x
188 __ASM_EMIT("movss %%xmm4, (%[x])")
189 __ASM_EMIT("add $0x04, %[x]")
190 __ASM_EMIT("dec %[count]")
191 __ASM_EMIT("jge 3b")
192
193 __ASM_EMIT("4:")
194
195 : [v] "+r" (v), [x] "+r" (x), [count] "+r" (count)
196 : [zero] "m" (zero), [norm_x] "m" (norm_x),
197 [ILOG] "r" (LOG_IARGS)
198 : "%xmm0", "%xmm1", "%xmm2", "%xmm3",
199 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
200 );
201 }
202
203 void axis_apply_log2(float *x, float *y, const float *v, float zero, float norm_x, float norm_y, size_t count)
204 {
205 //---------------------------------------------------------------
206 // Prepare constants
207 ARCH_X86_ASM
208 (
209 __ASM_EMIT("movss %[zero], %%xmm0")
210 __ASM_EMIT("movss %[norm_x], %%xmm1")
211 __ASM_EMIT("movss %[norm_y], %%xmm2")
212
213 __ASM_EMIT("sub $4, %[count]")
214 __ASM_EMIT("jb 2f")
215 __ASM_EMIT("shufps $0x00, %%xmm0, %%xmm0") // xmm0 == zero
216 __ASM_EMIT("shufps $0x00, %%xmm1, %%xmm1") // xmm1 == norm_x
217 __ASM_EMIT("shufps $0x00, %%xmm2, %%xmm2") // xmm2 == norm_y
218
219 // Do x4 blocks
220 __ASM_EMIT("1:")
221 __ASM_EMIT("movups (%[v]), %%xmm3") // xmm3 = v
222 __ASM_EMIT("andps 0x00(%[ILOG]), %%xmm3") // xmm3 = abs(v)
223 __ASM_EMIT("add $0x10, %[v]") // v += 4
224 __ASM_EMIT("maxps 0x10(%[ILOG]), %%xmm3") // xmm3 = max(X_AMP, abs(v)), ignores denormalized values
225 __ASM_EMIT("mulps %%xmm0, %%xmm3") // xmm3 = max(X_AMP, abs(v)) * zero
226 // Step 2: parse float value
227 __ASM_EMIT("movdqa %%xmm3, %%xmm4") // xmm4 = v
228 __ASM_EMIT("psrld $23, %%xmm4") // xmm4 = frac(v)
229 __ASM_EMIT("andps 0x20(%[ILOG]), %%xmm3") // xmm3 = mant(v)
230 __ASM_EMIT("psubd 0x30(%[ILOG]), %%xmm4") // xmm4 = frac(v) - 127
231 __ASM_EMIT("orps 0x40(%[ILOG]), %%xmm3") // xmm3 = V = mant(v)+0.5
232 __ASM_EMIT("cvtdq2ps %%xmm4, %%xmm4") // xmm4 = E = float(frac(v)-127)
233 // Prepare logarithm approximation calculations
234 __ASM_EMIT("movaps %%xmm3, %%xmm5") // xmm5 = V
235 __ASM_EMIT("movaps %%xmm3, %%xmm6") // xmm6 = V
236 __ASM_EMIT("cmpltps 0x50(%[ILOG]), %%xmm5") // xmm5 = [ V < sqrt(1/2) ]
237 __ASM_EMIT("movaps 0x60(%[ILOG]), %%xmm7") // xmm7 = 1.0
238 __ASM_EMIT("andps %%xmm5, %%xmm6") // xmm6 = V * [ V < sqrt(1/2) ]
239 __ASM_EMIT("addps %%xmm6, %%xmm3") // xmm3 = V + V * [ V < sqrt(1/2) ]
240 __ASM_EMIT("andnps %%xmm7, %%xmm5") // xmm5 = 1.0 * [ V >= sqrt(1/2) ]
241 __ASM_EMIT("addps %%xmm5, %%xmm4") // xmm4 = E + 1.0 * [ V >= sqrt(1/2) ] = B
242 __ASM_EMIT("subps %%xmm7, %%xmm3") // xmm3 = V + V * [ V < sqrt(1/2) ] - 1.0 = A
243 // Calculate logarithmic values
244 __ASM_EMIT("movaps 0x70(%[ILOG]), %%xmm5") // xmm5 = L0
245 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = L0*A
246 __ASM_EMIT("addps 0x80(%[ILOG]), %%xmm5") // xmm5 = L1+L0*A
247 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L1+L0*A)
248 __ASM_EMIT("addps 0x90(%[ILOG]), %%xmm5") // xmm5 = L2+A*(L1+L0*A)
249 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L2+A*(L1+L0*A))
250 __ASM_EMIT("addps 0xa0(%[ILOG]), %%xmm5") // xmm5 = L3+A*L2+A*(L1+L0*A)
251 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L3+A*L2+A*(L1+L0*A))
252 __ASM_EMIT("addps 0xb0(%[ILOG]), %%xmm5") // xmm5 = L4+A*(L3+A*L2+A*(L1+L0*A))
253 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L4+A*(L3+A*L2+A*(L1+L0*A)))
254 __ASM_EMIT("addps 0xc0(%[ILOG]), %%xmm5") // xmm5 = L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))
255 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))
256 __ASM_EMIT("addps 0xd0(%[ILOG]), %%xmm5") // xmm5 = L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))
257 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))
258 __ASM_EMIT("addps 0xe0(%[ILOG]), %%xmm5") // xmm5 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))
259 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))
260 __ASM_EMIT("addps 0xf0(%[ILOG]), %%xmm5") // xmm5 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))
261 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))))
262 __ASM_EMIT("addps 0x100(%[ILOG]), %%xmm5") // xmm5 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + L9
263 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*(A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + L9)
264 __ASM_EMIT("mulps %%xmm3, %%xmm5") // xmm5 = A*A*(A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + L9)
265 __ASM_EMIT("mulps 0x110(%[ILOG]), %%xmm4") // xmm4 = B*(LXE + LN2)
266 __ASM_EMIT("addps %%xmm4, %%xmm5") // xmm5 = B*(LXE + LN2) + A*A*A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))))
267 __ASM_EMIT("addps %%xmm3, %%xmm5") // xmm5 = B*(LXE + LN2) + A*A*A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + A
268 // Apply values to axes
269 __ASM_EMIT("movaps %%xmm5, %%xmm3") // xmm3 = log(abs(v*zero)), xmm5=log(abs(v*zero))
270 __ASM_EMIT("movups (%[x]), %%xmm4") // xmm4 = x
271 __ASM_EMIT("movups (%[y]), %%xmm6") // xmm6 = y
272 __ASM_EMIT("mulps %%xmm1, %%xmm3") // xmm3 = log(abs(v*zero)) * norm_x
273 __ASM_EMIT("mulps %%xmm2, %%xmm5") // xmm5 = log(abs(v*zero)) * norm_y
274 __ASM_EMIT("addps %%xmm3, %%xmm4") // xmm4 = x + log(abs(v*zero)) * norm_x
275 __ASM_EMIT("addps %%xmm5, %%xmm6") // xmm6 = y + log(abs(v*zero)) * norm_y
276 __ASM_EMIT("movups %%xmm4, (%[x])")
277 __ASM_EMIT("movups %%xmm6, (%[y])")
278 __ASM_EMIT("add $0x10, %[x]")
279 __ASM_EMIT("add $0x10, %[y]")
280 __ASM_EMIT("sub $4, %[count]")
281 __ASM_EMIT("jae 1b")
282
283 __ASM_EMIT("2:")
284 __ASM_EMIT("add $3, %[count]")
285 __ASM_EMIT("jl 4f")
286
287 // Do x1 blocks
288 __ASM_EMIT("3:")
289 __ASM_EMIT("movss (%[v]), %%xmm3") // xmm3 = v
290 __ASM_EMIT("andps 0x00(%[ILOG]), %%xmm3") // xmm3 = abs(v)
291 __ASM_EMIT("add $0x04, %[v]") // v += 4
292 __ASM_EMIT("maxps 0x10(%[ILOG]), %%xmm3") // xmm3 = max(X_AMP, abs(v)), ignores denormalized values
293 __ASM_EMIT("mulps %%xmm0, %%xmm3") // xmm5 = max(X_AMP, abs(v)) * zero
294 // Step 2: parse float value
295 __ASM_EMIT("movdqa %%xmm3, %%xmm4") // xmm4 = v
296 __ASM_EMIT("psrld $23, %%xmm4") // xmm4 = frac(v)
297 __ASM_EMIT("andps 0x20(%[ILOG]), %%xmm3") // xmm3 = mant(v)
298 __ASM_EMIT("psubd 0x30(%[ILOG]), %%xmm4") // xmm4 = frac(v) - 127
299 __ASM_EMIT("orps 0x40(%[ILOG]), %%xmm3") // xmm3 = V = mant(v)+0.5
300 __ASM_EMIT("cvtdq2ps %%xmm4, %%xmm4") // xmm4 = E = float(frac(v)-127)
301 // Prepare logarithm approximation calculations
302 __ASM_EMIT("movaps %%xmm3, %%xmm5") // xmm5 = V
303 __ASM_EMIT("movaps %%xmm3, %%xmm6") // xmm6 = V
304 __ASM_EMIT("cmpltps 0x50(%[ILOG]), %%xmm5") // xmm5 = [ V < sqrt(1/2) ]
305 __ASM_EMIT("movaps 0x60(%[ILOG]), %%xmm7") // xmm7 = 1.0
306 __ASM_EMIT("andps %%xmm5, %%xmm6") // xmm6 = V * [ V < sqrt(1/2) ]
307 __ASM_EMIT("addps %%xmm6, %%xmm3") // xmm6 = V + V * [ V < sqrt(1/2) ]
308 __ASM_EMIT("andnps %%xmm7, %%xmm5") // xmm5 = 1.0 * [ V >= sqrt(1/2) ]
309 __ASM_EMIT("addps %%xmm5, %%xmm4") // xmm4 = E + 1.0 * [ V >= sqrt(1/2) ] = B
310 __ASM_EMIT("subps %%xmm7, %%xmm3") // xmm3 = V + V * [ V < sqrt(1/2) ] - 1.0 = A
311 // Calculate logarithmic values
312 __ASM_EMIT("movaps 0x70(%[ILOG]), %%xmm5") // xmm5 = L0
313 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = L0*A
314 __ASM_EMIT("addss 0x80(%[ILOG]), %%xmm5") // xmm5 = L1+L0*A
315 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L1+L0*A)
316 __ASM_EMIT("addss 0x90(%[ILOG]), %%xmm5") // xmm5 = L2+A*(L1+L0*A)
317 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L2+A*(L1+L0*A))
318 __ASM_EMIT("addss 0xa0(%[ILOG]), %%xmm5") // xmm5 = L3+A*L2+A*(L1+L0*A)
319 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L3+A*L2+A*(L1+L0*A))
320 __ASM_EMIT("addss 0xb0(%[ILOG]), %%xmm5") // xmm5 = L4+A*(L3+A*L2+A*(L1+L0*A))
321 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L4+A*(L3+A*L2+A*(L1+L0*A)))
322 __ASM_EMIT("addss 0xc0(%[ILOG]), %%xmm5") // xmm5 = L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))
323 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))
324 __ASM_EMIT("addss 0xd0(%[ILOG]), %%xmm5") // xmm5 = L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))
325 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))
326 __ASM_EMIT("addss 0xe0(%[ILOG]), %%xmm5") // xmm5 = L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))
327 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))
328 __ASM_EMIT("addss 0xf0(%[ILOG]), %%xmm5") // xmm5 = L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))
329 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))))
330 __ASM_EMIT("addss 0x100(%[ILOG]), %%xmm5") // xmm5 = A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + L9
331 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*(A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + L9)
332 __ASM_EMIT("mulss %%xmm3, %%xmm5") // xmm5 = A*A*(A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + L9)
333 __ASM_EMIT("mulss 0x110(%[ILOG]), %%xmm4") // xmm4 = B*(LXE + LN2)
334 __ASM_EMIT("addss %%xmm4, %%xmm5") // xmm5 = B*(LXE + LN2) + A*A*A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A)))))))
335 __ASM_EMIT("addss %%xmm3, %%xmm5") // xmm5 = B*(LXE + LN2) + A*A*A*(L8+A*(L7+A*(L6+A*(L5+A*(L4+A*(L3+A*L2+A*(L1+L0*A))))))) + A
336 // Apply values to axes
337 __ASM_EMIT("movaps %%xmm5, %%xmm3") // xmm3 = log(abs(v*zero)), xmm5=log(abs(v*zero))
338 __ASM_EMIT("movss (%[x]), %%xmm4") // xmm4 = x
339 __ASM_EMIT("movss (%[y]), %%xmm6") // xmm6 = y
340 __ASM_EMIT("mulps %%xmm1, %%xmm3") // xmm3 = log(abs(v*zero)) * norm_x
341 __ASM_EMIT("mulps %%xmm2, %%xmm5") // xmm5 = log(abs(v*zero)) * norm_y
342 __ASM_EMIT("addps %%xmm3, %%xmm4") // xmm4 = x + log(abs(v*zero)) * norm_x
343 __ASM_EMIT("addps %%xmm5, %%xmm6") // xmm6 = y + log(abs(v*zero)) * norm_y
344 __ASM_EMIT("movss %%xmm4, (%[x])")
345 __ASM_EMIT("movss %%xmm6, (%[y])")
346 __ASM_EMIT("add $0x04, %[x]")
347 __ASM_EMIT("add $0x04, %[y]")
348 __ASM_EMIT("dec %[count]")
349 __ASM_EMIT("jge 3b")
350
351 __ASM_EMIT("4:")
352
353 : [v] "+r" (v), [x] "+r" (x) , [y] "+r" (y),
354 [count] "+r" (count)
355 : [zero] "m" (zero), [norm_x] "m" (norm_x), [norm_y] "m" (norm_y),
356 [ILOG] "r" (LOG_IARGS)
357 : "%xmm0", "%xmm1", "%xmm2", "%xmm3",
358 "%xmm4", "%xmm5", "%xmm6", "%xmm7"
359 );
360 }
361 }
362 }
363
364 #endif /* PRIVATE_DSP_ARCH_X86_SSE2_GRAPHICS_AXIS_H_ */