target/i386/ops_sse.h

25 #if SHIFT == 0
40 #if SHIFT == 1
47 #define LANE_WIDTH (SHIFT ? 16 : 8)
50 #if SHIFT == 0
61         for (int i = 0; i < 1 << SHIFT; i++) {
66         for (int i = 0; i < 4 << SHIFT; i++) {
76         for (int i = 0; i < 1 << SHIFT; i++) {
81         for (int i = 0; i < 4 << SHIFT; i++) {
95     for (int i = 0; i < 4 << SHIFT; i++) {
104         for (int i = 0; i < 1 << SHIFT; i++) {
109         for (int i = 0; i < 2 << SHIFT; i++) {
119         for (int i = 0; i < 1 << SHIFT; i++) {
124         for (int i = 0; i < 2 << SHIFT; i++) {
138     for (int i = 0; i < 2 << SHIFT; i++) {
147         for (int i = 0; i < 1 << SHIFT; i++) {
152         for (int i = 0; i < 1 << SHIFT; i++) {
162         for (int i = 0; i < 1 << SHIFT; i++) {
167         for (int i = 0; i < 1 << SHIFT; i++) {
173 #if SHIFT >= 1
182     for (j = 0; j < 8 << SHIFT; j += LANE_WIDTH) {
200     for (j = 0; j < 8 << SHIFT; j += LANE_WIDTH) {
230     SSE_HELPER_2(name, B, 8 << SHIFT, F)
233     SSE_HELPER_2(name, W, 4 << SHIFT, F)
236     SSE_HELPER_2(name, L, 2 << SHIFT, F)
239     SSE_HELPER_2(name, Q, 1 << SHIFT, F)
241 #if SHIFT == 0
312 #if SHIFT == 0
329     for (i = 0; i < (1 << SHIFT); i++) {
338     for (i = 0; i < (2 << SHIFT); i++) {
344 #if SHIFT == 0
358     for (i = 0; i < (1 << SHIFT); i++) {
372 #if SHIFT < 2
378     for (i = 0; i < (8 << SHIFT); i++) {
397 #if SHIFT == 0
410     for (i = 0; i < 2 << SHIFT; i += 4) {
420     for (i = 0; i < 1 << SHIFT; i += 2) {
434     for (i = 0; i < 2 << SHIFT; i += 4) {
444     for (i = 0, j = 1; j < 1 << SHIFT; i += 8, j += 2) {
455     for (i = 4, j = 0; j < 1 << SHIFT; i += 8, j += 2) {
462 #if SHIFT >= 1
471         for (i = 0; i < 2 << SHIFT; i++) {                              \
480         for (i = 0; i < 1 << SHIFT; i++) {                              \
485 #if SHIFT == 1
494         for (i = 1; i < 2 << SHIFT; i++) {                              \
503         for (i = 1; i < 1 << SHIFT; i++) {                              \
538     for (i = 0; i < 2 << SHIFT; i++) {
546     for (i = 0; i < 1 << SHIFT; i++) {
551 #if SHIFT == 1
556     for (i = 1; i < 2 << SHIFT; i++) {
565     for (i = 1; i < 1 << SHIFT; i++) {
575     for (i = 1 << SHIFT; --i >= 0; ) {
583     for (i = 0; i < 1 << SHIFT; i++) {
586     for (i >>= 1; i < 1 << SHIFT; i++) {
591 #if SHIFT >= 1
596     for (i = 2 << SHIFT; --i >= 0; ) {
609     for (i = 0; i < 2 << SHIFT; i++) {
612     for (i >>= 2; i < 1 << SHIFT; i++) {
620 #if SHIFT == 1
625     for (i = 1; i < 1 << SHIFT; i++) {
634     for (i = 1; i < 2 << SHIFT; i++) {
644     for (i = 0; i < 2 << SHIFT; i++) {
652     for (i = 1 << SHIFT; --i >= 0; ) {
658 #if SHIFT == 1
697 #if SHIFT == 1
733     for (i = 0; i < 2 << SHIFT; i++) {
741     for (i = 0; i < 1 << SHIFT; i++) {
744     for (i >>= 1; i < 1 << SHIFT; i++) {
749 #if SHIFT == 1
789     for (i = 0; i < 2 << SHIFT; i++) {
798     for (i = 0; i < 1 << SHIFT; i++) {
802     for (i >>= 1; i < 1 << SHIFT; i++) {
807 #if SHIFT == 1
847     for (i = 0; i < 2 << SHIFT; i++) {
855 #if SHIFT == 1
864     for (i = 1; i < 2 << SHIFT; i++) {
874     for (i = 0; i < 2 << SHIFT; i++) {
880 #if SHIFT == 1
886     for (i = 1; i < 2 << SHIFT; i++) {
893 #if SHIFT == 1
942     float32 r[2 << SHIFT];                                        \
944     for (k = 0; k < 2 << SHIFT; k += LANE_WIDTH / 4) {            \
952     for (i = 0; i < 2 << SHIFT; i++) {                            \
963     float64 r[1 << SHIFT];                                        \
965     for (k = 0; k < 1 << SHIFT; k += LANE_WIDTH / 8) {            \
973     for (i = 0; i < 1 << SHIFT; i++) {                            \
984     for (i = 0; i < 2 << SHIFT; i += 2) {
993     for (i = 0; i < 1 << SHIFT; i += 2) {
1004         for (i = 0; i < 2 << SHIFT; i++) {                              \
1013         for (i = 0; i < 1 << SHIFT; i++) {                              \
1018 #if SHIFT == 1
1025         for (i = 1; i < 2 << SHIFT; i++) {                                  \
1034         for (i = 1; i < 1 << SHIFT; i++) {                                  \
1102 #if SHIFT == 1
1160     for (i = 0; i < 2 << SHIFT; i++) {
1172     for (i = 0; i < 1 << SHIFT; i++) {
1186     for (j = 0; j < 4 << SHIFT; j += PACK_WIDTH) {            \
1207     for (j = 0; j < 2 << SHIFT; j += PACK_WIDTH / 2) {
1228         for (j = 0; j < 8 << SHIFT; ) {                                 \
1246         for (j = 0; j < 4 << SHIFT; ) {                                 \
1264         for (j = 0; j < 2 << SHIFT; ) {                                 \
1283                  for (i = 0; i < 1 << SHIFT; i += 2) {                  \
1301 #if SHIFT == 0
1453 #if SHIFT == 0
1463     uint8_t r[8 << SHIFT];
1465     for (i = 0; i < 8 << SHIFT; i++) {
1469     for (i = 0; i < 8 << SHIFT; i++) {
1478     uint16_t r[4 << SHIFT];                                \
1480     for (k = 0; k < 4 << SHIFT; k += LANE_WIDTH / 2) {     \
1488     for (i = 0; i < 4 << SHIFT; i++) {                     \
1496     uint32_t r[2 << SHIFT];                                \
1498     for (k = 0; k < 2 << SHIFT; k += LANE_WIDTH / 4) {     \
1506     for (i = 0; i < 2 << SHIFT; i++) {                     \
1524     for (i = 0; i < 4 << SHIFT; i++) {
1546     if (imm >= (SHIFT ? 32 : 16)) {
1547         for (i = 0; i < (1 << SHIFT); i++) {
1553 #if SHIFT == 0
1557         for (i = 0; i < (1 << SHIFT); i += 2) {
1576 #if SHIFT >= 1
1603 SSE_HELPER_V(helper_pblendvb, B, 8 << SHIFT, FBLENDVB)
1604 SSE_HELPER_V(helper_blendvps, L, 2 << SHIFT, FBLENDVPS)
1605 SSE_HELPER_V(helper_blendvpd, Q, 1 << SHIFT, FBLENDVPD)
1612     for (i = 0; i < 1 << SHIFT; i++) {
1633 #if SHIFT > 0
1634 SSE_HELPER_F(helper_pmovsxbw, W, 4 << SHIFT, (int8_t) s->B)
1635 SSE_HELPER_F(helper_pmovsxbd, L, 2 << SHIFT, (int8_t) s->B)
1636 SSE_HELPER_F(helper_pmovsxbq, Q, 1 << SHIFT, (int8_t) s->B)
1637 SSE_HELPER_F(helper_pmovsxwd, L, 2 << SHIFT, (int16_t) s->W)
1638 SSE_HELPER_F(helper_pmovsxwq, Q, 1 << SHIFT, (int16_t) s->W)
1639 SSE_HELPER_F(helper_pmovsxdq, Q, 1 << SHIFT, (int32_t) s->L)
1640 SSE_HELPER_F(helper_pmovzxbw, W, 4 << SHIFT, s->B)
1641 SSE_HELPER_F(helper_pmovzxbd, L, 2 << SHIFT, s->B)
1642 SSE_HELPER_F(helper_pmovzxbq, Q, 1 << SHIFT, s->B)
1643 SSE_HELPER_F(helper_pmovzxwd, L, 2 << SHIFT, s->W)
1644 SSE_HELPER_F(helper_pmovzxwq, Q, 1 << SHIFT, s->W)
1645 SSE_HELPER_F(helper_pmovzxdq, Q, 1 << SHIFT, s->L)
1646 SSE_HELPER_F(helper_pmovsldup, L, 2 << SHIFT, FMOVSLDUP)
1647 SSE_HELPER_F(helper_pmovshdup, L, 2 << SHIFT, FMOVSHDUP)
1648 SSE_HELPER_F(helper_pmovdldup, Q, 1 << SHIFT, FMOVDLDUP)
1655     for (i = 0; i < 1 << SHIFT; i++) {
1665     for (i = 0, j = 0; i <= 2 << SHIFT; i += 8, j += 4) {
1680 #if SHIFT == 1
1726     for (i = 0; i < 2 << SHIFT; i++) {
1750     for (i = 0; i < 1 << SHIFT; i++) {
1762 #if SHIFT == 1
1776     for (i = 1; i < 2 << SHIFT; i++) {
1801     for (i = 1; i < 1 << SHIFT; i++) {
1815 SSE_HELPER_I(helper_blendps, L, 2 << SHIFT, FBLENDP)
1816 SSE_HELPER_I(helper_blendpd, Q, 1 << SHIFT, FBLENDP)
1817 SSE_HELPER_I(helper_pblendw, W, 4 << SHIFT, FBLENDP)
1825     for (i = 0; i < 2 << SHIFT; i += 4) {
1861 #if SHIFT == 1
1890     for (j = 0; j < 4 << SHIFT; ) {
1908 #if SHIFT == 1
2138     for (int i = 0; i < SHIFT; i++) {
2149     for (int i = 0; i < SHIFT; i++) {
2160     for (int i = 0; i < SHIFT; i++) {
2171     for (int i = 0; i < SHIFT; i++) {
2182     for (int i = 0; i < SHIFT; i++) {
2191 #if SHIFT == 1
2216 #if SHIFT >= 1
2222     for (i = 0; i < 1 << SHIFT; i += 2) {
2235     for (i = 0; i < 2 << SHIFT; i += 4) {
2252     for (i = 0; i < 1 << SHIFT; i += 2) {
2267     for (i = 0; i < 2 << SHIFT; i += 4) {
2279 #if SHIFT == 1
2301     for (i = 0; i < 2 << SHIFT; i++) {
2314     for (i = 0; i < 1 << SHIFT; i++) {
2327     for (i = 0; i < (2 << SHIFT); i++) {
2339     for (i = 0; i < (1 << SHIFT); i++) {
2350     for (i = 0; i < (2 << SHIFT); i++) {
2359     for (i = 0; i < (1 << SHIFT); i++) {
2368     for (i = 0; i < (2 << SHIFT); i++) {
2382     for (i = 0; i < (1 << SHIFT); i++) {
2396     for (i = 0; i < (1 << SHIFT); i++) {
2404     for (i /= 2; i < 1 << SHIFT; i++) {
2414     for (i = 0; i < (1 << SHIFT); i++) {
2425 #if SHIFT >= 2
2512 #if SHIFT == 1
2533 #if SHIFT >= 1
2534 SSE_HELPER_FMAP(helper_fma4ps,  ZMM_S, 2 << SHIFT, float32_muladd)
2535 SSE_HELPER_FMAP(helper_fma4pd,  ZMM_D, 1 << SHIFT, float64_muladd)
2538 #if SHIFT == 1
2669 #undef SHIFT