xref: /qemu/target/arm/tcg/helper-sve.h (revision b95f5eebf6be4ebcc8ff13aaa5d93431c20e9b07)
19e18d7a6SRichard Henderson /*
29e18d7a6SRichard Henderson  *  AArch64 SVE specific helper definitions
39e18d7a6SRichard Henderson  *
49e18d7a6SRichard Henderson  *  Copyright (c) 2018 Linaro, Ltd
59e18d7a6SRichard Henderson  *
69e18d7a6SRichard Henderson  * This library is free software; you can redistribute it and/or
79e18d7a6SRichard Henderson  * modify it under the terms of the GNU Lesser General Public
89e18d7a6SRichard Henderson  * License as published by the Free Software Foundation; either
950f57e09SChetan Pant  * version 2.1 of the License, or (at your option) any later version.
109e18d7a6SRichard Henderson  *
119e18d7a6SRichard Henderson  * This library is distributed in the hope that it will be useful,
129e18d7a6SRichard Henderson  * but WITHOUT ANY WARRANTY; without even the implied warranty of
139e18d7a6SRichard Henderson  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
149e18d7a6SRichard Henderson  * Lesser General Public License for more details.
159e18d7a6SRichard Henderson  *
169e18d7a6SRichard Henderson  * You should have received a copy of the GNU Lesser General Public
179e18d7a6SRichard Henderson  * License along with this library; if not, see <http://www.gnu.org/licenses/>.
189e18d7a6SRichard Henderson  */
199e18d7a6SRichard Henderson 
209e18d7a6SRichard Henderson DEF_HELPER_FLAGS_2(sve_predtest1, TCG_CALL_NO_WG, i32, i64, i64)
219e18d7a6SRichard Henderson DEF_HELPER_FLAGS_3(sve_predtest, TCG_CALL_NO_WG, i32, ptr, ptr, i32)
22516e246aSRichard Henderson 
23028e2a7bSRichard Henderson DEF_HELPER_FLAGS_3(sve_pfirst, TCG_CALL_NO_WG, i32, ptr, ptr, i32)
24028e2a7bSRichard Henderson DEF_HELPER_FLAGS_3(sve_pnext, TCG_CALL_NO_WG, i32, ptr, ptr, i32)
25028e2a7bSRichard Henderson 
26f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_and_zpzz_b, TCG_CALL_NO_RWG,
27f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
28f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_and_zpzz_h, TCG_CALL_NO_RWG,
29f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
30f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_and_zpzz_s, TCG_CALL_NO_RWG,
31f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
32f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_and_zpzz_d, TCG_CALL_NO_RWG,
33f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
34f97cfd59SRichard Henderson 
35f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_eor_zpzz_b, TCG_CALL_NO_RWG,
36f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
37f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_eor_zpzz_h, TCG_CALL_NO_RWG,
38f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
39f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_eor_zpzz_s, TCG_CALL_NO_RWG,
40f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
41f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_eor_zpzz_d, TCG_CALL_NO_RWG,
42f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
43f97cfd59SRichard Henderson 
44f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_orr_zpzz_b, TCG_CALL_NO_RWG,
45f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
46f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_orr_zpzz_h, TCG_CALL_NO_RWG,
47f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
48f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_orr_zpzz_s, TCG_CALL_NO_RWG,
49f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
50f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_orr_zpzz_d, TCG_CALL_NO_RWG,
51f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
52f97cfd59SRichard Henderson 
53f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_bic_zpzz_b, TCG_CALL_NO_RWG,
54f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
55f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_bic_zpzz_h, TCG_CALL_NO_RWG,
56f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
57f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_bic_zpzz_s, TCG_CALL_NO_RWG,
58f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
59f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_bic_zpzz_d, TCG_CALL_NO_RWG,
60f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
61f97cfd59SRichard Henderson 
62f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_add_zpzz_b, TCG_CALL_NO_RWG,
63f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
64f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_add_zpzz_h, TCG_CALL_NO_RWG,
65f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
66f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_add_zpzz_s, TCG_CALL_NO_RWG,
67f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
68f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_add_zpzz_d, TCG_CALL_NO_RWG,
69f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
70f97cfd59SRichard Henderson 
71f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_sub_zpzz_b, TCG_CALL_NO_RWG,
72f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
73f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_sub_zpzz_h, TCG_CALL_NO_RWG,
74f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
75f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_sub_zpzz_s, TCG_CALL_NO_RWG,
76f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
77f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_sub_zpzz_d, TCG_CALL_NO_RWG,
78f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
79f97cfd59SRichard Henderson 
80f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_smax_zpzz_b, TCG_CALL_NO_RWG,
81f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
82f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_smax_zpzz_h, TCG_CALL_NO_RWG,
83f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
84f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_smax_zpzz_s, TCG_CALL_NO_RWG,
85f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
86f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_smax_zpzz_d, TCG_CALL_NO_RWG,
87f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
88f97cfd59SRichard Henderson 
89f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_umax_zpzz_b, TCG_CALL_NO_RWG,
90f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
91f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_umax_zpzz_h, TCG_CALL_NO_RWG,
92f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
93f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_umax_zpzz_s, TCG_CALL_NO_RWG,
94f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
95f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_umax_zpzz_d, TCG_CALL_NO_RWG,
96f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
97f97cfd59SRichard Henderson 
98f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_smin_zpzz_b, TCG_CALL_NO_RWG,
99f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
100f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_smin_zpzz_h, TCG_CALL_NO_RWG,
101f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
102f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_smin_zpzz_s, TCG_CALL_NO_RWG,
103f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
104f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_smin_zpzz_d, TCG_CALL_NO_RWG,
105f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
106f97cfd59SRichard Henderson 
107f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_umin_zpzz_b, TCG_CALL_NO_RWG,
108f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
109f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_umin_zpzz_h, TCG_CALL_NO_RWG,
110f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
111f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_umin_zpzz_s, TCG_CALL_NO_RWG,
112f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
113f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_umin_zpzz_d, TCG_CALL_NO_RWG,
114f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
115f97cfd59SRichard Henderson 
116f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_sabd_zpzz_b, TCG_CALL_NO_RWG,
117f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
118f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_sabd_zpzz_h, TCG_CALL_NO_RWG,
119f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
120f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_sabd_zpzz_s, TCG_CALL_NO_RWG,
121f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
122f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_sabd_zpzz_d, TCG_CALL_NO_RWG,
123f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
124f97cfd59SRichard Henderson 
125f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_uabd_zpzz_b, TCG_CALL_NO_RWG,
126f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
127f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_uabd_zpzz_h, TCG_CALL_NO_RWG,
128f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
129f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_uabd_zpzz_s, TCG_CALL_NO_RWG,
130f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
131f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_uabd_zpzz_d, TCG_CALL_NO_RWG,
132f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
133f97cfd59SRichard Henderson 
134f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_mul_zpzz_b, TCG_CALL_NO_RWG,
135f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
136f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_mul_zpzz_h, TCG_CALL_NO_RWG,
137f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
138f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_mul_zpzz_s, TCG_CALL_NO_RWG,
139f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
140f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_mul_zpzz_d, TCG_CALL_NO_RWG,
141f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
142f97cfd59SRichard Henderson 
143f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_smulh_zpzz_b, TCG_CALL_NO_RWG,
144f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
145f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_smulh_zpzz_h, TCG_CALL_NO_RWG,
146f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
147f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_smulh_zpzz_s, TCG_CALL_NO_RWG,
148f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
149f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_smulh_zpzz_d, TCG_CALL_NO_RWG,
150f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
151f97cfd59SRichard Henderson 
152f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_umulh_zpzz_b, TCG_CALL_NO_RWG,
153f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
154f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_umulh_zpzz_h, TCG_CALL_NO_RWG,
155f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
156f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_umulh_zpzz_s, TCG_CALL_NO_RWG,
157f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
158f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_umulh_zpzz_d, TCG_CALL_NO_RWG,
159f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
160f97cfd59SRichard Henderson 
161d4b1e59dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sadalp_zpzz_h, TCG_CALL_NO_RWG,
162d4b1e59dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
163d4b1e59dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sadalp_zpzz_s, TCG_CALL_NO_RWG,
164d4b1e59dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
165d4b1e59dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sadalp_zpzz_d, TCG_CALL_NO_RWG,
166d4b1e59dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
167d4b1e59dSRichard Henderson 
168d4b1e59dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uadalp_zpzz_h, TCG_CALL_NO_RWG,
169d4b1e59dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
170d4b1e59dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uadalp_zpzz_s, TCG_CALL_NO_RWG,
171d4b1e59dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
172d4b1e59dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uadalp_zpzz_d, TCG_CALL_NO_RWG,
173d4b1e59dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
174d4b1e59dSRichard Henderson 
17545d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_srshl_zpzz_b, TCG_CALL_NO_RWG,
17645d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
17745d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_srshl_zpzz_h, TCG_CALL_NO_RWG,
17845d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
17945d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_srshl_zpzz_s, TCG_CALL_NO_RWG,
18045d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
18145d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_srshl_zpzz_d, TCG_CALL_NO_RWG,
18245d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
18345d9503dSRichard Henderson 
18445d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_urshl_zpzz_b, TCG_CALL_NO_RWG,
18545d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
18645d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_urshl_zpzz_h, TCG_CALL_NO_RWG,
18745d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
18845d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_urshl_zpzz_s, TCG_CALL_NO_RWG,
18945d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
19045d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_urshl_zpzz_d, TCG_CALL_NO_RWG,
19145d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
19245d9503dSRichard Henderson 
19345d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqshl_zpzz_b, TCG_CALL_NO_RWG,
19445d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
19545d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqshl_zpzz_h, TCG_CALL_NO_RWG,
19645d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
19745d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqshl_zpzz_s, TCG_CALL_NO_RWG,
19845d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
19945d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqshl_zpzz_d, TCG_CALL_NO_RWG,
20045d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
20145d9503dSRichard Henderson 
20245d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqshl_zpzz_b, TCG_CALL_NO_RWG,
20345d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
20445d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqshl_zpzz_h, TCG_CALL_NO_RWG,
20545d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
20645d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqshl_zpzz_s, TCG_CALL_NO_RWG,
20745d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
20845d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqshl_zpzz_d, TCG_CALL_NO_RWG,
20945d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
21045d9503dSRichard Henderson 
21145d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrshl_zpzz_b, TCG_CALL_NO_RWG,
21245d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
21345d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrshl_zpzz_h, TCG_CALL_NO_RWG,
21445d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
21545d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrshl_zpzz_s, TCG_CALL_NO_RWG,
21645d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
21745d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrshl_zpzz_d, TCG_CALL_NO_RWG,
21845d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
21945d9503dSRichard Henderson 
22045d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqrshl_zpzz_b, TCG_CALL_NO_RWG,
22145d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
22245d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqrshl_zpzz_h, TCG_CALL_NO_RWG,
22345d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
22445d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqrshl_zpzz_s, TCG_CALL_NO_RWG,
22545d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
22645d9503dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqrshl_zpzz_d, TCG_CALL_NO_RWG,
22745d9503dSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
22845d9503dSRichard Henderson 
229a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_shadd_zpzz_b, TCG_CALL_NO_RWG,
230a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
231a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_shadd_zpzz_h, TCG_CALL_NO_RWG,
232a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
233a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_shadd_zpzz_s, TCG_CALL_NO_RWG,
234a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
235a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_shadd_zpzz_d, TCG_CALL_NO_RWG,
236a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
237a47dc220SRichard Henderson 
238a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_uhadd_zpzz_b, TCG_CALL_NO_RWG,
239a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
240a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_uhadd_zpzz_h, TCG_CALL_NO_RWG,
241a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
242a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_uhadd_zpzz_s, TCG_CALL_NO_RWG,
243a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
244a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_uhadd_zpzz_d, TCG_CALL_NO_RWG,
245a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
246a47dc220SRichard Henderson 
247a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_srhadd_zpzz_b, TCG_CALL_NO_RWG,
248a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
249a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_srhadd_zpzz_h, TCG_CALL_NO_RWG,
250a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
251a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_srhadd_zpzz_s, TCG_CALL_NO_RWG,
252a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
253a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_srhadd_zpzz_d, TCG_CALL_NO_RWG,
254a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
255a47dc220SRichard Henderson 
256a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_urhadd_zpzz_b, TCG_CALL_NO_RWG,
257a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
258a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_urhadd_zpzz_h, TCG_CALL_NO_RWG,
259a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
260a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_urhadd_zpzz_s, TCG_CALL_NO_RWG,
261a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
262a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_urhadd_zpzz_d, TCG_CALL_NO_RWG,
263a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
264a47dc220SRichard Henderson 
265a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_shsub_zpzz_b, TCG_CALL_NO_RWG,
266a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
267a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_shsub_zpzz_h, TCG_CALL_NO_RWG,
268a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
269a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_shsub_zpzz_s, TCG_CALL_NO_RWG,
270a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
271a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_shsub_zpzz_d, TCG_CALL_NO_RWG,
272a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
273a47dc220SRichard Henderson 
274a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_uhsub_zpzz_b, TCG_CALL_NO_RWG,
275a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
276a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_uhsub_zpzz_h, TCG_CALL_NO_RWG,
277a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
278a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_uhsub_zpzz_s, TCG_CALL_NO_RWG,
279a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
280a47dc220SRichard Henderson DEF_HELPER_FLAGS_5(sve2_uhsub_zpzz_d, TCG_CALL_NO_RWG,
281a47dc220SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
282a47dc220SRichard Henderson 
283f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_sdiv_zpzz_s, TCG_CALL_NO_RWG,
284f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
285f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_sdiv_zpzz_d, TCG_CALL_NO_RWG,
286f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
287f97cfd59SRichard Henderson 
288f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_udiv_zpzz_s, TCG_CALL_NO_RWG,
289f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
290f97cfd59SRichard Henderson DEF_HELPER_FLAGS_5(sve_udiv_zpzz_d, TCG_CALL_NO_RWG,
291f97cfd59SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
292f97cfd59SRichard Henderson 
29327721dbbSRichard Henderson DEF_HELPER_FLAGS_5(sve_asr_zpzz_b, TCG_CALL_NO_RWG,
29427721dbbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
29527721dbbSRichard Henderson DEF_HELPER_FLAGS_5(sve_asr_zpzz_h, TCG_CALL_NO_RWG,
29627721dbbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
29727721dbbSRichard Henderson DEF_HELPER_FLAGS_5(sve_asr_zpzz_s, TCG_CALL_NO_RWG,
29827721dbbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
29927721dbbSRichard Henderson DEF_HELPER_FLAGS_5(sve_asr_zpzz_d, TCG_CALL_NO_RWG,
30027721dbbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
30127721dbbSRichard Henderson 
30227721dbbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsr_zpzz_b, TCG_CALL_NO_RWG,
30327721dbbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
30427721dbbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsr_zpzz_h, TCG_CALL_NO_RWG,
30527721dbbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
30627721dbbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsr_zpzz_s, TCG_CALL_NO_RWG,
30727721dbbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
30827721dbbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsr_zpzz_d, TCG_CALL_NO_RWG,
30927721dbbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
31027721dbbSRichard Henderson 
31127721dbbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsl_zpzz_b, TCG_CALL_NO_RWG,
31227721dbbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
31327721dbbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsl_zpzz_h, TCG_CALL_NO_RWG,
31427721dbbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
31527721dbbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsl_zpzz_s, TCG_CALL_NO_RWG,
31627721dbbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
31727721dbbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsl_zpzz_d, TCG_CALL_NO_RWG,
31827721dbbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
31927721dbbSRichard Henderson 
320d3fe4a29SRichard Henderson DEF_HELPER_FLAGS_5(sve_sel_zpzz_b, TCG_CALL_NO_RWG,
321d3fe4a29SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
322d3fe4a29SRichard Henderson DEF_HELPER_FLAGS_5(sve_sel_zpzz_h, TCG_CALL_NO_RWG,
323d3fe4a29SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
324d3fe4a29SRichard Henderson DEF_HELPER_FLAGS_5(sve_sel_zpzz_s, TCG_CALL_NO_RWG,
325d3fe4a29SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
326d3fe4a29SRichard Henderson DEF_HELPER_FLAGS_5(sve_sel_zpzz_d, TCG_CALL_NO_RWG,
327d3fe4a29SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
328d3fe4a29SRichard Henderson 
3298597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_addp_zpzz_b, TCG_CALL_NO_RWG,
3308597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3318597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_addp_zpzz_h, TCG_CALL_NO_RWG,
3328597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3338597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_addp_zpzz_s, TCG_CALL_NO_RWG,
3348597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3358597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_addp_zpzz_d, TCG_CALL_NO_RWG,
3368597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3378597dc8bSRichard Henderson 
3388597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_smaxp_zpzz_b, TCG_CALL_NO_RWG,
3398597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3408597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_smaxp_zpzz_h, TCG_CALL_NO_RWG,
3418597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3428597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_smaxp_zpzz_s, TCG_CALL_NO_RWG,
3438597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3448597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_smaxp_zpzz_d, TCG_CALL_NO_RWG,
3458597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3468597dc8bSRichard Henderson 
3478597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_umaxp_zpzz_b, TCG_CALL_NO_RWG,
3488597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3498597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_umaxp_zpzz_h, TCG_CALL_NO_RWG,
3508597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3518597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_umaxp_zpzz_s, TCG_CALL_NO_RWG,
3528597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3538597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_umaxp_zpzz_d, TCG_CALL_NO_RWG,
3548597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3558597dc8bSRichard Henderson 
3568597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sminp_zpzz_b, TCG_CALL_NO_RWG,
3578597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3588597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sminp_zpzz_h, TCG_CALL_NO_RWG,
3598597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3608597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sminp_zpzz_s, TCG_CALL_NO_RWG,
3618597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3628597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sminp_zpzz_d, TCG_CALL_NO_RWG,
3638597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3648597dc8bSRichard Henderson 
3658597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uminp_zpzz_b, TCG_CALL_NO_RWG,
3668597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3678597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uminp_zpzz_h, TCG_CALL_NO_RWG,
3688597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3698597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uminp_zpzz_s, TCG_CALL_NO_RWG,
3708597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3718597dc8bSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uminp_zpzz_d, TCG_CALL_NO_RWG,
3728597dc8bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3738597dc8bSRichard Henderson 
3744f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqadd_zpzz_b, TCG_CALL_NO_RWG,
3754f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3764f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqadd_zpzz_h, TCG_CALL_NO_RWG,
3774f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3784f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqadd_zpzz_s, TCG_CALL_NO_RWG,
3794f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3804f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqadd_zpzz_d, TCG_CALL_NO_RWG,
3814f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3824f07fbebSRichard Henderson 
3834f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqadd_zpzz_b, TCG_CALL_NO_RWG,
3844f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3854f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqadd_zpzz_h, TCG_CALL_NO_RWG,
3864f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3874f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqadd_zpzz_s, TCG_CALL_NO_RWG,
3884f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3894f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqadd_zpzz_d, TCG_CALL_NO_RWG,
3904f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3914f07fbebSRichard Henderson 
3924f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqsub_zpzz_b, TCG_CALL_NO_RWG,
3934f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3944f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqsub_zpzz_h, TCG_CALL_NO_RWG,
3954f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3964f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqsub_zpzz_s, TCG_CALL_NO_RWG,
3974f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
3984f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqsub_zpzz_d, TCG_CALL_NO_RWG,
3994f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4004f07fbebSRichard Henderson 
4014f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqsub_zpzz_b, TCG_CALL_NO_RWG,
4024f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4034f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqsub_zpzz_h, TCG_CALL_NO_RWG,
4044f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4054f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqsub_zpzz_s, TCG_CALL_NO_RWG,
4064f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4074f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_uqsub_zpzz_d, TCG_CALL_NO_RWG,
4084f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4094f07fbebSRichard Henderson 
4104f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_suqadd_zpzz_b, TCG_CALL_NO_RWG,
4114f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4124f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_suqadd_zpzz_h, TCG_CALL_NO_RWG,
4134f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4144f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_suqadd_zpzz_s, TCG_CALL_NO_RWG,
4154f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4164f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_suqadd_zpzz_d, TCG_CALL_NO_RWG,
4174f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4184f07fbebSRichard Henderson 
4194f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_usqadd_zpzz_b, TCG_CALL_NO_RWG,
4204f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4214f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_usqadd_zpzz_h, TCG_CALL_NO_RWG,
4224f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4234f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_usqadd_zpzz_s, TCG_CALL_NO_RWG,
4244f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4254f07fbebSRichard Henderson DEF_HELPER_FLAGS_5(sve2_usqadd_zpzz_d, TCG_CALL_NO_RWG,
4264f07fbebSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
4274f07fbebSRichard Henderson 
428fe7f8dfbSRichard Henderson DEF_HELPER_FLAGS_5(sve_asr_zpzw_b, TCG_CALL_NO_RWG,
429fe7f8dfbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
430fe7f8dfbSRichard Henderson DEF_HELPER_FLAGS_5(sve_asr_zpzw_h, TCG_CALL_NO_RWG,
431fe7f8dfbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
432fe7f8dfbSRichard Henderson DEF_HELPER_FLAGS_5(sve_asr_zpzw_s, TCG_CALL_NO_RWG,
433fe7f8dfbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
434fe7f8dfbSRichard Henderson 
435fe7f8dfbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsr_zpzw_b, TCG_CALL_NO_RWG,
436fe7f8dfbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
437fe7f8dfbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsr_zpzw_h, TCG_CALL_NO_RWG,
438fe7f8dfbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
439fe7f8dfbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsr_zpzw_s, TCG_CALL_NO_RWG,
440fe7f8dfbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
441fe7f8dfbSRichard Henderson 
442fe7f8dfbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsl_zpzw_b, TCG_CALL_NO_RWG,
443fe7f8dfbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
444fe7f8dfbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsl_zpzw_h, TCG_CALL_NO_RWG,
445fe7f8dfbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
446fe7f8dfbSRichard Henderson DEF_HELPER_FLAGS_5(sve_lsl_zpzw_s, TCG_CALL_NO_RWG,
447fe7f8dfbSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
448fe7f8dfbSRichard Henderson 
449047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_orv_b, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
450047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_orv_h, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
451047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_orv_s, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
452047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_orv_d, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
453047cec97SRichard Henderson 
454047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_eorv_b, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
455047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_eorv_h, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
456047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_eorv_s, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
457047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_eorv_d, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
458047cec97SRichard Henderson 
459047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_andv_b, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
460047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_andv_h, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
461047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_andv_s, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
462047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_andv_d, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
463047cec97SRichard Henderson 
464047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_saddv_b, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
465047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_saddv_h, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
466047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_saddv_s, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
467047cec97SRichard Henderson 
468047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_uaddv_b, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
469047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_uaddv_h, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
470047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_uaddv_s, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
471047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_uaddv_d, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
472047cec97SRichard Henderson 
473047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_smaxv_b, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
474047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_smaxv_h, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
475047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_smaxv_s, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
476047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_smaxv_d, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
477047cec97SRichard Henderson 
478047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_umaxv_b, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
479047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_umaxv_h, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
480047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_umaxv_s, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
481047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_umaxv_d, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
482047cec97SRichard Henderson 
483047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_sminv_b, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
484047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_sminv_h, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
485047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_sminv_s, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
486047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_sminv_d, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
487047cec97SRichard Henderson 
488047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_uminv_b, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
489047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_uminv_h, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
490047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_uminv_s, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
491047cec97SRichard Henderson DEF_HELPER_FLAGS_3(sve_uminv_d, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
492047cec97SRichard Henderson 
49368459864SRichard Henderson DEF_HELPER_FLAGS_4(sve_movz_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
49468459864SRichard Henderson DEF_HELPER_FLAGS_4(sve_movz_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
49568459864SRichard Henderson DEF_HELPER_FLAGS_4(sve_movz_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
49668459864SRichard Henderson DEF_HELPER_FLAGS_4(sve_movz_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
49768459864SRichard Henderson 
498ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_asr_zpzi_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
499ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_asr_zpzi_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
500ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_asr_zpzi_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
501ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_asr_zpzi_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
502ccd841c3SRichard Henderson 
503ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_lsr_zpzi_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
504ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_lsr_zpzi_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
505ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_lsr_zpzi_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
506ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_lsr_zpzi_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
507ccd841c3SRichard Henderson 
508ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_lsl_zpzi_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
509ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_lsl_zpzi_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
510ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_lsl_zpzi_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
511ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_lsl_zpzi_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
512ccd841c3SRichard Henderson 
513ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_asrd_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
514ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_asrd_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
515ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_asrd_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
516ccd841c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_asrd_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
517ccd841c3SRichard Henderson 
518afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_cls_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
519afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_cls_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
520afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_cls_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
521afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_cls_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
522afac6d04SRichard Henderson 
523afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_clz_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
524afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_clz_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
525afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_clz_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
526afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_clz_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
527afac6d04SRichard Henderson 
528afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_cnt_zpz_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
529afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_cnt_zpz_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
530afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_cnt_zpz_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
531afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_cnt_zpz_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
532afac6d04SRichard Henderson 
533afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_cnot_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
534afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_cnot_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
535afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_cnot_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
536afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_cnot_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
537afac6d04SRichard Henderson 
538afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_fabs_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
539afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_fabs_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
540afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_fabs_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
541afac6d04SRichard Henderson 
542afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_fneg_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
543afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_fneg_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
544afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_fneg_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
545afac6d04SRichard Henderson 
546afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_not_zpz_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
547afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_not_zpz_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
548afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_not_zpz_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
549afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_not_zpz_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
550afac6d04SRichard Henderson 
551afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_sxtb_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
552afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_sxtb_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
553afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_sxtb_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
554afac6d04SRichard Henderson 
555afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_uxtb_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
556afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_uxtb_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
557afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_uxtb_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
558afac6d04SRichard Henderson 
559afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_sxth_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
560afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_sxth_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
561afac6d04SRichard Henderson 
562afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_uxth_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
563afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_uxth_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
564afac6d04SRichard Henderson 
565afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_sxtw_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
566afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_uxtw_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
567afac6d04SRichard Henderson 
568afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_abs_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
569afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_abs_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
570afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_abs_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
571afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_abs_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
572afac6d04SRichard Henderson 
573afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_neg_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
574afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_neg_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
575afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_neg_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
576afac6d04SRichard Henderson DEF_HELPER_FLAGS_4(sve_neg_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
577afac6d04SRichard Henderson 
57896a36e4aSRichard Henderson DEF_HELPER_FLAGS_6(sve_mla_b, TCG_CALL_NO_RWG,
57996a36e4aSRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
58096a36e4aSRichard Henderson DEF_HELPER_FLAGS_6(sve_mla_h, TCG_CALL_NO_RWG,
58196a36e4aSRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
58296a36e4aSRichard Henderson DEF_HELPER_FLAGS_6(sve_mla_s, TCG_CALL_NO_RWG,
58396a36e4aSRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
58496a36e4aSRichard Henderson DEF_HELPER_FLAGS_6(sve_mla_d, TCG_CALL_NO_RWG,
58596a36e4aSRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
58696a36e4aSRichard Henderson 
58796a36e4aSRichard Henderson DEF_HELPER_FLAGS_6(sve_mls_b, TCG_CALL_NO_RWG,
58896a36e4aSRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
58996a36e4aSRichard Henderson DEF_HELPER_FLAGS_6(sve_mls_h, TCG_CALL_NO_RWG,
59096a36e4aSRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
59196a36e4aSRichard Henderson DEF_HELPER_FLAGS_6(sve_mls_s, TCG_CALL_NO_RWG,
59296a36e4aSRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
59396a36e4aSRichard Henderson DEF_HELPER_FLAGS_6(sve_mls_d, TCG_CALL_NO_RWG,
59496a36e4aSRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
59596a36e4aSRichard Henderson 
5969a56c9c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_index_b, TCG_CALL_NO_RWG, void, ptr, i32, i32, i32)
5979a56c9c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_index_h, TCG_CALL_NO_RWG, void, ptr, i32, i32, i32)
5989a56c9c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_index_s, TCG_CALL_NO_RWG, void, ptr, i32, i32, i32)
5999a56c9c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_index_d, TCG_CALL_NO_RWG, void, ptr, i64, i64, i32)
6009a56c9c3SRichard Henderson 
601d9d78dccSRichard Henderson DEF_HELPER_FLAGS_4(sve_asr_zzw_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
602d9d78dccSRichard Henderson DEF_HELPER_FLAGS_4(sve_asr_zzw_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
603d9d78dccSRichard Henderson DEF_HELPER_FLAGS_4(sve_asr_zzw_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
604d9d78dccSRichard Henderson 
605d9d78dccSRichard Henderson DEF_HELPER_FLAGS_4(sve_lsr_zzw_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
606d9d78dccSRichard Henderson DEF_HELPER_FLAGS_4(sve_lsr_zzw_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
607d9d78dccSRichard Henderson DEF_HELPER_FLAGS_4(sve_lsr_zzw_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
608d9d78dccSRichard Henderson 
609d9d78dccSRichard Henderson DEF_HELPER_FLAGS_4(sve_lsl_zzw_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
610d9d78dccSRichard Henderson DEF_HELPER_FLAGS_4(sve_lsl_zzw_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
611d9d78dccSRichard Henderson DEF_HELPER_FLAGS_4(sve_lsl_zzw_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
612d9d78dccSRichard Henderson 
6134b242d9cSRichard Henderson DEF_HELPER_FLAGS_4(sve_adr_p32, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
6144b242d9cSRichard Henderson DEF_HELPER_FLAGS_4(sve_adr_p64, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
6154b242d9cSRichard Henderson DEF_HELPER_FLAGS_4(sve_adr_s32, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
6164b242d9cSRichard Henderson DEF_HELPER_FLAGS_4(sve_adr_u32, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
6174b242d9cSRichard Henderson 
6180762cd42SRichard Henderson DEF_HELPER_FLAGS_3(sve_fexpa_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
6190762cd42SRichard Henderson DEF_HELPER_FLAGS_3(sve_fexpa_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
6200762cd42SRichard Henderson DEF_HELPER_FLAGS_3(sve_fexpa_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
6210762cd42SRichard Henderson 
622a1f233f2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ftssel_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
623a1f233f2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ftssel_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
624a1f233f2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ftssel_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
625a1f233f2SRichard Henderson 
62624e82e68SRichard Henderson DEF_HELPER_FLAGS_4(sve_sqaddi_b, TCG_CALL_NO_RWG, void, ptr, ptr, s32, i32)
62724e82e68SRichard Henderson DEF_HELPER_FLAGS_4(sve_sqaddi_h, TCG_CALL_NO_RWG, void, ptr, ptr, s32, i32)
62824e82e68SRichard Henderson DEF_HELPER_FLAGS_4(sve_sqaddi_s, TCG_CALL_NO_RWG, void, ptr, ptr, s64, i32)
62924e82e68SRichard Henderson DEF_HELPER_FLAGS_4(sve_sqaddi_d, TCG_CALL_NO_RWG, void, ptr, ptr, s64, i32)
63024e82e68SRichard Henderson 
63124e82e68SRichard Henderson DEF_HELPER_FLAGS_4(sve_uqaddi_b, TCG_CALL_NO_RWG, void, ptr, ptr, s32, i32)
63224e82e68SRichard Henderson DEF_HELPER_FLAGS_4(sve_uqaddi_h, TCG_CALL_NO_RWG, void, ptr, ptr, s32, i32)
63324e82e68SRichard Henderson DEF_HELPER_FLAGS_4(sve_uqaddi_s, TCG_CALL_NO_RWG, void, ptr, ptr, s64, i32)
63424e82e68SRichard Henderson DEF_HELPER_FLAGS_4(sve_uqaddi_d, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
63524e82e68SRichard Henderson DEF_HELPER_FLAGS_4(sve_uqsubi_d, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
63624e82e68SRichard Henderson 
637f25a2361SRichard Henderson DEF_HELPER_FLAGS_5(sve_cpy_m_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i64, i32)
638f25a2361SRichard Henderson DEF_HELPER_FLAGS_5(sve_cpy_m_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i64, i32)
639f25a2361SRichard Henderson DEF_HELPER_FLAGS_5(sve_cpy_m_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i64, i32)
640f25a2361SRichard Henderson DEF_HELPER_FLAGS_5(sve_cpy_m_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i64, i32)
641f25a2361SRichard Henderson 
642f25a2361SRichard Henderson DEF_HELPER_FLAGS_4(sve_cpy_z_b, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
643f25a2361SRichard Henderson DEF_HELPER_FLAGS_4(sve_cpy_z_h, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
644f25a2361SRichard Henderson DEF_HELPER_FLAGS_4(sve_cpy_z_s, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
645f25a2361SRichard Henderson DEF_HELPER_FLAGS_4(sve_cpy_z_d, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
646f25a2361SRichard Henderson 
647b94f8f60SRichard Henderson DEF_HELPER_FLAGS_4(sve_ext, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
648b94f8f60SRichard Henderson 
64930562ab7SRichard Henderson DEF_HELPER_FLAGS_4(sve_insr_b, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
65030562ab7SRichard Henderson DEF_HELPER_FLAGS_4(sve_insr_h, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
65130562ab7SRichard Henderson DEF_HELPER_FLAGS_4(sve_insr_s, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
65230562ab7SRichard Henderson DEF_HELPER_FLAGS_4(sve_insr_d, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
65330562ab7SRichard Henderson 
65430562ab7SRichard Henderson DEF_HELPER_FLAGS_3(sve_rev_b, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
65530562ab7SRichard Henderson DEF_HELPER_FLAGS_3(sve_rev_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
65630562ab7SRichard Henderson DEF_HELPER_FLAGS_3(sve_rev_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
65730562ab7SRichard Henderson DEF_HELPER_FLAGS_3(sve_rev_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
65830562ab7SRichard Henderson 
65930562ab7SRichard Henderson DEF_HELPER_FLAGS_4(sve_tbl_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
66030562ab7SRichard Henderson DEF_HELPER_FLAGS_4(sve_tbl_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
66130562ab7SRichard Henderson DEF_HELPER_FLAGS_4(sve_tbl_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
66230562ab7SRichard Henderson DEF_HELPER_FLAGS_4(sve_tbl_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
66330562ab7SRichard Henderson 
66430562ab7SRichard Henderson DEF_HELPER_FLAGS_3(sve_sunpk_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
66530562ab7SRichard Henderson DEF_HELPER_FLAGS_3(sve_sunpk_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
66630562ab7SRichard Henderson DEF_HELPER_FLAGS_3(sve_sunpk_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
66730562ab7SRichard Henderson 
66830562ab7SRichard Henderson DEF_HELPER_FLAGS_3(sve_uunpk_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
66930562ab7SRichard Henderson DEF_HELPER_FLAGS_3(sve_uunpk_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
67030562ab7SRichard Henderson DEF_HELPER_FLAGS_3(sve_uunpk_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
67130562ab7SRichard Henderson 
672d731d8cbSRichard Henderson DEF_HELPER_FLAGS_4(sve_zip_p, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
673d731d8cbSRichard Henderson DEF_HELPER_FLAGS_4(sve_uzp_p, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
674d731d8cbSRichard Henderson DEF_HELPER_FLAGS_4(sve_trn_p, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
675d731d8cbSRichard Henderson DEF_HELPER_FLAGS_3(sve_rev_p, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
676d731d8cbSRichard Henderson DEF_HELPER_FLAGS_3(sve_punpk_p, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
677d731d8cbSRichard Henderson 
678234b48e9SRichard Henderson DEF_HELPER_FLAGS_4(sve_zip_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
679234b48e9SRichard Henderson DEF_HELPER_FLAGS_4(sve_zip_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
680234b48e9SRichard Henderson DEF_HELPER_FLAGS_4(sve_zip_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
681234b48e9SRichard Henderson DEF_HELPER_FLAGS_4(sve_zip_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
682234b48e9SRichard Henderson 
683234b48e9SRichard Henderson DEF_HELPER_FLAGS_4(sve_uzp_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
684234b48e9SRichard Henderson DEF_HELPER_FLAGS_4(sve_uzp_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
685234b48e9SRichard Henderson DEF_HELPER_FLAGS_4(sve_uzp_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
686234b48e9SRichard Henderson DEF_HELPER_FLAGS_4(sve_uzp_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
687234b48e9SRichard Henderson 
688234b48e9SRichard Henderson DEF_HELPER_FLAGS_4(sve_trn_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
689234b48e9SRichard Henderson DEF_HELPER_FLAGS_4(sve_trn_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
690234b48e9SRichard Henderson DEF_HELPER_FLAGS_4(sve_trn_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
691234b48e9SRichard Henderson DEF_HELPER_FLAGS_4(sve_trn_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
692234b48e9SRichard Henderson 
6933ca879aeSRichard Henderson DEF_HELPER_FLAGS_4(sve_compact_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
6943ca879aeSRichard Henderson DEF_HELPER_FLAGS_4(sve_compact_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
6953ca879aeSRichard Henderson 
696ef23cb72SRichard Henderson DEF_HELPER_FLAGS_2(sve_last_active_element, TCG_CALL_NO_RWG, s32, ptr, i32)
697ef23cb72SRichard Henderson 
698dae8fb90SRichard Henderson DEF_HELPER_FLAGS_4(sve_revb_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
699dae8fb90SRichard Henderson DEF_HELPER_FLAGS_4(sve_revb_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
700dae8fb90SRichard Henderson DEF_HELPER_FLAGS_4(sve_revb_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
701dae8fb90SRichard Henderson 
702dae8fb90SRichard Henderson DEF_HELPER_FLAGS_4(sve_revh_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
703dae8fb90SRichard Henderson DEF_HELPER_FLAGS_4(sve_revh_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
704dae8fb90SRichard Henderson 
705dae8fb90SRichard Henderson DEF_HELPER_FLAGS_4(sve_revw_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
706dae8fb90SRichard Henderson 
707dae8fb90SRichard Henderson DEF_HELPER_FLAGS_4(sve_rbit_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
708dae8fb90SRichard Henderson DEF_HELPER_FLAGS_4(sve_rbit_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
709dae8fb90SRichard Henderson DEF_HELPER_FLAGS_4(sve_rbit_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
710dae8fb90SRichard Henderson DEF_HELPER_FLAGS_4(sve_rbit_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
711dae8fb90SRichard Henderson 
712db366da8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqabs_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
713db366da8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqabs_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
714db366da8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqabs_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
715db366da8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqabs_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
716db366da8SRichard Henderson 
717db366da8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqneg_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
718db366da8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqneg_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
719db366da8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqneg_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
720db366da8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqneg_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
721db366da8SRichard Henderson 
722db366da8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_urecpe_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
723db366da8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_ursqrte_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
724db366da8SRichard Henderson 
725b48ff240SRichard Henderson DEF_HELPER_FLAGS_5(sve_splice, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
726b48ff240SRichard Henderson 
727757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpeq_ppzz_b, TCG_CALL_NO_RWG,
728757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
729757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpne_ppzz_b, TCG_CALL_NO_RWG,
730757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
731757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpge_ppzz_b, TCG_CALL_NO_RWG,
732757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
733757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpgt_ppzz_b, TCG_CALL_NO_RWG,
734757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
735757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphi_ppzz_b, TCG_CALL_NO_RWG,
736757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
737757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphs_ppzz_b, TCG_CALL_NO_RWG,
738757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
739757f9cffSRichard Henderson 
740757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpeq_ppzz_h, TCG_CALL_NO_RWG,
741757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
742757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpne_ppzz_h, TCG_CALL_NO_RWG,
743757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
744757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpge_ppzz_h, TCG_CALL_NO_RWG,
745757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
746757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpgt_ppzz_h, TCG_CALL_NO_RWG,
747757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
748757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphi_ppzz_h, TCG_CALL_NO_RWG,
749757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
750757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphs_ppzz_h, TCG_CALL_NO_RWG,
751757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
752757f9cffSRichard Henderson 
753757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpeq_ppzz_s, TCG_CALL_NO_RWG,
754757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
755757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpne_ppzz_s, TCG_CALL_NO_RWG,
756757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
757757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpge_ppzz_s, TCG_CALL_NO_RWG,
758757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
759757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpgt_ppzz_s, TCG_CALL_NO_RWG,
760757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
761757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphi_ppzz_s, TCG_CALL_NO_RWG,
762757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
763757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphs_ppzz_s, TCG_CALL_NO_RWG,
764757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
765757f9cffSRichard Henderson 
766757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpeq_ppzz_d, TCG_CALL_NO_RWG,
767757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
768757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpne_ppzz_d, TCG_CALL_NO_RWG,
769757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
770757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpge_ppzz_d, TCG_CALL_NO_RWG,
771757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
772757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpgt_ppzz_d, TCG_CALL_NO_RWG,
773757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
774757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphi_ppzz_d, TCG_CALL_NO_RWG,
775757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
776757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphs_ppzz_d, TCG_CALL_NO_RWG,
777757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
778757f9cffSRichard Henderson 
779757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpeq_ppzw_b, TCG_CALL_NO_RWG,
780757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
781757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpne_ppzw_b, TCG_CALL_NO_RWG,
782757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
783757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpge_ppzw_b, TCG_CALL_NO_RWG,
784757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
785757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpgt_ppzw_b, TCG_CALL_NO_RWG,
786757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
787757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphi_ppzw_b, TCG_CALL_NO_RWG,
788757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
789757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphs_ppzw_b, TCG_CALL_NO_RWG,
790757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
791757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmple_ppzw_b, TCG_CALL_NO_RWG,
792757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
793757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmplt_ppzw_b, TCG_CALL_NO_RWG,
794757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
795757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmplo_ppzw_b, TCG_CALL_NO_RWG,
796757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
797757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpls_ppzw_b, TCG_CALL_NO_RWG,
798757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
799757f9cffSRichard Henderson 
800757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpeq_ppzw_h, TCG_CALL_NO_RWG,
801757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
802757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpne_ppzw_h, TCG_CALL_NO_RWG,
803757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
804757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpge_ppzw_h, TCG_CALL_NO_RWG,
805757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
806757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpgt_ppzw_h, TCG_CALL_NO_RWG,
807757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
808757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphi_ppzw_h, TCG_CALL_NO_RWG,
809757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
810757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphs_ppzw_h, TCG_CALL_NO_RWG,
811757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
812757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmple_ppzw_h, TCG_CALL_NO_RWG,
813757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
814757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmplt_ppzw_h, TCG_CALL_NO_RWG,
815757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
816757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmplo_ppzw_h, TCG_CALL_NO_RWG,
817757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
818757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpls_ppzw_h, TCG_CALL_NO_RWG,
819757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
820757f9cffSRichard Henderson 
821757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpeq_ppzw_s, TCG_CALL_NO_RWG,
822757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
823757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpne_ppzw_s, TCG_CALL_NO_RWG,
824757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
825757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpge_ppzw_s, TCG_CALL_NO_RWG,
826757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
827757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpgt_ppzw_s, TCG_CALL_NO_RWG,
828757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
829757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphi_ppzw_s, TCG_CALL_NO_RWG,
830757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
831757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmphs_ppzw_s, TCG_CALL_NO_RWG,
832757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
833757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmple_ppzw_s, TCG_CALL_NO_RWG,
834757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
835757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmplt_ppzw_s, TCG_CALL_NO_RWG,
836757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
837757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmplo_ppzw_s, TCG_CALL_NO_RWG,
838757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
839757f9cffSRichard Henderson DEF_HELPER_FLAGS_5(sve_cmpls_ppzw_s, TCG_CALL_NO_RWG,
840757f9cffSRichard Henderson                    i32, ptr, ptr, ptr, ptr, i32)
841757f9cffSRichard Henderson 
84238cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpeq_ppzi_b, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
84338cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpne_ppzi_b, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
84438cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpgt_ppzi_b, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
84538cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpge_ppzi_b, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
84638cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmplt_ppzi_b, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
84738cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmple_ppzi_b, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
84838cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmphs_ppzi_b, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
84938cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmphi_ppzi_b, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
85038cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmplo_ppzi_b, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
85138cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpls_ppzi_b, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
85238cadebaSRichard Henderson 
85338cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpeq_ppzi_h, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
85438cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpne_ppzi_h, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
85538cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpgt_ppzi_h, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
85638cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpge_ppzi_h, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
85738cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmplt_ppzi_h, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
85838cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmple_ppzi_h, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
85938cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmphs_ppzi_h, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
86038cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmphi_ppzi_h, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
86138cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmplo_ppzi_h, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
86238cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpls_ppzi_h, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
86338cadebaSRichard Henderson 
86438cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpeq_ppzi_s, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
86538cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpne_ppzi_s, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
86638cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpgt_ppzi_s, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
86738cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpge_ppzi_s, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
86838cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmplt_ppzi_s, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
86938cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmple_ppzi_s, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
87038cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmphs_ppzi_s, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
87138cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmphi_ppzi_s, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
87238cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmplo_ppzi_s, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
87338cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpls_ppzi_s, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
87438cadebaSRichard Henderson 
87538cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpeq_ppzi_d, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
87638cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpne_ppzi_d, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
87738cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpgt_ppzi_d, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
87838cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpge_ppzi_d, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
87938cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmplt_ppzi_d, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
88038cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmple_ppzi_d, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
88138cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmphs_ppzi_d, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
88238cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmphi_ppzi_d, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
88338cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmplo_ppzi_d, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
88438cadebaSRichard Henderson DEF_HELPER_FLAGS_4(sve_cmpls_ppzi_d, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
88538cadebaSRichard Henderson 
886516e246aSRichard Henderson DEF_HELPER_FLAGS_5(sve_and_pppp, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
887516e246aSRichard Henderson DEF_HELPER_FLAGS_5(sve_bic_pppp, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
888516e246aSRichard Henderson DEF_HELPER_FLAGS_5(sve_eor_pppp, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
889516e246aSRichard Henderson DEF_HELPER_FLAGS_5(sve_sel_pppp, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
890516e246aSRichard Henderson DEF_HELPER_FLAGS_5(sve_orr_pppp, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
891516e246aSRichard Henderson DEF_HELPER_FLAGS_5(sve_orn_pppp, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
892516e246aSRichard Henderson DEF_HELPER_FLAGS_5(sve_nor_pppp, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
893516e246aSRichard Henderson DEF_HELPER_FLAGS_5(sve_nand_pppp, TCG_CALL_NO_RWG,
894516e246aSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
89535da316fSRichard Henderson 
89635da316fSRichard Henderson DEF_HELPER_FLAGS_5(sve_brkpa, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
89735da316fSRichard Henderson DEF_HELPER_FLAGS_5(sve_brkpb, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
89835da316fSRichard Henderson DEF_HELPER_FLAGS_5(sve_brkpas, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, ptr, i32)
89935da316fSRichard Henderson DEF_HELPER_FLAGS_5(sve_brkpbs, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, ptr, i32)
90035da316fSRichard Henderson 
90135da316fSRichard Henderson DEF_HELPER_FLAGS_4(sve_brka_z, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
90235da316fSRichard Henderson DEF_HELPER_FLAGS_4(sve_brkb_z, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
90335da316fSRichard Henderson DEF_HELPER_FLAGS_4(sve_brka_m, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
90435da316fSRichard Henderson DEF_HELPER_FLAGS_4(sve_brkb_m, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
90535da316fSRichard Henderson 
90635da316fSRichard Henderson DEF_HELPER_FLAGS_4(sve_brkas_z, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
90735da316fSRichard Henderson DEF_HELPER_FLAGS_4(sve_brkbs_z, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
90835da316fSRichard Henderson DEF_HELPER_FLAGS_4(sve_brkas_m, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
90935da316fSRichard Henderson DEF_HELPER_FLAGS_4(sve_brkbs_m, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
91035da316fSRichard Henderson 
91135da316fSRichard Henderson DEF_HELPER_FLAGS_4(sve_brkn, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
91235da316fSRichard Henderson DEF_HELPER_FLAGS_4(sve_brkns, TCG_CALL_NO_RWG, i32, ptr, ptr, ptr, i32)
9139ee3a611SRichard Henderson 
9149ee3a611SRichard Henderson DEF_HELPER_FLAGS_3(sve_cntp, TCG_CALL_NO_RWG, i64, ptr, ptr, i32)
915caf1cefcSRichard Henderson 
91634688dbcSRichard Henderson DEF_HELPER_FLAGS_3(sve_whilel, TCG_CALL_NO_RWG, i32, ptr, i32, i32)
91734688dbcSRichard Henderson DEF_HELPER_FLAGS_3(sve_whileg, TCG_CALL_NO_RWG, i32, ptr, i32, i32)
9186e6a157dSRichard Henderson 
9196e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_subri_b, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9206e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_subri_h, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9216e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_subri_s, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9226e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_subri_d, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9236e6a157dSRichard Henderson 
9246e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_smaxi_b, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9256e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_smaxi_h, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9266e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_smaxi_s, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9276e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_smaxi_d, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9286e6a157dSRichard Henderson 
9296e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_smini_b, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9306e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_smini_h, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9316e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_smini_s, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9326e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_smini_d, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9336e6a157dSRichard Henderson 
9346e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_umaxi_b, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9356e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_umaxi_h, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9366e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_umaxi_s, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9376e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_umaxi_d, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9386e6a157dSRichard Henderson 
9396e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_umini_b, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9406e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_umini_h, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9416e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_umini_s, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
9426e6a157dSRichard Henderson DEF_HELPER_FLAGS_4(sve_umini_d, TCG_CALL_NO_RWG, void, ptr, ptr, i64, i32)
94329b80469SRichard Henderson 
94429b80469SRichard Henderson DEF_HELPER_FLAGS_5(gvec_recps_h, TCG_CALL_NO_RWG,
94529b80469SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
94629b80469SRichard Henderson DEF_HELPER_FLAGS_5(gvec_recps_s, TCG_CALL_NO_RWG,
94729b80469SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
94829b80469SRichard Henderson DEF_HELPER_FLAGS_5(gvec_recps_d, TCG_CALL_NO_RWG,
94929b80469SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
95029b80469SRichard Henderson 
95129b80469SRichard Henderson DEF_HELPER_FLAGS_5(gvec_rsqrts_h, TCG_CALL_NO_RWG,
95229b80469SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
95329b80469SRichard Henderson DEF_HELPER_FLAGS_5(gvec_rsqrts_s, TCG_CALL_NO_RWG,
95429b80469SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
95529b80469SRichard Henderson DEF_HELPER_FLAGS_5(gvec_rsqrts_d, TCG_CALL_NO_RWG,
95629b80469SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
957c4e7c493SRichard Henderson 
95823fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_faddv_h, TCG_CALL_NO_RWG,
95923fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
96023fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_faddv_s, TCG_CALL_NO_RWG,
96123fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
96223fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_faddv_d, TCG_CALL_NO_RWG,
96323fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
96423fbe79fSRichard Henderson 
96523fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_fmaxnmv_h, TCG_CALL_NO_RWG,
96623fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
96723fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_fmaxnmv_s, TCG_CALL_NO_RWG,
96823fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
96923fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_fmaxnmv_d, TCG_CALL_NO_RWG,
97023fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
97123fbe79fSRichard Henderson 
97223fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_fminnmv_h, TCG_CALL_NO_RWG,
97323fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
97423fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_fminnmv_s, TCG_CALL_NO_RWG,
97523fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
97623fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_fminnmv_d, TCG_CALL_NO_RWG,
97723fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
97823fbe79fSRichard Henderson 
97923fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_fmaxv_h, TCG_CALL_NO_RWG,
98023fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
98123fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_fmaxv_s, TCG_CALL_NO_RWG,
98223fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
98323fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_fmaxv_d, TCG_CALL_NO_RWG,
98423fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
98523fbe79fSRichard Henderson 
98623fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_fminv_h, TCG_CALL_NO_RWG,
98723fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
98823fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_fminv_s, TCG_CALL_NO_RWG,
98923fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
99023fbe79fSRichard Henderson DEF_HELPER_FLAGS_4(sve_fminv_d, TCG_CALL_NO_RWG,
99123fbe79fSRichard Henderson                    i64, ptr, ptr, ptr, i32)
99223fbe79fSRichard Henderson 
9937f9ddf64SRichard Henderson DEF_HELPER_FLAGS_5(sve_fadda_h, TCG_CALL_NO_RWG,
9947f9ddf64SRichard Henderson                    i64, i64, ptr, ptr, ptr, i32)
9957f9ddf64SRichard Henderson DEF_HELPER_FLAGS_5(sve_fadda_s, TCG_CALL_NO_RWG,
9967f9ddf64SRichard Henderson                    i64, i64, ptr, ptr, ptr, i32)
9977f9ddf64SRichard Henderson DEF_HELPER_FLAGS_5(sve_fadda_d, TCG_CALL_NO_RWG,
9987f9ddf64SRichard Henderson                    i64, i64, ptr, ptr, ptr, i32)
9997f9ddf64SRichard Henderson 
10004d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmge0_h, TCG_CALL_NO_RWG,
10014d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10024d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmge0_s, TCG_CALL_NO_RWG,
10034d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10044d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmge0_d, TCG_CALL_NO_RWG,
10054d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10064d2e2a03SRichard Henderson 
10074d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmgt0_h, TCG_CALL_NO_RWG,
10084d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10094d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmgt0_s, TCG_CALL_NO_RWG,
10104d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10114d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmgt0_d, TCG_CALL_NO_RWG,
10124d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10134d2e2a03SRichard Henderson 
10144d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmlt0_h, TCG_CALL_NO_RWG,
10154d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10164d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmlt0_s, TCG_CALL_NO_RWG,
10174d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10184d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmlt0_d, TCG_CALL_NO_RWG,
10194d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10204d2e2a03SRichard Henderson 
10214d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmle0_h, TCG_CALL_NO_RWG,
10224d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10234d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmle0_s, TCG_CALL_NO_RWG,
10244d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10254d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmle0_d, TCG_CALL_NO_RWG,
10264d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10274d2e2a03SRichard Henderson 
10284d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmeq0_h, TCG_CALL_NO_RWG,
10294d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10304d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmeq0_s, TCG_CALL_NO_RWG,
10314d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10324d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmeq0_d, TCG_CALL_NO_RWG,
10334d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10344d2e2a03SRichard Henderson 
10354d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmne0_h, TCG_CALL_NO_RWG,
10364d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10374d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmne0_s, TCG_CALL_NO_RWG,
10384d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10394d2e2a03SRichard Henderson DEF_HELPER_FLAGS_5(sve_fcmne0_d, TCG_CALL_NO_RWG,
10404d2e2a03SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
10414d2e2a03SRichard Henderson 
1042ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fadd_h, TCG_CALL_NO_RWG,
1043ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1044ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fadd_s, TCG_CALL_NO_RWG,
1045ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1046ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fadd_d, TCG_CALL_NO_RWG,
1047ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1048ec3b87c2SRichard Henderson 
1049ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fsub_h, TCG_CALL_NO_RWG,
1050ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1051ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fsub_s, TCG_CALL_NO_RWG,
1052ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1053ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fsub_d, TCG_CALL_NO_RWG,
1054ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1055ec3b87c2SRichard Henderson 
1056ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmul_h, TCG_CALL_NO_RWG,
1057ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1058ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmul_s, TCG_CALL_NO_RWG,
1059ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1060ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmul_d, TCG_CALL_NO_RWG,
1061ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1062ec3b87c2SRichard Henderson 
1063ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fdiv_h, TCG_CALL_NO_RWG,
1064ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1065ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fdiv_s, TCG_CALL_NO_RWG,
1066ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1067ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fdiv_d, TCG_CALL_NO_RWG,
1068ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1069ec3b87c2SRichard Henderson 
1070ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmin_h, TCG_CALL_NO_RWG,
1071ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1072ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmin_s, TCG_CALL_NO_RWG,
1073ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1074ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmin_d, TCG_CALL_NO_RWG,
1075ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1076ec3b87c2SRichard Henderson 
1077ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmax_h, TCG_CALL_NO_RWG,
1078ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1079ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmax_s, TCG_CALL_NO_RWG,
1080ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1081ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmax_d, TCG_CALL_NO_RWG,
1082ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1083ec3b87c2SRichard Henderson 
1084ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fminnum_h, TCG_CALL_NO_RWG,
1085ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1086ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fminnum_s, TCG_CALL_NO_RWG,
1087ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1088ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fminnum_d, TCG_CALL_NO_RWG,
1089ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1090ec3b87c2SRichard Henderson 
1091ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmaxnum_h, TCG_CALL_NO_RWG,
1092ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1093ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmaxnum_s, TCG_CALL_NO_RWG,
1094ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1095ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmaxnum_d, TCG_CALL_NO_RWG,
1096ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1097ec3b87c2SRichard Henderson 
1098ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fabd_h, TCG_CALL_NO_RWG,
1099ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1100ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fabd_s, TCG_CALL_NO_RWG,
1101ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1102ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fabd_d, TCG_CALL_NO_RWG,
1103ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1104ec3b87c2SRichard Henderson 
1105ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fscalbn_h, TCG_CALL_NO_RWG,
1106ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1107ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fscalbn_s, TCG_CALL_NO_RWG,
1108ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1109ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fscalbn_d, TCG_CALL_NO_RWG,
1110ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1111ec3b87c2SRichard Henderson 
1112ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmulx_h, TCG_CALL_NO_RWG,
1113ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1114ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmulx_s, TCG_CALL_NO_RWG,
1115ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1116ec3b87c2SRichard Henderson DEF_HELPER_FLAGS_6(sve_fmulx_d, TCG_CALL_NO_RWG,
1117ec3b87c2SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1118ec3b87c2SRichard Henderson 
1119cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fadds_h, TCG_CALL_NO_RWG,
1120cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1121cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fadds_s, TCG_CALL_NO_RWG,
1122cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1123cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fadds_d, TCG_CALL_NO_RWG,
1124cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1125cc48affeSRichard Henderson 
1126cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fsubs_h, TCG_CALL_NO_RWG,
1127cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1128cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fsubs_s, TCG_CALL_NO_RWG,
1129cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1130cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fsubs_d, TCG_CALL_NO_RWG,
1131cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1132cc48affeSRichard Henderson 
1133cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fmuls_h, TCG_CALL_NO_RWG,
1134cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1135cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fmuls_s, TCG_CALL_NO_RWG,
1136cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1137cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fmuls_d, TCG_CALL_NO_RWG,
1138cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1139cc48affeSRichard Henderson 
1140cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fsubrs_h, TCG_CALL_NO_RWG,
1141cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1142cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fsubrs_s, TCG_CALL_NO_RWG,
1143cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1144cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fsubrs_d, TCG_CALL_NO_RWG,
1145cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1146cc48affeSRichard Henderson 
1147cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fmaxnms_h, TCG_CALL_NO_RWG,
1148cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1149cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fmaxnms_s, TCG_CALL_NO_RWG,
1150cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1151cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fmaxnms_d, TCG_CALL_NO_RWG,
1152cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1153cc48affeSRichard Henderson 
1154cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fminnms_h, TCG_CALL_NO_RWG,
1155cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1156cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fminnms_s, TCG_CALL_NO_RWG,
1157cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1158cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fminnms_d, TCG_CALL_NO_RWG,
1159cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1160cc48affeSRichard Henderson 
1161cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fmaxs_h, TCG_CALL_NO_RWG,
1162cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1163cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fmaxs_s, TCG_CALL_NO_RWG,
1164cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1165cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fmaxs_d, TCG_CALL_NO_RWG,
1166cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1167cc48affeSRichard Henderson 
1168cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fmins_h, TCG_CALL_NO_RWG,
1169cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1170cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fmins_s, TCG_CALL_NO_RWG,
1171cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1172cc48affeSRichard Henderson DEF_HELPER_FLAGS_6(sve_fmins_d, TCG_CALL_NO_RWG,
1173cc48affeSRichard Henderson                    void, ptr, ptr, ptr, i64, ptr, i32)
1174cc48affeSRichard Henderson 
117546d33d1eSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvt_sh, TCG_CALL_NO_RWG,
117646d33d1eSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
117746d33d1eSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvt_dh, TCG_CALL_NO_RWG,
117846d33d1eSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
117946d33d1eSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvt_hs, TCG_CALL_NO_RWG,
118046d33d1eSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
118146d33d1eSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvt_ds, TCG_CALL_NO_RWG,
118246d33d1eSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
118346d33d1eSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvt_hd, TCG_CALL_NO_RWG,
118446d33d1eSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
118546d33d1eSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvt_sd, TCG_CALL_NO_RWG,
118646d33d1eSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
118746d33d1eSRichard Henderson 
1188df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzs_hh, TCG_CALL_NO_RWG,
1189df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1190df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzs_hs, TCG_CALL_NO_RWG,
1191df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1192df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzs_ss, TCG_CALL_NO_RWG,
1193df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1194df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzs_ds, TCG_CALL_NO_RWG,
1195df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1196df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzs_hd, TCG_CALL_NO_RWG,
1197df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1198df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzs_sd, TCG_CALL_NO_RWG,
1199df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1200df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzs_dd, TCG_CALL_NO_RWG,
1201df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1202df4de1afSRichard Henderson 
1203df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzu_hh, TCG_CALL_NO_RWG,
1204df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1205df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzu_hs, TCG_CALL_NO_RWG,
1206df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1207df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzu_ss, TCG_CALL_NO_RWG,
1208df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1209df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzu_ds, TCG_CALL_NO_RWG,
1210df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1211df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzu_hd, TCG_CALL_NO_RWG,
1212df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1213df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzu_sd, TCG_CALL_NO_RWG,
1214df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1215df4de1afSRichard Henderson DEF_HELPER_FLAGS_5(sve_fcvtzu_dd, TCG_CALL_NO_RWG,
1216df4de1afSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1217df4de1afSRichard Henderson 
1218cda3c753SRichard Henderson DEF_HELPER_FLAGS_5(sve_frint_h, TCG_CALL_NO_RWG,
1219cda3c753SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1220cda3c753SRichard Henderson DEF_HELPER_FLAGS_5(sve_frint_s, TCG_CALL_NO_RWG,
1221cda3c753SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1222cda3c753SRichard Henderson DEF_HELPER_FLAGS_5(sve_frint_d, TCG_CALL_NO_RWG,
1223cda3c753SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1224cda3c753SRichard Henderson 
1225cda3c753SRichard Henderson DEF_HELPER_FLAGS_5(sve_frintx_h, TCG_CALL_NO_RWG,
1226cda3c753SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1227cda3c753SRichard Henderson DEF_HELPER_FLAGS_5(sve_frintx_s, TCG_CALL_NO_RWG,
1228cda3c753SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1229cda3c753SRichard Henderson DEF_HELPER_FLAGS_5(sve_frintx_d, TCG_CALL_NO_RWG,
1230cda3c753SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1231cda3c753SRichard Henderson 
1232ec5b375bSRichard Henderson DEF_HELPER_FLAGS_5(sve_frecpx_h, TCG_CALL_NO_RWG,
1233ec5b375bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1234ec5b375bSRichard Henderson DEF_HELPER_FLAGS_5(sve_frecpx_s, TCG_CALL_NO_RWG,
1235ec5b375bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1236ec5b375bSRichard Henderson DEF_HELPER_FLAGS_5(sve_frecpx_d, TCG_CALL_NO_RWG,
1237ec5b375bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1238ec5b375bSRichard Henderson 
1239ec5b375bSRichard Henderson DEF_HELPER_FLAGS_5(sve_fsqrt_h, TCG_CALL_NO_RWG,
1240ec5b375bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1241ec5b375bSRichard Henderson DEF_HELPER_FLAGS_5(sve_fsqrt_s, TCG_CALL_NO_RWG,
1242ec5b375bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1243ec5b375bSRichard Henderson DEF_HELPER_FLAGS_5(sve_fsqrt_d, TCG_CALL_NO_RWG,
1244ec5b375bSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
1245ec5b375bSRichard Henderson 
12468092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_scvt_hh, TCG_CALL_NO_RWG,
12478092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12488092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_scvt_sh, TCG_CALL_NO_RWG,
12498092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12508092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_scvt_dh, TCG_CALL_NO_RWG,
12518092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12528092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_scvt_ss, TCG_CALL_NO_RWG,
12538092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12548092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_scvt_sd, TCG_CALL_NO_RWG,
12558092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12568092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_scvt_ds, TCG_CALL_NO_RWG,
12578092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12588092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_scvt_dd, TCG_CALL_NO_RWG,
12598092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12608092c6a3SRichard Henderson 
12618092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_ucvt_hh, TCG_CALL_NO_RWG,
12628092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12638092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_ucvt_sh, TCG_CALL_NO_RWG,
12648092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12658092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_ucvt_dh, TCG_CALL_NO_RWG,
12668092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12678092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_ucvt_ss, TCG_CALL_NO_RWG,
12688092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12698092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_ucvt_sd, TCG_CALL_NO_RWG,
12708092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12718092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_ucvt_ds, TCG_CALL_NO_RWG,
12728092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12738092c6a3SRichard Henderson DEF_HELPER_FLAGS_5(sve_ucvt_dd, TCG_CALL_NO_RWG,
12748092c6a3SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
12758092c6a3SRichard Henderson 
1276abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmge_h, TCG_CALL_NO_RWG,
1277abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1278abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmge_s, TCG_CALL_NO_RWG,
1279abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1280abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmge_d, TCG_CALL_NO_RWG,
1281abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1282abfdefd5SRichard Henderson 
1283abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmgt_h, TCG_CALL_NO_RWG,
1284abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1285abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmgt_s, TCG_CALL_NO_RWG,
1286abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1287abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmgt_d, TCG_CALL_NO_RWG,
1288abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1289abfdefd5SRichard Henderson 
1290abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmeq_h, TCG_CALL_NO_RWG,
1291abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1292abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmeq_s, TCG_CALL_NO_RWG,
1293abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1294abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmeq_d, TCG_CALL_NO_RWG,
1295abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1296abfdefd5SRichard Henderson 
1297abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmne_h, TCG_CALL_NO_RWG,
1298abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1299abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmne_s, TCG_CALL_NO_RWG,
1300abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1301abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmne_d, TCG_CALL_NO_RWG,
1302abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1303abfdefd5SRichard Henderson 
1304abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmuo_h, TCG_CALL_NO_RWG,
1305abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1306abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmuo_s, TCG_CALL_NO_RWG,
1307abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1308abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_fcmuo_d, TCG_CALL_NO_RWG,
1309abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1310abfdefd5SRichard Henderson 
1311abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_facge_h, TCG_CALL_NO_RWG,
1312abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1313abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_facge_s, TCG_CALL_NO_RWG,
1314abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1315abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_facge_d, TCG_CALL_NO_RWG,
1316abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1317abfdefd5SRichard Henderson 
1318abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_facgt_h, TCG_CALL_NO_RWG,
1319abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1320abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_facgt_s, TCG_CALL_NO_RWG,
1321abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1322abfdefd5SRichard Henderson DEF_HELPER_FLAGS_6(sve_facgt_d, TCG_CALL_NO_RWG,
1323abfdefd5SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
1324abfdefd5SRichard Henderson 
132576a9d9cdSRichard Henderson DEF_HELPER_FLAGS_6(sve_fcadd_h, TCG_CALL_NO_RWG,
132676a9d9cdSRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
132776a9d9cdSRichard Henderson DEF_HELPER_FLAGS_6(sve_fcadd_s, TCG_CALL_NO_RWG,
132876a9d9cdSRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
132976a9d9cdSRichard Henderson DEF_HELPER_FLAGS_6(sve_fcadd_d, TCG_CALL_NO_RWG,
133076a9d9cdSRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, i32)
133176a9d9cdSRichard Henderson 
133208975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fmla_zpzzz_h, TCG_CALL_NO_RWG,
133308975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
133408975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fmla_zpzzz_s, TCG_CALL_NO_RWG,
133508975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
133608975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fmla_zpzzz_d, TCG_CALL_NO_RWG,
133708975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
13386ceabaadSRichard Henderson 
133908975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fmls_zpzzz_h, TCG_CALL_NO_RWG,
134008975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
134108975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fmls_zpzzz_s, TCG_CALL_NO_RWG,
134208975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
134308975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fmls_zpzzz_d, TCG_CALL_NO_RWG,
134408975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
13456ceabaadSRichard Henderson 
134608975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fnmla_zpzzz_h, TCG_CALL_NO_RWG,
134708975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
134808975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fnmla_zpzzz_s, TCG_CALL_NO_RWG,
134908975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
135008975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fnmla_zpzzz_d, TCG_CALL_NO_RWG,
135108975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
13526ceabaadSRichard Henderson 
135308975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fnmls_zpzzz_h, TCG_CALL_NO_RWG,
135408975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
135508975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fnmls_zpzzz_s, TCG_CALL_NO_RWG,
135608975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
135708975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fnmls_zpzzz_d, TCG_CALL_NO_RWG,
135808975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
13596ceabaadSRichard Henderson 
136008975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fcmla_zpzzz_h, TCG_CALL_NO_RWG,
136108975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
136208975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fcmla_zpzzz_s, TCG_CALL_NO_RWG,
136308975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
136408975da9SRichard Henderson DEF_HELPER_FLAGS_7(sve_fcmla_zpzzz_d, TCG_CALL_NO_RWG,
136508975da9SRichard Henderson                    void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
136605f48babSRichard Henderson 
136767fcd9adSRichard Henderson DEF_HELPER_FLAGS_5(sve_ftmad_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
136867fcd9adSRichard Henderson DEF_HELPER_FLAGS_5(sve_ftmad_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
136967fcd9adSRichard Henderson DEF_HELPER_FLAGS_5(sve_ftmad_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
137067fcd9adSRichard Henderson 
13710ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_saddl_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13720ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_saddl_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13730ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_saddl_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13740ce1dda8SRichard Henderson 
13750ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_ssubl_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13760ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_ssubl_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13770ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_ssubl_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13780ce1dda8SRichard Henderson 
13790ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sabdl_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13800ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sabdl_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13810ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sabdl_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13820ce1dda8SRichard Henderson 
13830ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_uaddl_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13840ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_uaddl_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13850ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_uaddl_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13860ce1dda8SRichard Henderson 
13870ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_usubl_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13880ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_usubl_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13890ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_usubl_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13900ce1dda8SRichard Henderson 
13910ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_uabdl_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13920ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_uabdl_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13930ce1dda8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_uabdl_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
13940ce1dda8SRichard Henderson 
139581fccf09SRichard Henderson DEF_HELPER_FLAGS_4(sve2_saddw_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
139681fccf09SRichard Henderson DEF_HELPER_FLAGS_4(sve2_saddw_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
139781fccf09SRichard Henderson DEF_HELPER_FLAGS_4(sve2_saddw_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
139881fccf09SRichard Henderson 
139981fccf09SRichard Henderson DEF_HELPER_FLAGS_4(sve2_ssubw_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
140081fccf09SRichard Henderson DEF_HELPER_FLAGS_4(sve2_ssubw_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
140181fccf09SRichard Henderson DEF_HELPER_FLAGS_4(sve2_ssubw_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
140281fccf09SRichard Henderson 
140381fccf09SRichard Henderson DEF_HELPER_FLAGS_4(sve2_uaddw_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
140481fccf09SRichard Henderson DEF_HELPER_FLAGS_4(sve2_uaddw_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
140581fccf09SRichard Henderson DEF_HELPER_FLAGS_4(sve2_uaddw_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
140681fccf09SRichard Henderson 
140781fccf09SRichard Henderson DEF_HELPER_FLAGS_4(sve2_usubw_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
140881fccf09SRichard Henderson DEF_HELPER_FLAGS_4(sve2_usubw_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
140981fccf09SRichard Henderson DEF_HELPER_FLAGS_4(sve2_usubw_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
141081fccf09SRichard Henderson 
1411c4e7c493SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bb_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1412c4e7c493SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2bb_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1413c4e7c493SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3bb_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1414c4e7c493SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4bb_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1415c4e7c493SRichard Henderson 
14167d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hh_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14177d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2hh_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14187d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3hh_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14197d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4hh_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1420c4e7c493SRichard Henderson 
14217d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hh_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14227d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2hh_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14237d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3hh_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14247d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4hh_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1425c4e7c493SRichard Henderson 
14267d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1ss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14277d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2ss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14287d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3ss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14297d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4ss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14307d0a57a2SRichard Henderson 
14317d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1ss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14327d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2ss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14337d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3ss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14347d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4ss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14357d0a57a2SRichard Henderson 
14367d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1dd_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14377d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2dd_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14387d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3dd_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14397d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4dd_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14407d0a57a2SRichard Henderson 
14417d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1dd_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14427d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2dd_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14437d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3dd_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14447d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4dd_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1445c4e7c493SRichard Henderson 
1446c4e7c493SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bhu_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1447c4e7c493SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bsu_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1448c4e7c493SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bdu_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1449c4e7c493SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bhs_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1450c4e7c493SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bss_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1451c4e7c493SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bds_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1452c4e7c493SRichard Henderson 
14537d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hsu_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14547d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hdu_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14557d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14567d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hds_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1457c4e7c493SRichard Henderson 
14587d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hsu_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14597d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hdu_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14607d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14617d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hds_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14627d0a57a2SRichard Henderson 
14637d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1sdu_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14647d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1sds_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14657d0a57a2SRichard Henderson 
14667d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1sdu_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
14677d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1sds_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1468e2654d75SRichard Henderson 
1469206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bb_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1470206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2bb_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1471206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3bb_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1472206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4bb_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1473206adacfSRichard Henderson 
1474206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hh_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1475206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2hh_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1476206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3hh_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1477206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4hh_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1478206adacfSRichard Henderson 
1479206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hh_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1480206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2hh_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1481206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3hh_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1482206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4hh_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1483206adacfSRichard Henderson 
1484206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1ss_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1485206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2ss_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1486206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3ss_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1487206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4ss_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1488206adacfSRichard Henderson 
1489206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1ss_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1490206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2ss_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1491206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3ss_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1492206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4ss_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1493206adacfSRichard Henderson 
1494206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1dd_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1495206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2dd_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1496206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3dd_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1497206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4dd_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1498206adacfSRichard Henderson 
1499206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1dd_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1500206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld2dd_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1501206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld3dd_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1502206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld4dd_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1503206adacfSRichard Henderson 
1504206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bhu_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1505206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bsu_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1506206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bdu_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1507206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bhs_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1508206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bss_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1509206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1bds_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1510206adacfSRichard Henderson 
1511206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hsu_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1512206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hdu_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1513206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hss_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1514206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hds_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1515206adacfSRichard Henderson 
1516206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hsu_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1517206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hdu_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1518206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hss_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1519206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1hds_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1520206adacfSRichard Henderson 
1521206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1sdu_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1522206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1sds_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1523206adacfSRichard Henderson 
1524206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1sdu_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1525206adacfSRichard Henderson DEF_HELPER_FLAGS_4(sve_ld1sds_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1526206adacfSRichard Henderson 
1527e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bb_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1528e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bhu_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1529e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bsu_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1530e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bdu_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1531e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bhs_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1532e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bss_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1533e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bds_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1534e2654d75SRichard Henderson 
15357d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hh_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15367d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hsu_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15377d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hdu_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15387d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15397d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hds_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1540e2654d75SRichard Henderson 
15417d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hh_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15427d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hsu_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15437d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hdu_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15447d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15457d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hds_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1546e2654d75SRichard Henderson 
15477d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1ss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15487d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1sdu_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15497d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1sds_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15507d0a57a2SRichard Henderson 
15517d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1ss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15527d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1sdu_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15537d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1sds_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15547d0a57a2SRichard Henderson 
15557d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1dd_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
15567d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1dd_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1557e2654d75SRichard Henderson 
1558aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bb_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1559aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bhu_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1560aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bsu_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1561aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bdu_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1562aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bhs_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1563aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bss_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1564aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1bds_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1565aa13f7c3SRichard Henderson 
1566aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hh_le_r_mte, TCG_CALL_NO_WG,
1567aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1568aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hsu_le_r_mte, TCG_CALL_NO_WG,
1569aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1570aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hdu_le_r_mte, TCG_CALL_NO_WG,
1571aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1572aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hss_le_r_mte, TCG_CALL_NO_WG,
1573aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1574aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hds_le_r_mte, TCG_CALL_NO_WG,
1575aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1576aa13f7c3SRichard Henderson 
1577aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hh_be_r_mte, TCG_CALL_NO_WG,
1578aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1579aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hsu_be_r_mte, TCG_CALL_NO_WG,
1580aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1581aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hdu_be_r_mte, TCG_CALL_NO_WG,
1582aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1583aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hss_be_r_mte, TCG_CALL_NO_WG,
1584aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1585aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1hds_be_r_mte, TCG_CALL_NO_WG,
1586aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1587aa13f7c3SRichard Henderson 
1588aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1ss_le_r_mte, TCG_CALL_NO_WG,
1589aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1590aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1sdu_le_r_mte, TCG_CALL_NO_WG,
1591aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1592aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1sds_le_r_mte, TCG_CALL_NO_WG,
1593aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1594aa13f7c3SRichard Henderson 
1595aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1ss_be_r_mte, TCG_CALL_NO_WG,
1596aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1597aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1sdu_be_r_mte, TCG_CALL_NO_WG,
1598aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1599aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1sds_be_r_mte, TCG_CALL_NO_WG,
1600aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1601aa13f7c3SRichard Henderson 
1602aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1dd_le_r_mte, TCG_CALL_NO_WG,
1603aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1604aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldff1dd_be_r_mte, TCG_CALL_NO_WG,
1605aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1606aa13f7c3SRichard Henderson 
1607e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bb_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1608e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bhu_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1609e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bsu_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1610e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bdu_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1611e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bhs_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1612e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bss_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1613e2654d75SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bds_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1614e2654d75SRichard Henderson 
16157d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hh_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16167d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hsu_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16177d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hdu_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16187d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16197d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hds_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1620e2654d75SRichard Henderson 
16217d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hh_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16227d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hsu_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16237d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hdu_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16247d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16257d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hds_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1626e2654d75SRichard Henderson 
16277d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1ss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16287d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1sdu_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16297d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1sds_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16307d0a57a2SRichard Henderson 
16317d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1ss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16327d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1sdu_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16337d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1sds_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16347d0a57a2SRichard Henderson 
16357d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1dd_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16367d0a57a2SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1dd_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16371a039c7eSRichard Henderson 
1638aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bb_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1639aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bhu_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1640aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bsu_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1641aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bdu_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1642aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bhs_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1643aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bss_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1644aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1bds_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1645aa13f7c3SRichard Henderson 
1646aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hh_le_r_mte, TCG_CALL_NO_WG,
1647aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1648aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hsu_le_r_mte, TCG_CALL_NO_WG,
1649aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1650aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hdu_le_r_mte, TCG_CALL_NO_WG,
1651aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1652aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hss_le_r_mte, TCG_CALL_NO_WG,
1653aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1654aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hds_le_r_mte, TCG_CALL_NO_WG,
1655aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1656aa13f7c3SRichard Henderson 
1657aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hh_be_r_mte, TCG_CALL_NO_WG,
1658aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1659aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hsu_be_r_mte, TCG_CALL_NO_WG,
1660aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1661aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hdu_be_r_mte, TCG_CALL_NO_WG,
1662aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1663aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hss_be_r_mte, TCG_CALL_NO_WG,
1664aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1665aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1hds_be_r_mte, TCG_CALL_NO_WG,
1666aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1667aa13f7c3SRichard Henderson 
1668aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1ss_le_r_mte, TCG_CALL_NO_WG,
1669aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1670aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1sdu_le_r_mte, TCG_CALL_NO_WG,
1671aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1672aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1sds_le_r_mte, TCG_CALL_NO_WG,
1673aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1674aa13f7c3SRichard Henderson 
1675aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1ss_be_r_mte, TCG_CALL_NO_WG,
1676aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1677aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1sdu_be_r_mte, TCG_CALL_NO_WG,
1678aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1679aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1sds_be_r_mte, TCG_CALL_NO_WG,
1680aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1681aa13f7c3SRichard Henderson 
1682aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1dd_le_r_mte, TCG_CALL_NO_WG,
1683aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1684aa13f7c3SRichard Henderson DEF_HELPER_FLAGS_4(sve_ldnf1dd_be_r_mte, TCG_CALL_NO_WG,
1685aa13f7c3SRichard Henderson                    void, env, ptr, tl, i32)
1686aa13f7c3SRichard Henderson 
16871a039c7eSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1bb_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16881a039c7eSRichard Henderson DEF_HELPER_FLAGS_4(sve_st2bb_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16891a039c7eSRichard Henderson DEF_HELPER_FLAGS_4(sve_st3bb_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16901a039c7eSRichard Henderson DEF_HELPER_FLAGS_4(sve_st4bb_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16911a039c7eSRichard Henderson 
169228d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1hh_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
169328d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st2hh_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
169428d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st3hh_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
169528d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st4hh_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
16961a039c7eSRichard Henderson 
169728d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1hh_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
169828d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st2hh_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
169928d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st3hh_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
170028d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st4hh_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
17011a039c7eSRichard Henderson 
170228d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1ss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
170328d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st2ss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
170428d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st3ss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
170528d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st4ss_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
170628d57f2dSRichard Henderson 
170728d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1ss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
170828d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st2ss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
170928d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st3ss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
171028d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st4ss_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
171128d57f2dSRichard Henderson 
171228d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1dd_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
171328d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st2dd_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
171428d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st3dd_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
171528d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st4dd_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
171628d57f2dSRichard Henderson 
171728d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1dd_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
171828d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st2dd_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
171928d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st3dd_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
172028d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st4dd_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
17211a039c7eSRichard Henderson 
17221a039c7eSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1bh_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
17231a039c7eSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1bs_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
17241a039c7eSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1bd_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
17251a039c7eSRichard Henderson 
172628d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1hs_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
172728d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1hd_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
172828d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1hs_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
172928d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1hd_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
17301a039c7eSRichard Henderson 
173128d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1sd_le_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
173228d57f2dSRichard Henderson DEF_HELPER_FLAGS_4(sve_st1sd_be_r, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
1733f6dbf62aSRichard Henderson 
173471b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1bb_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
173571b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st2bb_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
173671b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st3bb_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
173771b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st4bb_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
173871b9f394SRichard Henderson 
173971b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1hh_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
174071b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st2hh_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
174171b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st3hh_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
174271b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st4hh_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
174371b9f394SRichard Henderson 
174471b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1hh_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
174571b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st2hh_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
174671b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st3hh_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
174771b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st4hh_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
174871b9f394SRichard Henderson 
174971b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1ss_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
175071b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st2ss_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
175171b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st3ss_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
175271b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st4ss_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
175371b9f394SRichard Henderson 
175471b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1ss_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
175571b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st2ss_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
175671b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st3ss_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
175771b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st4ss_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
175871b9f394SRichard Henderson 
175971b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1dd_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
176071b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st2dd_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
176171b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st3dd_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
176271b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st4dd_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
176371b9f394SRichard Henderson 
176471b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1dd_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
176571b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st2dd_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
176671b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st3dd_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
176771b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st4dd_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
176871b9f394SRichard Henderson 
176971b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1bh_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
177071b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1bs_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
177171b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1bd_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
177271b9f394SRichard Henderson 
177371b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1hs_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
177471b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1hd_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
177571b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1hs_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
177671b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1hd_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
177771b9f394SRichard Henderson 
177871b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1sd_le_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
177971b9f394SRichard Henderson DEF_HELPER_FLAGS_4(sve_st1sd_be_r_mte, TCG_CALL_NO_WG, void, env, ptr, tl, i32)
178071b9f394SRichard Henderson 
1781673e9fa6SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbsu_zsu, TCG_CALL_NO_WG,
1782673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1783d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhsu_le_zsu, TCG_CALL_NO_WG,
1784673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1785d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhsu_be_zsu, TCG_CALL_NO_WG,
1786d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1787d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldss_le_zsu, TCG_CALL_NO_WG,
1788d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1789d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldss_be_zsu, TCG_CALL_NO_WG,
1790673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1791673e9fa6SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbss_zsu, TCG_CALL_NO_WG,
1792673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1793d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhss_le_zsu, TCG_CALL_NO_WG,
1794d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1795d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhss_be_zsu, TCG_CALL_NO_WG,
1796673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1797673e9fa6SRichard Henderson 
1798673e9fa6SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbsu_zss, TCG_CALL_NO_WG,
1799673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1800d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhsu_le_zss, TCG_CALL_NO_WG,
1801673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1802d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhsu_be_zss, TCG_CALL_NO_WG,
1803d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1804d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldss_le_zss, TCG_CALL_NO_WG,
1805d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1806d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldss_be_zss, TCG_CALL_NO_WG,
1807673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1808673e9fa6SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbss_zss, TCG_CALL_NO_WG,
1809673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1810d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhss_le_zss, TCG_CALL_NO_WG,
1811d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1812d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhss_be_zss, TCG_CALL_NO_WG,
1813673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1814673e9fa6SRichard Henderson 
1815673e9fa6SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbdu_zsu, TCG_CALL_NO_WG,
1816673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1817d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhdu_le_zsu, TCG_CALL_NO_WG,
1818673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1819d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhdu_be_zsu, TCG_CALL_NO_WG,
1820673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1821d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsdu_le_zsu, TCG_CALL_NO_WG,
1822d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1823d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsdu_be_zsu, TCG_CALL_NO_WG,
1824d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1825d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_lddd_le_zsu, TCG_CALL_NO_WG,
1826d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1827d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_lddd_be_zsu, TCG_CALL_NO_WG,
1828673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1829673e9fa6SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbds_zsu, TCG_CALL_NO_WG,
1830673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1831d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhds_le_zsu, TCG_CALL_NO_WG,
1832673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1833d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhds_be_zsu, TCG_CALL_NO_WG,
1834d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1835d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsds_le_zsu, TCG_CALL_NO_WG,
1836d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1837d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsds_be_zsu, TCG_CALL_NO_WG,
1838673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1839673e9fa6SRichard Henderson 
1840673e9fa6SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbdu_zss, TCG_CALL_NO_WG,
1841673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1842d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhdu_le_zss, TCG_CALL_NO_WG,
1843673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1844d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhdu_be_zss, TCG_CALL_NO_WG,
1845673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1846d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsdu_le_zss, TCG_CALL_NO_WG,
1847d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1848d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsdu_be_zss, TCG_CALL_NO_WG,
1849d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1850d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_lddd_le_zss, TCG_CALL_NO_WG,
1851d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1852d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_lddd_be_zss, TCG_CALL_NO_WG,
1853673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1854673e9fa6SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbds_zss, TCG_CALL_NO_WG,
1855673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1856d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhds_le_zss, TCG_CALL_NO_WG,
1857673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1858d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhds_be_zss, TCG_CALL_NO_WG,
1859d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1860d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsds_le_zss, TCG_CALL_NO_WG,
1861d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1862d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsds_be_zss, TCG_CALL_NO_WG,
1863673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1864673e9fa6SRichard Henderson 
1865673e9fa6SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbdu_zd, TCG_CALL_NO_WG,
1866673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1867d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhdu_le_zd, TCG_CALL_NO_WG,
1868673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1869d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhdu_be_zd, TCG_CALL_NO_WG,
1870673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1871d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsdu_le_zd, TCG_CALL_NO_WG,
1872d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1873d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsdu_be_zd, TCG_CALL_NO_WG,
1874d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1875d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_lddd_le_zd, TCG_CALL_NO_WG,
1876d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1877d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_lddd_be_zd, TCG_CALL_NO_WG,
1878673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1879673e9fa6SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbds_zd, TCG_CALL_NO_WG,
1880673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1881d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhds_le_zd, TCG_CALL_NO_WG,
1882673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1883d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhds_be_zd, TCG_CALL_NO_WG,
1884d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1885d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsds_le_zd, TCG_CALL_NO_WG,
1886d4f75f25SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1887d4f75f25SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsds_be_zd, TCG_CALL_NO_WG,
1888673e9fa6SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1889673e9fa6SRichard Henderson 
1890d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbsu_zsu_mte, TCG_CALL_NO_WG,
1891d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1892d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhsu_le_zsu_mte, TCG_CALL_NO_WG,
1893d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1894d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhsu_be_zsu_mte, TCG_CALL_NO_WG,
1895d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1896d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldss_le_zsu_mte, TCG_CALL_NO_WG,
1897d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1898d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldss_be_zsu_mte, TCG_CALL_NO_WG,
1899d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1900d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbss_zsu_mte, TCG_CALL_NO_WG,
1901d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1902d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhss_le_zsu_mte, TCG_CALL_NO_WG,
1903d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1904d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhss_be_zsu_mte, TCG_CALL_NO_WG,
1905d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1906d28d12f0SRichard Henderson 
1907d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbsu_zss_mte, TCG_CALL_NO_WG,
1908d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1909d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhsu_le_zss_mte, TCG_CALL_NO_WG,
1910d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1911d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhsu_be_zss_mte, TCG_CALL_NO_WG,
1912d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1913d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldss_le_zss_mte, TCG_CALL_NO_WG,
1914d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1915d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldss_be_zss_mte, TCG_CALL_NO_WG,
1916d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1917d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbss_zss_mte, TCG_CALL_NO_WG,
1918d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1919d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhss_le_zss_mte, TCG_CALL_NO_WG,
1920d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1921d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhss_be_zss_mte, TCG_CALL_NO_WG,
1922d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1923d28d12f0SRichard Henderson 
1924d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbdu_zsu_mte, TCG_CALL_NO_WG,
1925d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1926d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhdu_le_zsu_mte, TCG_CALL_NO_WG,
1927d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1928d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhdu_be_zsu_mte, TCG_CALL_NO_WG,
1929d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1930d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsdu_le_zsu_mte, TCG_CALL_NO_WG,
1931d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1932d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsdu_be_zsu_mte, TCG_CALL_NO_WG,
1933d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1934d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_lddd_le_zsu_mte, TCG_CALL_NO_WG,
1935d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1936d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_lddd_be_zsu_mte, TCG_CALL_NO_WG,
1937d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1938d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbds_zsu_mte, TCG_CALL_NO_WG,
1939d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1940d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhds_le_zsu_mte, TCG_CALL_NO_WG,
1941d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1942d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhds_be_zsu_mte, TCG_CALL_NO_WG,
1943d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1944d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsds_le_zsu_mte, TCG_CALL_NO_WG,
1945d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1946d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsds_be_zsu_mte, TCG_CALL_NO_WG,
1947d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1948d28d12f0SRichard Henderson 
1949d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbdu_zss_mte, TCG_CALL_NO_WG,
1950d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1951d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhdu_le_zss_mte, TCG_CALL_NO_WG,
1952d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1953d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhdu_be_zss_mte, TCG_CALL_NO_WG,
1954d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1955d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsdu_le_zss_mte, TCG_CALL_NO_WG,
1956d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1957d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsdu_be_zss_mte, TCG_CALL_NO_WG,
1958d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1959d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_lddd_le_zss_mte, TCG_CALL_NO_WG,
1960d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1961d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_lddd_be_zss_mte, TCG_CALL_NO_WG,
1962d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1963d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbds_zss_mte, TCG_CALL_NO_WG,
1964d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1965d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhds_le_zss_mte, TCG_CALL_NO_WG,
1966d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1967d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhds_be_zss_mte, TCG_CALL_NO_WG,
1968d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1969d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsds_le_zss_mte, TCG_CALL_NO_WG,
1970d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1971d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsds_be_zss_mte, TCG_CALL_NO_WG,
1972d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1973d28d12f0SRichard Henderson 
1974d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbdu_zd_mte, TCG_CALL_NO_WG,
1975d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1976d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhdu_le_zd_mte, TCG_CALL_NO_WG,
1977d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1978d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhdu_be_zd_mte, TCG_CALL_NO_WG,
1979d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1980d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsdu_le_zd_mte, TCG_CALL_NO_WG,
1981d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1982d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsdu_be_zd_mte, TCG_CALL_NO_WG,
1983d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1984d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_lddd_le_zd_mte, TCG_CALL_NO_WG,
1985d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1986d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_lddd_be_zd_mte, TCG_CALL_NO_WG,
1987d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1988d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldbds_zd_mte, TCG_CALL_NO_WG,
1989d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1990d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhds_le_zd_mte, TCG_CALL_NO_WG,
1991d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1992d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldhds_be_zd_mte, TCG_CALL_NO_WG,
1993d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1994d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsds_le_zd_mte, TCG_CALL_NO_WG,
1995d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1996d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldsds_be_zd_mte, TCG_CALL_NO_WG,
1997d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
1998d28d12f0SRichard Henderson 
1999ed67eb7fSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbsu_zsu, TCG_CALL_NO_WG,
2000ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2001116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhsu_le_zsu, TCG_CALL_NO_WG,
2002ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2003116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhsu_be_zsu, TCG_CALL_NO_WG,
2004116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2005116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffss_le_zsu, TCG_CALL_NO_WG,
2006116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2007116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffss_be_zsu, TCG_CALL_NO_WG,
2008ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2009ed67eb7fSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbss_zsu, TCG_CALL_NO_WG,
2010ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2011116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhss_le_zsu, TCG_CALL_NO_WG,
2012116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2013116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhss_be_zsu, TCG_CALL_NO_WG,
2014ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2015ed67eb7fSRichard Henderson 
2016ed67eb7fSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbsu_zss, TCG_CALL_NO_WG,
2017ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2018116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhsu_le_zss, TCG_CALL_NO_WG,
2019ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2020116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhsu_be_zss, TCG_CALL_NO_WG,
2021116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2022116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffss_le_zss, TCG_CALL_NO_WG,
2023116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2024116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffss_be_zss, TCG_CALL_NO_WG,
2025ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2026ed67eb7fSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbss_zss, TCG_CALL_NO_WG,
2027ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2028116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhss_le_zss, TCG_CALL_NO_WG,
2029116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2030116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhss_be_zss, TCG_CALL_NO_WG,
2031ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2032ed67eb7fSRichard Henderson 
2033ed67eb7fSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbdu_zsu, TCG_CALL_NO_WG,
2034ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2035116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhdu_le_zsu, TCG_CALL_NO_WG,
2036ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2037116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhdu_be_zsu, TCG_CALL_NO_WG,
2038ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2039116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsdu_le_zsu, TCG_CALL_NO_WG,
2040116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2041116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsdu_be_zsu, TCG_CALL_NO_WG,
2042116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2043116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffdd_le_zsu, TCG_CALL_NO_WG,
2044116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2045116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffdd_be_zsu, TCG_CALL_NO_WG,
2046ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2047ed67eb7fSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbds_zsu, TCG_CALL_NO_WG,
2048ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2049116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhds_le_zsu, TCG_CALL_NO_WG,
2050ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2051116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhds_be_zsu, TCG_CALL_NO_WG,
2052116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2053116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsds_le_zsu, TCG_CALL_NO_WG,
2054116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2055116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsds_be_zsu, TCG_CALL_NO_WG,
2056ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2057ed67eb7fSRichard Henderson 
2058ed67eb7fSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbdu_zss, TCG_CALL_NO_WG,
2059ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2060116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhdu_le_zss, TCG_CALL_NO_WG,
2061ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2062116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhdu_be_zss, TCG_CALL_NO_WG,
2063ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2064116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsdu_le_zss, TCG_CALL_NO_WG,
2065116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2066116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsdu_be_zss, TCG_CALL_NO_WG,
2067116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2068116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffdd_le_zss, TCG_CALL_NO_WG,
2069116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2070116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffdd_be_zss, TCG_CALL_NO_WG,
2071ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2072ed67eb7fSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbds_zss, TCG_CALL_NO_WG,
2073ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2074116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhds_le_zss, TCG_CALL_NO_WG,
2075ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2076116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhds_be_zss, TCG_CALL_NO_WG,
2077116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2078116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsds_le_zss, TCG_CALL_NO_WG,
2079116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2080116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsds_be_zss, TCG_CALL_NO_WG,
2081ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2082ed67eb7fSRichard Henderson 
2083ed67eb7fSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbdu_zd, TCG_CALL_NO_WG,
2084ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2085116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhdu_le_zd, TCG_CALL_NO_WG,
2086ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2087116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhdu_be_zd, TCG_CALL_NO_WG,
2088ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2089116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsdu_le_zd, TCG_CALL_NO_WG,
2090116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2091116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsdu_be_zd, TCG_CALL_NO_WG,
2092116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2093116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffdd_le_zd, TCG_CALL_NO_WG,
2094116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2095116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffdd_be_zd, TCG_CALL_NO_WG,
2096ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2097ed67eb7fSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbds_zd, TCG_CALL_NO_WG,
2098ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2099116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhds_le_zd, TCG_CALL_NO_WG,
2100ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2101116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhds_be_zd, TCG_CALL_NO_WG,
2102116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2103116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsds_le_zd, TCG_CALL_NO_WG,
2104116347ceSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2105116347ceSRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsds_be_zd, TCG_CALL_NO_WG,
2106ed67eb7fSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2107ed67eb7fSRichard Henderson 
2108d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbsu_zsu_mte, TCG_CALL_NO_WG,
2109d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2110d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhsu_le_zsu_mte, TCG_CALL_NO_WG,
2111d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2112d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhsu_be_zsu_mte, TCG_CALL_NO_WG,
2113d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2114d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffss_le_zsu_mte, TCG_CALL_NO_WG,
2115d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2116d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffss_be_zsu_mte, TCG_CALL_NO_WG,
2117d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2118d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbss_zsu_mte, TCG_CALL_NO_WG,
2119d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2120d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhss_le_zsu_mte, TCG_CALL_NO_WG,
2121d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2122d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhss_be_zsu_mte, TCG_CALL_NO_WG,
2123d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2124d28d12f0SRichard Henderson 
2125d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbsu_zss_mte, TCG_CALL_NO_WG,
2126d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2127d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhsu_le_zss_mte, TCG_CALL_NO_WG,
2128d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2129d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhsu_be_zss_mte, TCG_CALL_NO_WG,
2130d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2131d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffss_le_zss_mte, TCG_CALL_NO_WG,
2132d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2133d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffss_be_zss_mte, TCG_CALL_NO_WG,
2134d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2135d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbss_zss_mte, TCG_CALL_NO_WG,
2136d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2137d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhss_le_zss_mte, TCG_CALL_NO_WG,
2138d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2139d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhss_be_zss_mte, TCG_CALL_NO_WG,
2140d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2141d28d12f0SRichard Henderson 
2142d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbdu_zsu_mte, TCG_CALL_NO_WG,
2143d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2144d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhdu_le_zsu_mte, TCG_CALL_NO_WG,
2145d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2146d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhdu_be_zsu_mte, TCG_CALL_NO_WG,
2147d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2148d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsdu_le_zsu_mte, TCG_CALL_NO_WG,
2149d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2150d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsdu_be_zsu_mte, TCG_CALL_NO_WG,
2151d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2152d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffdd_le_zsu_mte, TCG_CALL_NO_WG,
2153d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2154d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffdd_be_zsu_mte, TCG_CALL_NO_WG,
2155d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2156d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbds_zsu_mte, TCG_CALL_NO_WG,
2157d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2158d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhds_le_zsu_mte, TCG_CALL_NO_WG,
2159d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2160d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhds_be_zsu_mte, TCG_CALL_NO_WG,
2161d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2162d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsds_le_zsu_mte, TCG_CALL_NO_WG,
2163d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2164d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsds_be_zsu_mte, TCG_CALL_NO_WG,
2165d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2166d28d12f0SRichard Henderson 
2167d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbdu_zss_mte, TCG_CALL_NO_WG,
2168d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2169d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhdu_le_zss_mte, TCG_CALL_NO_WG,
2170d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2171d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhdu_be_zss_mte, TCG_CALL_NO_WG,
2172d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2173d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsdu_le_zss_mte, TCG_CALL_NO_WG,
2174d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2175d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsdu_be_zss_mte, TCG_CALL_NO_WG,
2176d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2177d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffdd_le_zss_mte, TCG_CALL_NO_WG,
2178d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2179d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffdd_be_zss_mte, TCG_CALL_NO_WG,
2180d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2181d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbds_zss_mte, TCG_CALL_NO_WG,
2182d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2183d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhds_le_zss_mte, TCG_CALL_NO_WG,
2184d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2185d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhds_be_zss_mte, TCG_CALL_NO_WG,
2186d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2187d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsds_le_zss_mte, TCG_CALL_NO_WG,
2188d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2189d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsds_be_zss_mte, TCG_CALL_NO_WG,
2190d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2191d28d12f0SRichard Henderson 
2192d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbdu_zd_mte, TCG_CALL_NO_WG,
2193d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2194d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhdu_le_zd_mte, TCG_CALL_NO_WG,
2195d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2196d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhdu_be_zd_mte, TCG_CALL_NO_WG,
2197d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2198d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsdu_le_zd_mte, TCG_CALL_NO_WG,
2199d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2200d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsdu_be_zd_mte, TCG_CALL_NO_WG,
2201d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2202d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffdd_le_zd_mte, TCG_CALL_NO_WG,
2203d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2204d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffdd_be_zd_mte, TCG_CALL_NO_WG,
2205d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2206d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffbds_zd_mte, TCG_CALL_NO_WG,
2207d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2208d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhds_le_zd_mte, TCG_CALL_NO_WG,
2209d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2210d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffhds_be_zd_mte, TCG_CALL_NO_WG,
2211d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2212d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsds_le_zd_mte, TCG_CALL_NO_WG,
2213d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2214d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_ldffsds_be_zd_mte, TCG_CALL_NO_WG,
2215d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2216d28d12f0SRichard Henderson 
2217f6dbf62aSRichard Henderson DEF_HELPER_FLAGS_6(sve_stbs_zsu, TCG_CALL_NO_WG,
2218f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
221978cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_sths_le_zsu, TCG_CALL_NO_WG,
2220f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
222178cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_sths_be_zsu, TCG_CALL_NO_WG,
222278cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
222378cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stss_le_zsu, TCG_CALL_NO_WG,
222478cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
222578cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stss_be_zsu, TCG_CALL_NO_WG,
2226f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2227f6dbf62aSRichard Henderson 
2228f6dbf62aSRichard Henderson DEF_HELPER_FLAGS_6(sve_stbs_zss, TCG_CALL_NO_WG,
2229f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
223078cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_sths_le_zss, TCG_CALL_NO_WG,
2231f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
223278cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_sths_be_zss, TCG_CALL_NO_WG,
223378cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
223478cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stss_le_zss, TCG_CALL_NO_WG,
223578cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
223678cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stss_be_zss, TCG_CALL_NO_WG,
2237f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2238f6dbf62aSRichard Henderson 
2239f6dbf62aSRichard Henderson DEF_HELPER_FLAGS_6(sve_stbd_zsu, TCG_CALL_NO_WG,
2240f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
224178cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_sthd_le_zsu, TCG_CALL_NO_WG,
2242f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
224378cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_sthd_be_zsu, TCG_CALL_NO_WG,
2244f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
224578cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stsd_le_zsu, TCG_CALL_NO_WG,
224678cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
224778cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stsd_be_zsu, TCG_CALL_NO_WG,
224878cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
224978cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stdd_le_zsu, TCG_CALL_NO_WG,
225078cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
225178cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stdd_be_zsu, TCG_CALL_NO_WG,
2252f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2253f6dbf62aSRichard Henderson 
2254f6dbf62aSRichard Henderson DEF_HELPER_FLAGS_6(sve_stbd_zss, TCG_CALL_NO_WG,
2255f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
225678cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_sthd_le_zss, TCG_CALL_NO_WG,
2257f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
225878cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_sthd_be_zss, TCG_CALL_NO_WG,
2259f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
226078cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stsd_le_zss, TCG_CALL_NO_WG,
226178cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
226278cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stsd_be_zss, TCG_CALL_NO_WG,
226378cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
226478cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stdd_le_zss, TCG_CALL_NO_WG,
226578cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
226678cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stdd_be_zss, TCG_CALL_NO_WG,
2267f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2268f6dbf62aSRichard Henderson 
2269f6dbf62aSRichard Henderson DEF_HELPER_FLAGS_6(sve_stbd_zd, TCG_CALL_NO_WG,
2270f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
227178cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_sthd_le_zd, TCG_CALL_NO_WG,
2272f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
227378cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_sthd_be_zd, TCG_CALL_NO_WG,
2274f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
227578cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stsd_le_zd, TCG_CALL_NO_WG,
227678cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
227778cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stsd_be_zd, TCG_CALL_NO_WG,
227878cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
227978cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stdd_le_zd, TCG_CALL_NO_WG,
228078cf1b88SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
228178cf1b88SRichard Henderson DEF_HELPER_FLAGS_6(sve_stdd_be_zd, TCG_CALL_NO_WG,
2282f6dbf62aSRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2283e7e96fc5SRichard Henderson 
2284d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stbs_zsu_mte, TCG_CALL_NO_WG,
2285d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2286d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_sths_le_zsu_mte, TCG_CALL_NO_WG,
2287d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2288d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_sths_be_zsu_mte, TCG_CALL_NO_WG,
2289d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2290d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stss_le_zsu_mte, TCG_CALL_NO_WG,
2291d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2292d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stss_be_zsu_mte, TCG_CALL_NO_WG,
2293d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2294d28d12f0SRichard Henderson 
2295d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stbs_zss_mte, TCG_CALL_NO_WG,
2296d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2297d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_sths_le_zss_mte, TCG_CALL_NO_WG,
2298d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2299d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_sths_be_zss_mte, TCG_CALL_NO_WG,
2300d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2301d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stss_le_zss_mte, TCG_CALL_NO_WG,
2302d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2303d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stss_be_zss_mte, TCG_CALL_NO_WG,
2304d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2305d28d12f0SRichard Henderson 
2306d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stbd_zsu_mte, TCG_CALL_NO_WG,
2307d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2308d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_sthd_le_zsu_mte, TCG_CALL_NO_WG,
2309d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2310d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_sthd_be_zsu_mte, TCG_CALL_NO_WG,
2311d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2312d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stsd_le_zsu_mte, TCG_CALL_NO_WG,
2313d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2314d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stsd_be_zsu_mte, TCG_CALL_NO_WG,
2315d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2316d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stdd_le_zsu_mte, TCG_CALL_NO_WG,
2317d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2318d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stdd_be_zsu_mte, TCG_CALL_NO_WG,
2319d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2320d28d12f0SRichard Henderson 
2321d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stbd_zss_mte, TCG_CALL_NO_WG,
2322d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2323d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_sthd_le_zss_mte, TCG_CALL_NO_WG,
2324d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2325d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_sthd_be_zss_mte, TCG_CALL_NO_WG,
2326d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2327d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stsd_le_zss_mte, TCG_CALL_NO_WG,
2328d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2329d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stsd_be_zss_mte, TCG_CALL_NO_WG,
2330d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2331d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stdd_le_zss_mte, TCG_CALL_NO_WG,
2332d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2333d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stdd_be_zss_mte, TCG_CALL_NO_WG,
2334d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2335d28d12f0SRichard Henderson 
2336d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stbd_zd_mte, TCG_CALL_NO_WG,
2337d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2338d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_sthd_le_zd_mte, TCG_CALL_NO_WG,
2339d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2340d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_sthd_be_zd_mte, TCG_CALL_NO_WG,
2341d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2342d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stsd_le_zd_mte, TCG_CALL_NO_WG,
2343d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2344d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stsd_be_zd_mte, TCG_CALL_NO_WG,
2345d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2346d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stdd_le_zd_mte, TCG_CALL_NO_WG,
2347d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2348d28d12f0SRichard Henderson DEF_HELPER_FLAGS_6(sve_stdd_be_zd_mte, TCG_CALL_NO_WG,
2349d28d12f0SRichard Henderson                    void, env, ptr, ptr, ptr, tl, i32)
2350d28d12f0SRichard Henderson 
235169ccc099SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqdmull_zzz_h, TCG_CALL_NO_RWG,
235269ccc099SRichard Henderson                    void, ptr, ptr, ptr, i32)
235369ccc099SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqdmull_zzz_s, TCG_CALL_NO_RWG,
235469ccc099SRichard Henderson                    void, ptr, ptr, ptr, i32)
235569ccc099SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqdmull_zzz_d, TCG_CALL_NO_RWG,
235669ccc099SRichard Henderson                    void, ptr, ptr, ptr, i32)
235769ccc099SRichard Henderson 
235869ccc099SRichard Henderson DEF_HELPER_FLAGS_4(sve2_smull_zzz_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
235969ccc099SRichard Henderson DEF_HELPER_FLAGS_4(sve2_smull_zzz_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
236069ccc099SRichard Henderson DEF_HELPER_FLAGS_4(sve2_smull_zzz_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
236169ccc099SRichard Henderson 
236269ccc099SRichard Henderson DEF_HELPER_FLAGS_4(sve2_umull_zzz_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
236369ccc099SRichard Henderson DEF_HELPER_FLAGS_4(sve2_umull_zzz_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
236469ccc099SRichard Henderson DEF_HELPER_FLAGS_4(sve2_umull_zzz_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
236569ccc099SRichard Henderson 
2366e7e96fc5SRichard Henderson DEF_HELPER_FLAGS_4(sve2_pmull_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2367e3a56131SRichard Henderson DEF_HELPER_FLAGS_4(sve2_pmull_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
23684269fef1SRichard Henderson 
23694269fef1SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sshll_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
23704269fef1SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sshll_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
23714269fef1SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sshll_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
23724269fef1SRichard Henderson 
23734269fef1SRichard Henderson DEF_HELPER_FLAGS_3(sve2_ushll_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
23744269fef1SRichard Henderson DEF_HELPER_FLAGS_3(sve2_ushll_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
23754269fef1SRichard Henderson DEF_HELPER_FLAGS_3(sve2_ushll_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
23762df3ca55SRichard Henderson 
23772df3ca55SRichard Henderson DEF_HELPER_FLAGS_4(sve2_eoril_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
23782df3ca55SRichard Henderson DEF_HELPER_FLAGS_4(sve2_eoril_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
23792df3ca55SRichard Henderson DEF_HELPER_FLAGS_4(sve2_eoril_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
23802df3ca55SRichard Henderson DEF_HELPER_FLAGS_4(sve2_eoril_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2381cb9c33b8SRichard Henderson 
2382cb9c33b8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_bext_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2383cb9c33b8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_bext_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2384cb9c33b8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_bext_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2385cb9c33b8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_bext_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2386cb9c33b8SRichard Henderson 
2387cb9c33b8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_bdep_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2388cb9c33b8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_bdep_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2389cb9c33b8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_bdep_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2390cb9c33b8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_bdep_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2391cb9c33b8SRichard Henderson 
2392cb9c33b8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_bgrp_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2393cb9c33b8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_bgrp_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2394cb9c33b8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_bgrp_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2395cb9c33b8SRichard Henderson DEF_HELPER_FLAGS_4(sve2_bgrp_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2396ed4a6387SRichard Henderson 
2397ed4a6387SRichard Henderson DEF_HELPER_FLAGS_4(sve2_cadd_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2398ed4a6387SRichard Henderson DEF_HELPER_FLAGS_4(sve2_cadd_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2399ed4a6387SRichard Henderson DEF_HELPER_FLAGS_4(sve2_cadd_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2400ed4a6387SRichard Henderson DEF_HELPER_FLAGS_4(sve2_cadd_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2401ed4a6387SRichard Henderson 
2402ed4a6387SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqcadd_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2403ed4a6387SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqcadd_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2404ed4a6387SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqcadd_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2405ed4a6387SRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqcadd_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
240638650638SRichard Henderson 
240738650638SRichard Henderson DEF_HELPER_FLAGS_5(sve2_sabal_h, TCG_CALL_NO_RWG,
240838650638SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
240938650638SRichard Henderson DEF_HELPER_FLAGS_5(sve2_sabal_s, TCG_CALL_NO_RWG,
241038650638SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
241138650638SRichard Henderson DEF_HELPER_FLAGS_5(sve2_sabal_d, TCG_CALL_NO_RWG,
241238650638SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
241338650638SRichard Henderson 
241438650638SRichard Henderson DEF_HELPER_FLAGS_5(sve2_uabal_h, TCG_CALL_NO_RWG,
241538650638SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
241638650638SRichard Henderson DEF_HELPER_FLAGS_5(sve2_uabal_s, TCG_CALL_NO_RWG,
241738650638SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
241838650638SRichard Henderson DEF_HELPER_FLAGS_5(sve2_uabal_d, TCG_CALL_NO_RWG,
241938650638SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2420b8295dfbSRichard Henderson 
2421b8295dfbSRichard Henderson DEF_HELPER_FLAGS_5(sve2_adcl_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
2422b8295dfbSRichard Henderson DEF_HELPER_FLAGS_5(sve2_adcl_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
24235ff2838dSRichard Henderson 
24245ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqxtnb_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24255ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqxtnb_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24265ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqxtnb_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24275ff2838dSRichard Henderson 
24285ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqxtnb_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24295ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqxtnb_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24305ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqxtnb_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24315ff2838dSRichard Henderson 
24325ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqxtunb_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24335ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqxtunb_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24345ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqxtunb_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24355ff2838dSRichard Henderson 
24365ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqxtnt_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24375ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqxtnt_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24385ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqxtnt_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24395ff2838dSRichard Henderson 
24405ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqxtnt_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24415ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqxtnt_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24425ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqxtnt_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24435ff2838dSRichard Henderson 
24445ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqxtunt_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24455ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqxtunt_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
24465ff2838dSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqxtunt_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2447b87dbeebSStephen Long 
244846d111b2SRichard Henderson DEF_HELPER_FLAGS_3(sve2_shrnb_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
244946d111b2SRichard Henderson DEF_HELPER_FLAGS_3(sve2_shrnb_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
245046d111b2SRichard Henderson DEF_HELPER_FLAGS_3(sve2_shrnb_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
245146d111b2SRichard Henderson 
245246d111b2SRichard Henderson DEF_HELPER_FLAGS_3(sve2_shrnt_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
245346d111b2SRichard Henderson DEF_HELPER_FLAGS_3(sve2_shrnt_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
245446d111b2SRichard Henderson DEF_HELPER_FLAGS_3(sve2_shrnt_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
245546d111b2SRichard Henderson 
245646d111b2SRichard Henderson DEF_HELPER_FLAGS_3(sve2_rshrnb_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
245746d111b2SRichard Henderson DEF_HELPER_FLAGS_3(sve2_rshrnb_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
245846d111b2SRichard Henderson DEF_HELPER_FLAGS_3(sve2_rshrnb_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
245946d111b2SRichard Henderson 
246046d111b2SRichard Henderson DEF_HELPER_FLAGS_3(sve2_rshrnt_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
246146d111b2SRichard Henderson DEF_HELPER_FLAGS_3(sve2_rshrnt_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
246246d111b2SRichard Henderson DEF_HELPER_FLAGS_3(sve2_rshrnt_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
246346d111b2SRichard Henderson 
246481fd3e6eSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqshrunb_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
246581fd3e6eSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqshrunb_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
246681fd3e6eSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqshrunb_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
246781fd3e6eSRichard Henderson 
246881fd3e6eSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqshrunt_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
246981fd3e6eSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqshrunt_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
247081fd3e6eSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqshrunt_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
247181fd3e6eSRichard Henderson 
247281fd3e6eSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqrshrunb_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
247381fd3e6eSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqrshrunb_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
247481fd3e6eSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqrshrunb_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
247581fd3e6eSRichard Henderson 
247681fd3e6eSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqrshrunt_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
247781fd3e6eSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqrshrunt_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
247881fd3e6eSRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqrshrunt_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
247981fd3e6eSRichard Henderson 
2480743bb147SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqshrnb_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2481743bb147SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqshrnb_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2482743bb147SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqshrnb_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2483743bb147SRichard Henderson 
2484743bb147SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqshrnt_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2485743bb147SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqshrnt_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2486743bb147SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqshrnt_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2487743bb147SRichard Henderson 
2488743bb147SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqrshrnb_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2489743bb147SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqrshrnb_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2490743bb147SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqrshrnb_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2491743bb147SRichard Henderson 
2492743bb147SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqrshrnt_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2493743bb147SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqrshrnt_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2494743bb147SRichard Henderson DEF_HELPER_FLAGS_3(sve2_sqrshrnt_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2495743bb147SRichard Henderson 
2496c13418daSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqshrnb_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2497c13418daSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqshrnb_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2498c13418daSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqshrnb_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2499c13418daSRichard Henderson 
2500c13418daSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqshrnt_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2501c13418daSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqshrnt_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2502c13418daSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqshrnt_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2503c13418daSRichard Henderson 
2504c13418daSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqrshrnb_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2505c13418daSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqrshrnb_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2506c13418daSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqrshrnb_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2507c13418daSRichard Henderson 
2508c13418daSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqrshrnt_h, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2509c13418daSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqrshrnt_s, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2510c13418daSRichard Henderson DEF_HELPER_FLAGS_3(sve2_uqrshrnt_d, TCG_CALL_NO_RWG, void, ptr, ptr, i32)
2511c13418daSRichard Henderson 
251240d5ea50SStephen Long DEF_HELPER_FLAGS_4(sve2_addhnb_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
251340d5ea50SStephen Long DEF_HELPER_FLAGS_4(sve2_addhnb_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
251440d5ea50SStephen Long DEF_HELPER_FLAGS_4(sve2_addhnb_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
251540d5ea50SStephen Long 
251640d5ea50SStephen Long DEF_HELPER_FLAGS_4(sve2_addhnt_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
251740d5ea50SStephen Long DEF_HELPER_FLAGS_4(sve2_addhnt_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
251840d5ea50SStephen Long DEF_HELPER_FLAGS_4(sve2_addhnt_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
251940d5ea50SStephen Long 
25200ea3ff02SStephen Long DEF_HELPER_FLAGS_4(sve2_raddhnb_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
25210ea3ff02SStephen Long DEF_HELPER_FLAGS_4(sve2_raddhnb_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
25220ea3ff02SStephen Long DEF_HELPER_FLAGS_4(sve2_raddhnb_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
25230ea3ff02SStephen Long 
25240ea3ff02SStephen Long DEF_HELPER_FLAGS_4(sve2_raddhnt_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
25250ea3ff02SStephen Long DEF_HELPER_FLAGS_4(sve2_raddhnt_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
25260ea3ff02SStephen Long DEF_HELPER_FLAGS_4(sve2_raddhnt_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
25270ea3ff02SStephen Long 
2528c3cd6766SStephen Long DEF_HELPER_FLAGS_4(sve2_subhnb_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2529c3cd6766SStephen Long DEF_HELPER_FLAGS_4(sve2_subhnb_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2530c3cd6766SStephen Long DEF_HELPER_FLAGS_4(sve2_subhnb_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2531c3cd6766SStephen Long 
2532c3cd6766SStephen Long DEF_HELPER_FLAGS_4(sve2_subhnt_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2533c3cd6766SStephen Long DEF_HELPER_FLAGS_4(sve2_subhnt_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2534c3cd6766SStephen Long DEF_HELPER_FLAGS_4(sve2_subhnt_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2535c3cd6766SStephen Long 
2536e9443d10SStephen Long DEF_HELPER_FLAGS_4(sve2_rsubhnb_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2537e9443d10SStephen Long DEF_HELPER_FLAGS_4(sve2_rsubhnb_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2538e9443d10SStephen Long DEF_HELPER_FLAGS_4(sve2_rsubhnb_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2539e9443d10SStephen Long 
2540e9443d10SStephen Long DEF_HELPER_FLAGS_4(sve2_rsubhnt_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2541e9443d10SStephen Long DEF_HELPER_FLAGS_4(sve2_rsubhnt_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2542e9443d10SStephen Long DEF_HELPER_FLAGS_4(sve2_rsubhnt_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2543e9443d10SStephen Long 
2544e0ae6ec3SStephen Long DEF_HELPER_FLAGS_5(sve2_match_ppzz_b, TCG_CALL_NO_RWG,
2545e0ae6ec3SStephen Long                    i32, ptr, ptr, ptr, ptr, i32)
2546e0ae6ec3SStephen Long DEF_HELPER_FLAGS_5(sve2_match_ppzz_h, TCG_CALL_NO_RWG,
2547e0ae6ec3SStephen Long                    i32, ptr, ptr, ptr, ptr, i32)
2548e0ae6ec3SStephen Long 
2549e0ae6ec3SStephen Long DEF_HELPER_FLAGS_5(sve2_nmatch_ppzz_b, TCG_CALL_NO_RWG,
2550e0ae6ec3SStephen Long                    i32, ptr, ptr, ptr, ptr, i32)
2551e0ae6ec3SStephen Long DEF_HELPER_FLAGS_5(sve2_nmatch_ppzz_h, TCG_CALL_NO_RWG,
2552e0ae6ec3SStephen Long                    i32, ptr, ptr, ptr, ptr, i32)
2553e0ae6ec3SStephen Long 
25547d47ac94SStephen Long DEF_HELPER_FLAGS_5(sve2_histcnt_s, TCG_CALL_NO_RWG,
25557d47ac94SStephen Long                    void, ptr, ptr, ptr, ptr, i32)
25567d47ac94SStephen Long DEF_HELPER_FLAGS_5(sve2_histcnt_d, TCG_CALL_NO_RWG,
25577d47ac94SStephen Long                    void, ptr, ptr, ptr, ptr, i32)
25587d47ac94SStephen Long 
25597d47ac94SStephen Long DEF_HELPER_FLAGS_4(sve2_histseg, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
25607d47ac94SStephen Long 
2561e6eba6e5SRichard Henderson DEF_HELPER_FLAGS_4(sve2_xar_b, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2562e6eba6e5SRichard Henderson DEF_HELPER_FLAGS_4(sve2_xar_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2563e6eba6e5SRichard Henderson DEF_HELPER_FLAGS_4(sve2_xar_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
2564e6eba6e5SRichard Henderson 
2565b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_faddp_zpzz_h, TCG_CALL_NO_RWG,
2566b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2567b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_faddp_zpzz_s, TCG_CALL_NO_RWG,
2568b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2569b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_faddp_zpzz_d, TCG_CALL_NO_RWG,
2570b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2571b87dbeebSStephen Long 
2572b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_fmaxnmp_zpzz_h, TCG_CALL_NO_RWG,
2573b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2574b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_fmaxnmp_zpzz_s, TCG_CALL_NO_RWG,
2575b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2576b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_fmaxnmp_zpzz_d, TCG_CALL_NO_RWG,
2577b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2578b87dbeebSStephen Long 
2579b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_fminnmp_zpzz_h, TCG_CALL_NO_RWG,
2580b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2581b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_fminnmp_zpzz_s, TCG_CALL_NO_RWG,
2582b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2583b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_fminnmp_zpzz_d, TCG_CALL_NO_RWG,
2584b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2585b87dbeebSStephen Long 
2586b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_fmaxp_zpzz_h, TCG_CALL_NO_RWG,
2587b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2588b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_fmaxp_zpzz_s, TCG_CALL_NO_RWG,
2589b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2590b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_fmaxp_zpzz_d, TCG_CALL_NO_RWG,
2591b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2592b87dbeebSStephen Long 
2593b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_fminp_zpzz_h, TCG_CALL_NO_RWG,
2594b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2595b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_fminp_zpzz_s, TCG_CALL_NO_RWG,
2596b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2597b87dbeebSStephen Long DEF_HELPER_FLAGS_6(sve2_fminp_zpzz_d, TCG_CALL_NO_RWG,
2598b87dbeebSStephen Long                    void, ptr, ptr, ptr, ptr, ptr, i32)
2599911cdc6dSRichard Henderson 
2600911cdc6dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_eor3, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
2601911cdc6dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_bcax, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
2602911cdc6dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_bsl1n, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
2603911cdc6dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_bsl2n, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
2604911cdc6dSRichard Henderson DEF_HELPER_FLAGS_5(sve2_nbsl, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, i32)
2605bfc9307eSRichard Henderson 
2606bfc9307eSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqdmlal_zzzw_h, TCG_CALL_NO_RWG,
2607bfc9307eSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2608bfc9307eSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqdmlal_zzzw_s, TCG_CALL_NO_RWG,
2609bfc9307eSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2610bfc9307eSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqdmlal_zzzw_d, TCG_CALL_NO_RWG,
2611bfc9307eSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2612bfc9307eSRichard Henderson 
2613bfc9307eSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqdmlsl_zzzw_h, TCG_CALL_NO_RWG,
2614bfc9307eSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2615bfc9307eSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqdmlsl_zzzw_s, TCG_CALL_NO_RWG,
2616bfc9307eSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2617bfc9307eSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqdmlsl_zzzw_d, TCG_CALL_NO_RWG,
2618bfc9307eSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
261945a32e80SRichard Henderson 
262045a32e80SRichard Henderson DEF_HELPER_FLAGS_5(sve2_smlal_zzzw_h, TCG_CALL_NO_RWG,
262145a32e80SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
262245a32e80SRichard Henderson DEF_HELPER_FLAGS_5(sve2_smlal_zzzw_s, TCG_CALL_NO_RWG,
262345a32e80SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
262445a32e80SRichard Henderson DEF_HELPER_FLAGS_5(sve2_smlal_zzzw_d, TCG_CALL_NO_RWG,
262545a32e80SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
262645a32e80SRichard Henderson 
262745a32e80SRichard Henderson DEF_HELPER_FLAGS_5(sve2_umlal_zzzw_h, TCG_CALL_NO_RWG,
262845a32e80SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
262945a32e80SRichard Henderson DEF_HELPER_FLAGS_5(sve2_umlal_zzzw_s, TCG_CALL_NO_RWG,
263045a32e80SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
263145a32e80SRichard Henderson DEF_HELPER_FLAGS_5(sve2_umlal_zzzw_d, TCG_CALL_NO_RWG,
263245a32e80SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
263345a32e80SRichard Henderson 
263445a32e80SRichard Henderson DEF_HELPER_FLAGS_5(sve2_smlsl_zzzw_h, TCG_CALL_NO_RWG,
263545a32e80SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
263645a32e80SRichard Henderson DEF_HELPER_FLAGS_5(sve2_smlsl_zzzw_s, TCG_CALL_NO_RWG,
263745a32e80SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
263845a32e80SRichard Henderson DEF_HELPER_FLAGS_5(sve2_smlsl_zzzw_d, TCG_CALL_NO_RWG,
263945a32e80SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
264045a32e80SRichard Henderson 
264145a32e80SRichard Henderson DEF_HELPER_FLAGS_5(sve2_umlsl_zzzw_h, TCG_CALL_NO_RWG,
264245a32e80SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
264345a32e80SRichard Henderson DEF_HELPER_FLAGS_5(sve2_umlsl_zzzw_s, TCG_CALL_NO_RWG,
264445a32e80SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
264545a32e80SRichard Henderson DEF_HELPER_FLAGS_5(sve2_umlsl_zzzw_d, TCG_CALL_NO_RWG,
264645a32e80SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2647d782d3caSRichard Henderson 
2648d782d3caSRichard Henderson DEF_HELPER_FLAGS_5(sve2_cmla_zzzz_b, TCG_CALL_NO_RWG,
2649d782d3caSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2650d782d3caSRichard Henderson DEF_HELPER_FLAGS_5(sve2_cmla_zzzz_h, TCG_CALL_NO_RWG,
2651d782d3caSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2652d782d3caSRichard Henderson DEF_HELPER_FLAGS_5(sve2_cmla_zzzz_s, TCG_CALL_NO_RWG,
2653d782d3caSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2654d782d3caSRichard Henderson DEF_HELPER_FLAGS_5(sve2_cmla_zzzz_d, TCG_CALL_NO_RWG,
2655d782d3caSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2656d782d3caSRichard Henderson 
2657d782d3caSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrdcmlah_zzzz_b, TCG_CALL_NO_RWG,
2658d782d3caSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2659d782d3caSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrdcmlah_zzzz_h, TCG_CALL_NO_RWG,
2660d782d3caSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2661d782d3caSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrdcmlah_zzzz_s, TCG_CALL_NO_RWG,
2662d782d3caSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2663d782d3caSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrdcmlah_zzzz_d, TCG_CALL_NO_RWG,
2664d782d3caSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
26654f26756bSStephen Long 
26664f26756bSStephen Long DEF_HELPER_FLAGS_6(fmmla_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, ptr, i32)
26674f26756bSStephen Long DEF_HELPER_FLAGS_6(fmmla_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, ptr, ptr, i32)
266875d6d5fcSRichard Henderson 
266975d6d5fcSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrdmlah_idx_h, TCG_CALL_NO_RWG,
267075d6d5fcSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
267175d6d5fcSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrdmlah_idx_s, TCG_CALL_NO_RWG,
267275d6d5fcSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
267375d6d5fcSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrdmlah_idx_d, TCG_CALL_NO_RWG,
267475d6d5fcSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
267575d6d5fcSRichard Henderson 
267675d6d5fcSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrdmlsh_idx_h, TCG_CALL_NO_RWG,
267775d6d5fcSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
267875d6d5fcSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrdmlsh_idx_s, TCG_CALL_NO_RWG,
267975d6d5fcSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
268075d6d5fcSRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqrdmlsh_idx_d, TCG_CALL_NO_RWG,
268175d6d5fcSRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2682c5c455d7SRichard Henderson 
2683c5c455d7SRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqdmlal_idx_s, TCG_CALL_NO_RWG,
2684c5c455d7SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2685c5c455d7SRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqdmlal_idx_d, TCG_CALL_NO_RWG,
2686c5c455d7SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2687c5c455d7SRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqdmlsl_idx_s, TCG_CALL_NO_RWG,
2688c5c455d7SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2689c5c455d7SRichard Henderson DEF_HELPER_FLAGS_5(sve2_sqdmlsl_idx_d, TCG_CALL_NO_RWG,
2690c5c455d7SRichard Henderson                    void, ptr, ptr, ptr, ptr, i32)
2691b95f5eebSRichard Henderson 
2692b95f5eebSRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqdmull_idx_s, TCG_CALL_NO_RWG,
2693b95f5eebSRichard Henderson                    void, ptr, ptr, ptr, i32)
2694b95f5eebSRichard Henderson DEF_HELPER_FLAGS_4(sve2_sqdmull_idx_d, TCG_CALL_NO_RWG,
2695b95f5eebSRichard Henderson                    void, ptr, ptr, ptr, i32)
2696