mirror of
https://github.com/izzy2lost/xemu.git
synced 2026-07-06 00:20:22 -07:00
target/arm: Implement SME2 Multiple and Single SVE Destructive
Reviewed-by: Peter Maydell <peter.maydell@linaro.org> Signed-off-by: Richard Henderson <richard.henderson@linaro.org> Message-id: 20250704142112.1018902-31-richard.henderson@linaro.org Signed-off-by: Peter Maydell <peter.maydell@linaro.org>
This commit is contained in:
Richard Henderson
committed by
Peter Maydell
Peter Maydell
parent
baf450ef83
commit
bc65d2bd1c
@@ -402,6 +402,8 @@ AH_MINMAX_HELPER(vfp_ah_mind, float64, float64, min)
|
||||
AH_MINMAX_HELPER(vfp_ah_maxh, dh_ctype_f16, float16, max)
|
||||
AH_MINMAX_HELPER(vfp_ah_maxs, float32, float32, max)
|
||||
AH_MINMAX_HELPER(vfp_ah_maxd, float64, float64, max)
|
||||
AH_MINMAX_HELPER(sme2_ah_fmax_b16, bfloat16, bfloat16, max)
|
||||
AH_MINMAX_HELPER(sme2_ah_fmin_b16, bfloat16, bfloat16, min)
|
||||
|
||||
/* 64-bit versions of the CRC helpers. Note that although the operation
|
||||
* (and the prototypes of crc32c() and crc32() mean that only the bottom
|
||||
|
||||
@@ -160,3 +160,16 @@ DEF_HELPER_FLAGS_6(sme2_smopa2_s, TCG_CALL_NO_RWG,
|
||||
void, ptr, ptr, ptr, ptr, ptr, i32)
|
||||
DEF_HELPER_FLAGS_6(sme2_umopa2_s, TCG_CALL_NO_RWG,
|
||||
void, ptr, ptr, ptr, ptr, ptr, i32)
|
||||
|
||||
DEF_HELPER_FLAGS_5(gvec_fmax_b16, TCG_CALL_NO_RWG,
|
||||
void, ptr, ptr, ptr, fpst, i32)
|
||||
DEF_HELPER_FLAGS_5(gvec_fmin_b16, TCG_CALL_NO_RWG,
|
||||
void, ptr, ptr, ptr, fpst, i32)
|
||||
DEF_HELPER_FLAGS_5(gvec_ah_fmax_b16, TCG_CALL_NO_RWG,
|
||||
void, ptr, ptr, ptr, fpst, i32)
|
||||
DEF_HELPER_FLAGS_5(gvec_ah_fmin_b16, TCG_CALL_NO_RWG,
|
||||
void, ptr, ptr, ptr, fpst, i32)
|
||||
DEF_HELPER_FLAGS_5(gvec_fmaxnum_b16, TCG_CALL_NO_RWG,
|
||||
void, ptr, ptr, ptr, fpst, i32)
|
||||
DEF_HELPER_FLAGS_5(gvec_fminnum_b16, TCG_CALL_NO_RWG,
|
||||
void, ptr, ptr, ptr, fpst, i32)
|
||||
|
||||
@@ -353,6 +353,14 @@ DEF_HELPER_FLAGS_4(gvec_urshl_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
|
||||
DEF_HELPER_FLAGS_4(gvec_urshl_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
|
||||
DEF_HELPER_FLAGS_4(gvec_urshl_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
|
||||
|
||||
DEF_HELPER_FLAGS_4(sme2_srshl_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
|
||||
DEF_HELPER_FLAGS_4(sme2_srshl_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
|
||||
DEF_HELPER_FLAGS_4(sme2_srshl_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
|
||||
|
||||
DEF_HELPER_FLAGS_4(sme2_urshl_h, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
|
||||
DEF_HELPER_FLAGS_4(sme2_urshl_s, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
|
||||
DEF_HELPER_FLAGS_4(sme2_urshl_d, TCG_CALL_NO_RWG, void, ptr, ptr, ptr, i32)
|
||||
|
||||
DEF_HELPER_2(neon_add_u8, i32, i32, i32)
|
||||
DEF_HELPER_2(neon_add_u16, i32, i32, i32)
|
||||
DEF_HELPER_2(neon_sub_u8, i32, i32, i32)
|
||||
|
||||
@@ -228,16 +228,31 @@ NEON_VOP(rshl_s16, neon_s16, 2)
|
||||
NEON_GVEC_VOP2(gvec_srshl_h, int16_t)
|
||||
#undef NEON_FN
|
||||
|
||||
#define NEON_FN(dest, src1, src2) \
|
||||
(dest = do_sqrshl_bhs(src1, src2, 16, true, NULL))
|
||||
NEON_GVEC_VOP2(sme2_srshl_h, int16_t)
|
||||
#undef NEON_FN
|
||||
|
||||
#define NEON_FN(dest, src1, src2) \
|
||||
(dest = do_sqrshl_bhs(src1, (int8_t)src2, 32, true, NULL))
|
||||
NEON_GVEC_VOP2(gvec_srshl_s, int32_t)
|
||||
#undef NEON_FN
|
||||
|
||||
#define NEON_FN(dest, src1, src2) \
|
||||
(dest = do_sqrshl_bhs(src1, src2, 32, true, NULL))
|
||||
NEON_GVEC_VOP2(sme2_srshl_s, int32_t)
|
||||
#undef NEON_FN
|
||||
|
||||
#define NEON_FN(dest, src1, src2) \
|
||||
(dest = do_sqrshl_d(src1, (int8_t)src2, true, NULL))
|
||||
NEON_GVEC_VOP2(gvec_srshl_d, int64_t)
|
||||
#undef NEON_FN
|
||||
|
||||
#define NEON_FN(dest, src1, src2) \
|
||||
(dest = do_sqrshl_d(src1, src2, true, NULL))
|
||||
NEON_GVEC_VOP2(sme2_srshl_d, int64_t)
|
||||
#undef NEON_FN
|
||||
|
||||
uint32_t HELPER(neon_rshl_s32)(uint32_t val, uint32_t shift)
|
||||
{
|
||||
return do_sqrshl_bhs(val, (int8_t)shift, 32, true, NULL);
|
||||
@@ -260,16 +275,31 @@ NEON_VOP(rshl_u16, neon_u16, 2)
|
||||
NEON_GVEC_VOP2(gvec_urshl_h, uint16_t)
|
||||
#undef NEON_FN
|
||||
|
||||
#define NEON_FN(dest, src1, src2) \
|
||||
(dest = do_uqrshl_bhs(src1, (int16_t)src2, 16, true, NULL))
|
||||
NEON_GVEC_VOP2(sme2_urshl_h, uint16_t)
|
||||
#undef NEON_FN
|
||||
|
||||
#define NEON_FN(dest, src1, src2) \
|
||||
(dest = do_uqrshl_bhs(src1, (int8_t)src2, 32, true, NULL))
|
||||
NEON_GVEC_VOP2(gvec_urshl_s, int32_t)
|
||||
#undef NEON_FN
|
||||
|
||||
#define NEON_FN(dest, src1, src2) \
|
||||
(dest = do_uqrshl_bhs(src1, src2, 32, true, NULL))
|
||||
NEON_GVEC_VOP2(sme2_urshl_s, int32_t)
|
||||
#undef NEON_FN
|
||||
|
||||
#define NEON_FN(dest, src1, src2) \
|
||||
(dest = do_uqrshl_d(src1, (int8_t)src2, true, NULL))
|
||||
NEON_GVEC_VOP2(gvec_urshl_d, int64_t)
|
||||
#undef NEON_FN
|
||||
|
||||
#define NEON_FN(dest, src1, src2) \
|
||||
(dest = do_uqrshl_d(src1, src2, true, NULL))
|
||||
NEON_GVEC_VOP2(sme2_urshl_d, int64_t)
|
||||
#undef NEON_FN
|
||||
|
||||
uint32_t HELPER(neon_rshl_u32)(uint32_t val, uint32_t shift)
|
||||
{
|
||||
return do_uqrshl_bhs(val, (int8_t)shift, 32, true, NULL);
|
||||
|
||||
@@ -169,3 +169,43 @@ UMOPA_d 1010000 1 11 1 ..... ... ... ..... . 0 ... @op_64
|
||||
BMOPA 1000000 0 10 0 ..... ... ... ..... . 10 .. @op_32
|
||||
SMOPA2_s 1010000 0 10 0 ..... ... ... ..... . 10 .. @op_32
|
||||
UMOPA2_s 1010000 1 10 0 ..... ... ... ..... . 10 .. @op_32
|
||||
|
||||
### SME2 Multi-vector Multiple and Single SVE Destructive
|
||||
|
||||
%zd_ax2 1:4 !function=times_2
|
||||
%zd_ax4 2:3 !function=times_4
|
||||
|
||||
&z2z_en zdn zm esz n
|
||||
@z2z_2x1 ....... . esz:2 .. zm:4 ....0. ..... .... . \
|
||||
&z2z_en n=2 zdn=%zd_ax2
|
||||
@z2z_4x1 ....... . esz:2 .. zm:4 ....1. ..... ...0 . \
|
||||
&z2z_en n=4 zdn=%zd_ax4
|
||||
|
||||
SMAX_n1 1100000 1 .. 10 .... 1010.0 00000 .... 0 @z2z_2x1
|
||||
SMAX_n1 1100000 1 .. 10 .... 1010.0 00000 .... 0 @z2z_4x1
|
||||
UMAX_n1 1100000 1 .. 10 .... 1010.0 00000 .... 1 @z2z_2x1
|
||||
UMAX_n1 1100000 1 .. 10 .... 1010.0 00000 .... 1 @z2z_4x1
|
||||
SMIN_n1 1100000 1 .. 10 .... 1010.0 00001 .... 0 @z2z_2x1
|
||||
SMIN_n1 1100000 1 .. 10 .... 1010.0 00001 .... 0 @z2z_4x1
|
||||
UMIN_n1 1100000 1 .. 10 .... 1010.0 00001 .... 1 @z2z_2x1
|
||||
UMIN_n1 1100000 1 .. 10 .... 1010.0 00001 .... 1 @z2z_4x1
|
||||
|
||||
FMAX_n1 1100000 1 .. 10 .... 1010.0 01000 .... 0 @z2z_2x1
|
||||
FMAX_n1 1100000 1 .. 10 .... 1010.0 01000 .... 0 @z2z_4x1
|
||||
FMIN_n1 1100000 1 .. 10 .... 1010.0 01000 .... 1 @z2z_2x1
|
||||
FMIN_n1 1100000 1 .. 10 .... 1010.0 01000 .... 1 @z2z_4x1
|
||||
FMAXNM_n1 1100000 1 .. 10 .... 1010.0 01001 .... 0 @z2z_2x1
|
||||
FMAXNM_n1 1100000 1 .. 10 .... 1010.0 01001 .... 0 @z2z_4x1
|
||||
FMINNM_n1 1100000 1 .. 10 .... 1010.0 01001 .... 1 @z2z_2x1
|
||||
FMINNM_n1 1100000 1 .. 10 .... 1010.0 01001 .... 1 @z2z_4x1
|
||||
|
||||
SRSHL_n1 1100000 1 .. 10 .... 1010.0 10001 .... 0 @z2z_2x1
|
||||
SRSHL_n1 1100000 1 .. 10 .... 1010.0 10001 .... 0 @z2z_4x1
|
||||
URSHL_n1 1100000 1 .. 10 .... 1010.0 10001 .... 1 @z2z_2x1
|
||||
URSHL_n1 1100000 1 .. 10 .... 1010.0 10001 .... 1 @z2z_4x1
|
||||
|
||||
ADD_n1 1100000 1 .. 10 .... 1010.0 11000 .... 0 @z2z_2x1
|
||||
ADD_n1 1100000 1 .. 10 .... 1010.0 11000 .... 0 @z2z_4x1
|
||||
|
||||
SQDMULH_n1 1100000 1 .. 10 .... 1010.1 00000 .... 0 @z2z_2x1
|
||||
SQDMULH_n1 1100000 1 .. 10 .... 1010.1 00000 .... 0 @z2z_4x1
|
||||
|
||||
@@ -543,3 +543,140 @@ TRANS_FEAT(USMOPA_d, aa64_sme_i16i64, do_outprod, a, MO_64, gen_helper_sme_usmop
|
||||
TRANS_FEAT(BMOPA, aa64_sme2, do_outprod, a, MO_32, gen_helper_sme2_bmopa_s)
|
||||
TRANS_FEAT(SMOPA2_s, aa64_sme2, do_outprod, a, MO_32, gen_helper_sme2_smopa2_s)
|
||||
TRANS_FEAT(UMOPA2_s, aa64_sme2, do_outprod, a, MO_32, gen_helper_sme2_umopa2_s)
|
||||
|
||||
static bool do_z2z_n1(DisasContext *s, arg_z2z_en *a, GVecGen3Fn *fn)
|
||||
{
|
||||
int esz, dn, vsz, mofs, n;
|
||||
bool overlap = false;
|
||||
|
||||
if (!sme_sm_enabled_check(s)) {
|
||||
return true;
|
||||
}
|
||||
|
||||
esz = a->esz;
|
||||
n = a->n;
|
||||
dn = a->zdn;
|
||||
mofs = vec_full_reg_offset(s, a->zm);
|
||||
vsz = streaming_vec_reg_size(s);
|
||||
|
||||
for (int i = 0; i < n; i++) {
|
||||
int dofs = vec_full_reg_offset(s, dn + i);
|
||||
if (dofs == mofs) {
|
||||
overlap = true;
|
||||
} else {
|
||||
fn(esz, dofs, dofs, mofs, vsz, vsz);
|
||||
}
|
||||
}
|
||||
if (overlap) {
|
||||
fn(esz, mofs, mofs, mofs, vsz, vsz);
|
||||
}
|
||||
return true;
|
||||
}
|
||||
|
||||
static void gen_sme2_srshl(unsigned vece, uint32_t rd_ofs, uint32_t rn_ofs,
|
||||
uint32_t rm_ofs, uint32_t opr_sz, uint32_t max_sz)
|
||||
{
|
||||
static gen_helper_gvec_3 * const fns[] = {
|
||||
gen_helper_gvec_srshl_b, gen_helper_sme2_srshl_h,
|
||||
gen_helper_sme2_srshl_s, gen_helper_sme2_srshl_d,
|
||||
};
|
||||
tcg_debug_assert(vece <= MO_64);
|
||||
tcg_gen_gvec_3_ool(rd_ofs, rn_ofs, rm_ofs, opr_sz, max_sz, 0, fns[vece]);
|
||||
}
|
||||
|
||||
static void gen_sme2_urshl(unsigned vece, uint32_t rd_ofs, uint32_t rn_ofs,
|
||||
uint32_t rm_ofs, uint32_t opr_sz, uint32_t max_sz)
|
||||
{
|
||||
static gen_helper_gvec_3 * const fns[] = {
|
||||
gen_helper_gvec_urshl_b, gen_helper_sme2_urshl_h,
|
||||
gen_helper_sme2_urshl_s, gen_helper_sme2_urshl_d,
|
||||
};
|
||||
tcg_debug_assert(vece <= MO_64);
|
||||
tcg_gen_gvec_3_ool(rd_ofs, rn_ofs, rm_ofs, opr_sz, max_sz, 0, fns[vece]);
|
||||
}
|
||||
|
||||
TRANS_FEAT(ADD_n1, aa64_sme2, do_z2z_n1, a, tcg_gen_gvec_add)
|
||||
TRANS_FEAT(SMAX_n1, aa64_sme2, do_z2z_n1, a, tcg_gen_gvec_smax)
|
||||
TRANS_FEAT(SMIN_n1, aa64_sme2, do_z2z_n1, a, tcg_gen_gvec_smin)
|
||||
TRANS_FEAT(UMAX_n1, aa64_sme2, do_z2z_n1, a, tcg_gen_gvec_umax)
|
||||
TRANS_FEAT(UMIN_n1, aa64_sme2, do_z2z_n1, a, tcg_gen_gvec_umin)
|
||||
TRANS_FEAT(SRSHL_n1, aa64_sme2, do_z2z_n1, a, gen_sme2_srshl)
|
||||
TRANS_FEAT(URSHL_n1, aa64_sme2, do_z2z_n1, a, gen_sme2_urshl)
|
||||
TRANS_FEAT(SQDMULH_n1, aa64_sme2, do_z2z_n1, a, gen_gvec_sve2_sqdmulh)
|
||||
|
||||
static bool do_z2z_n1_fpst(DisasContext *s, arg_z2z_en *a,
|
||||
gen_helper_gvec_3_ptr * const fns[4])
|
||||
{
|
||||
int esz = a->esz, n, dn, vsz, mofs;
|
||||
bool overlap = false;
|
||||
gen_helper_gvec_3_ptr *fn;
|
||||
TCGv_ptr fpst;
|
||||
|
||||
/* These insns use MO_8 to encode BFloat16. */
|
||||
if (esz == MO_8 && !dc_isar_feature(aa64_sme_b16b16, s)) {
|
||||
return false;
|
||||
}
|
||||
if (!sme_sm_enabled_check(s)) {
|
||||
return true;
|
||||
}
|
||||
|
||||
fpst = fpstatus_ptr(esz == MO_16 ? FPST_A64_F16 : FPST_A64);
|
||||
fn = fns[esz];
|
||||
n = a->n;
|
||||
dn = a->zdn;
|
||||
mofs = vec_full_reg_offset(s, a->zm);
|
||||
vsz = streaming_vec_reg_size(s);
|
||||
|
||||
for (int i = 0; i < n; i++) {
|
||||
int dofs = vec_full_reg_offset(s, dn + i);
|
||||
if (dofs == mofs) {
|
||||
overlap = true;
|
||||
} else {
|
||||
tcg_gen_gvec_3_ptr(dofs, dofs, mofs, fpst, vsz, vsz, 0, fn);
|
||||
}
|
||||
}
|
||||
if (overlap) {
|
||||
tcg_gen_gvec_3_ptr(mofs, mofs, mofs, fpst, vsz, vsz, 0, fn);
|
||||
}
|
||||
return true;
|
||||
}
|
||||
|
||||
static gen_helper_gvec_3_ptr * const f_vector_fmax[2][4] = {
|
||||
{ gen_helper_gvec_fmax_b16,
|
||||
gen_helper_gvec_fmax_h,
|
||||
gen_helper_gvec_fmax_s,
|
||||
gen_helper_gvec_fmax_d },
|
||||
{ gen_helper_gvec_ah_fmax_b16,
|
||||
gen_helper_gvec_ah_fmax_h,
|
||||
gen_helper_gvec_ah_fmax_s,
|
||||
gen_helper_gvec_ah_fmax_d },
|
||||
};
|
||||
TRANS_FEAT(FMAX_n1, aa64_sme2, do_z2z_n1_fpst, a, f_vector_fmax[s->fpcr_ah])
|
||||
|
||||
static gen_helper_gvec_3_ptr * const f_vector_fmin[2][4] = {
|
||||
{ gen_helper_gvec_fmin_b16,
|
||||
gen_helper_gvec_fmin_h,
|
||||
gen_helper_gvec_fmin_s,
|
||||
gen_helper_gvec_fmin_d },
|
||||
{ gen_helper_gvec_ah_fmin_b16,
|
||||
gen_helper_gvec_ah_fmin_h,
|
||||
gen_helper_gvec_ah_fmin_s,
|
||||
gen_helper_gvec_ah_fmin_d },
|
||||
};
|
||||
TRANS_FEAT(FMIN_n1, aa64_sme2, do_z2z_n1_fpst, a, f_vector_fmin[s->fpcr_ah])
|
||||
|
||||
static gen_helper_gvec_3_ptr * const f_vector_fmaxnm[4] = {
|
||||
gen_helper_gvec_fmaxnum_b16,
|
||||
gen_helper_gvec_fmaxnum_h,
|
||||
gen_helper_gvec_fmaxnum_s,
|
||||
gen_helper_gvec_fmaxnum_d,
|
||||
};
|
||||
TRANS_FEAT(FMAXNM_n1, aa64_sme2, do_z2z_n1_fpst, a, f_vector_fmaxnm)
|
||||
|
||||
static gen_helper_gvec_3_ptr * const f_vector_fminnm[4] = {
|
||||
gen_helper_gvec_fminnum_b16,
|
||||
gen_helper_gvec_fminnum_h,
|
||||
gen_helper_gvec_fminnum_s,
|
||||
gen_helper_gvec_fminnum_d,
|
||||
};
|
||||
TRANS_FEAT(FMINNM_n1, aa64_sme2, do_z2z_n1_fpst, a, f_vector_fminnm)
|
||||
|
||||
@@ -1515,6 +1515,13 @@ DO_3OP(gvec_ah_fmin_h, helper_vfp_ah_minh, float16)
|
||||
DO_3OP(gvec_ah_fmin_s, helper_vfp_ah_mins, float32)
|
||||
DO_3OP(gvec_ah_fmin_d, helper_vfp_ah_mind, float64)
|
||||
|
||||
DO_3OP(gvec_fmax_b16, bfloat16_max, bfloat16)
|
||||
DO_3OP(gvec_fmin_b16, bfloat16_min, bfloat16)
|
||||
DO_3OP(gvec_fmaxnum_b16, bfloat16_maxnum, bfloat16)
|
||||
DO_3OP(gvec_fminnum_b16, bfloat16_minnum, bfloat16)
|
||||
DO_3OP(gvec_ah_fmax_b16, helper_sme2_ah_fmax_b16, bfloat16)
|
||||
DO_3OP(gvec_ah_fmin_b16, helper_sme2_ah_fmin_b16, bfloat16)
|
||||
|
||||
#endif
|
||||
#undef DO_3OP
|
||||
|
||||
|
||||
@@ -302,4 +302,8 @@ static inline float64 float64_maybe_ah_chs(float64 a, bool fpcr_ah)
|
||||
return fpcr_ah && float64_is_any_nan(a) ? a : float64_chs(a);
|
||||
}
|
||||
|
||||
/* Not actually called directly as a helper, but uses similar machinery. */
|
||||
bfloat16 helper_sme2_ah_fmax_b16(bfloat16 a, bfloat16 b, float_status *fpst);
|
||||
bfloat16 helper_sme2_ah_fmin_b16(bfloat16 a, bfloat16 b, float_status *fpst);
|
||||
|
||||
#endif /* TARGET_ARM_VEC_INTERNAL_H */
|
||||
|
||||
Reference in New Issue
Block a user