diff --git a/test/CodeGen/RISCV/rvv/fixed-vectors-bitreverse.ll b/test/CodeGen/RISCV/rvv/fixed-vectors-bitreverse.ll new file mode 100644 index 00000000000..9198eba9362 --- /dev/null +++ b/test/CodeGen/RISCV/rvv/fixed-vectors-bitreverse.ll @@ -0,0 +1,1580 @@ +; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py +; RUN: llc -mtriple=riscv32 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX2-RV32 +; RUN: llc -mtriple=riscv64 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX2-RV64 +; RUN: llc -mtriple=riscv32 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX1 +; RUN: llc -mtriple=riscv64 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX1 + +define void @bitreverse_v8i16(<8 x i16>* %x, <8 x i16>* %y) { +; CHECK-LABEL: bitreverse_v8i16: +; CHECK: # %bb.0: +; CHECK-NEXT: addi sp, sp, -16 +; CHECK-NEXT: .cfi_def_cfa_offset 16 +; CHECK-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; CHECK-NEXT: vle16.v v25, (a0) +; CHECK-NEXT: vsetvli zero, zero, e8,m1,ta,mu +; CHECK-NEXT: vmv.x.s a1, v25 +; CHECK-NEXT: sb a1, 1(sp) +; CHECK-NEXT: vsetivli a1, 1, e8,m1,ta,mu +; CHECK-NEXT: vslidedown.vi v26, v25, 14 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 15(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 15 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 14(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 12 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 13(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 13 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 12(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 10 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 11(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 11 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 10(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 8 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 9(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 9 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 8(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 6 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 7(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 7 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 6(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 4 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 5(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 5 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 4(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 2 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 3(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 3 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 2(sp) +; CHECK-NEXT: vslidedown.vi v25, v25, 1 +; CHECK-NEXT: vmv.x.s a1, v25 +; CHECK-NEXT: sb a1, 0(sp) +; CHECK-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; CHECK-NEXT: vle8.v v25, (sp) +; CHECK-NEXT: vand.vi v26, v25, 15 +; CHECK-NEXT: vsll.vi v26, v26, 4 +; CHECK-NEXT: vand.vi v25, v25, -16 +; CHECK-NEXT: vsrl.vi v25, v25, 4 +; CHECK-NEXT: vor.vv v25, v25, v26 +; CHECK-NEXT: addi a1, zero, 51 +; CHECK-NEXT: vand.vx v26, v25, a1 +; CHECK-NEXT: vsll.vi v26, v26, 2 +; CHECK-NEXT: addi a1, zero, 204 +; CHECK-NEXT: vand.vx v25, v25, a1 +; CHECK-NEXT: vsrl.vi v25, v25, 2 +; CHECK-NEXT: vor.vv v25, v25, v26 +; CHECK-NEXT: addi a1, zero, 85 +; CHECK-NEXT: vand.vx v26, v25, a1 +; CHECK-NEXT: vsll.vi v26, v26, 1 +; CHECK-NEXT: addi a1, zero, 170 +; CHECK-NEXT: vand.vx v25, v25, a1 +; CHECK-NEXT: vsrl.vi v25, v25, 1 +; CHECK-NEXT: vor.vv v25, v25, v26 +; CHECK-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; CHECK-NEXT: vse16.v v25, (a0) +; CHECK-NEXT: addi sp, sp, 16 +; CHECK-NEXT: ret + %a = load <8 x i16>, <8 x i16>* %x + %b = load <8 x i16>, <8 x i16>* %y + %c = call <8 x i16> @llvm.bitreverse.v8i16(<8 x i16> %a) + store <8 x i16> %c, <8 x i16>* %x + ret void +} +declare <8 x i16> @llvm.bitreverse.v8i16(<8 x i16>) + +define void @bitreverse_v4i32(<4 x i32>* %x, <4 x i32>* %y) { +; CHECK-LABEL: bitreverse_v4i32: +; CHECK: # %bb.0: +; CHECK-NEXT: addi sp, sp, -16 +; CHECK-NEXT: .cfi_def_cfa_offset 16 +; CHECK-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; CHECK-NEXT: vle32.v v25, (a0) +; CHECK-NEXT: vsetvli zero, zero, e8,m1,ta,mu +; CHECK-NEXT: vmv.x.s a1, v25 +; CHECK-NEXT: sb a1, 3(sp) +; CHECK-NEXT: vsetivli a1, 1, e8,m1,ta,mu +; CHECK-NEXT: vslidedown.vi v26, v25, 12 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 15(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 13 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 14(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 14 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 13(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 15 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 12(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 8 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 11(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 9 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 10(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 10 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 9(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 11 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 8(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 4 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 7(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 5 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 6(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 6 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 5(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 7 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 4(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 1 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 2(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 2 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 1(sp) +; CHECK-NEXT: vslidedown.vi v25, v25, 3 +; CHECK-NEXT: vmv.x.s a1, v25 +; CHECK-NEXT: sb a1, 0(sp) +; CHECK-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; CHECK-NEXT: vle8.v v25, (sp) +; CHECK-NEXT: vand.vi v26, v25, 15 +; CHECK-NEXT: vsll.vi v26, v26, 4 +; CHECK-NEXT: vand.vi v25, v25, -16 +; CHECK-NEXT: vsrl.vi v25, v25, 4 +; CHECK-NEXT: vor.vv v25, v25, v26 +; CHECK-NEXT: addi a1, zero, 51 +; CHECK-NEXT: vand.vx v26, v25, a1 +; CHECK-NEXT: vsll.vi v26, v26, 2 +; CHECK-NEXT: addi a1, zero, 204 +; CHECK-NEXT: vand.vx v25, v25, a1 +; CHECK-NEXT: vsrl.vi v25, v25, 2 +; CHECK-NEXT: vor.vv v25, v25, v26 +; CHECK-NEXT: addi a1, zero, 85 +; CHECK-NEXT: vand.vx v26, v25, a1 +; CHECK-NEXT: vsll.vi v26, v26, 1 +; CHECK-NEXT: addi a1, zero, 170 +; CHECK-NEXT: vand.vx v25, v25, a1 +; CHECK-NEXT: vsrl.vi v25, v25, 1 +; CHECK-NEXT: vor.vv v25, v25, v26 +; CHECK-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; CHECK-NEXT: vse32.v v25, (a0) +; CHECK-NEXT: addi sp, sp, 16 +; CHECK-NEXT: ret + %a = load <4 x i32>, <4 x i32>* %x + %b = load <4 x i32>, <4 x i32>* %y + %c = call <4 x i32> @llvm.bitreverse.v4i32(<4 x i32> %a) + store <4 x i32> %c, <4 x i32>* %x + ret void +} +declare <4 x i32> @llvm.bitreverse.v4i32(<4 x i32>) + +define void @bitreverse_v2i64(<2 x i64>* %x, <2 x i64>* %y) { +; CHECK-LABEL: bitreverse_v2i64: +; CHECK: # %bb.0: +; CHECK-NEXT: addi sp, sp, -16 +; CHECK-NEXT: .cfi_def_cfa_offset 16 +; CHECK-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; CHECK-NEXT: vle64.v v25, (a0) +; CHECK-NEXT: vsetvli zero, zero, e8,m1,ta,mu +; CHECK-NEXT: vmv.x.s a1, v25 +; CHECK-NEXT: sb a1, 7(sp) +; CHECK-NEXT: vsetivli a1, 1, e8,m1,ta,mu +; CHECK-NEXT: vslidedown.vi v26, v25, 8 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 15(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 9 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 14(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 10 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 13(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 11 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 12(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 12 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 11(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 13 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 10(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 14 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 9(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 15 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 8(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 1 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 6(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 2 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 5(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 3 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 4(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 4 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 3(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 5 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 2(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 6 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 1(sp) +; CHECK-NEXT: vslidedown.vi v25, v25, 7 +; CHECK-NEXT: vmv.x.s a1, v25 +; CHECK-NEXT: sb a1, 0(sp) +; CHECK-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; CHECK-NEXT: vle8.v v25, (sp) +; CHECK-NEXT: vand.vi v26, v25, 15 +; CHECK-NEXT: vsll.vi v26, v26, 4 +; CHECK-NEXT: vand.vi v25, v25, -16 +; CHECK-NEXT: vsrl.vi v25, v25, 4 +; CHECK-NEXT: vor.vv v25, v25, v26 +; CHECK-NEXT: addi a1, zero, 51 +; CHECK-NEXT: vand.vx v26, v25, a1 +; CHECK-NEXT: vsll.vi v26, v26, 2 +; CHECK-NEXT: addi a1, zero, 204 +; CHECK-NEXT: vand.vx v25, v25, a1 +; CHECK-NEXT: vsrl.vi v25, v25, 2 +; CHECK-NEXT: vor.vv v25, v25, v26 +; CHECK-NEXT: addi a1, zero, 85 +; CHECK-NEXT: vand.vx v26, v25, a1 +; CHECK-NEXT: vsll.vi v26, v26, 1 +; CHECK-NEXT: addi a1, zero, 170 +; CHECK-NEXT: vand.vx v25, v25, a1 +; CHECK-NEXT: vsrl.vi v25, v25, 1 +; CHECK-NEXT: vor.vv v25, v25, v26 +; CHECK-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; CHECK-NEXT: vse64.v v25, (a0) +; CHECK-NEXT: addi sp, sp, 16 +; CHECK-NEXT: ret + %a = load <2 x i64>, <2 x i64>* %x + %b = load <2 x i64>, <2 x i64>* %y + %c = call <2 x i64> @llvm.bitreverse.v2i64(<2 x i64> %a) + store <2 x i64> %c, <2 x i64>* %x + ret void +} +declare <2 x i64> @llvm.bitreverse.v2i64(<2 x i64>) + +define void @bitreverse_v16i16(<16 x i16>* %x, <16 x i16>* %y) { +; LMULMAX2-RV32-LABEL: bitreverse_v16i16: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle16.v v26, (a0) +; LMULMAX2-RV32-NEXT: vsetvli zero, zero, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: sb a1, 1(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 31(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 30(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 29(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 28(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 27(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 26(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 25(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 24(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 23(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 22(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 21(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 20(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 19(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 18(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 17(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 16(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 15(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 13(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 11(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 9(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 7(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 5(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 3(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 2(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: sb a1, 0(sp) +; LMULMAX2-RV32-NEXT: addi a1, zero, 32 +; LMULMAX2-RV32-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV32-NEXT: vand.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vsll.vi v28, v28, 4 +; LMULMAX2-RV32-NEXT: vand.vi v26, v26, -16 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 4 +; LMULMAX2-RV32-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: addi a1, zero, 51 +; LMULMAX2-RV32-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV32-NEXT: vsll.vi v28, v28, 2 +; LMULMAX2-RV32-NEXT: addi a1, zero, 204 +; LMULMAX2-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX2-RV32-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: addi a1, zero, 85 +; LMULMAX2-RV32-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV32-NEXT: vsll.vi v28, v28, 1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 170 +; LMULMAX2-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV32-NEXT: vse16.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: bitreverse_v16i16: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle16.v v26, (a0) +; LMULMAX2-RV64-NEXT: vsetvli zero, zero, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: sb a1, 1(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 31(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 30(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 29(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 28(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 27(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 26(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 25(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 23(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 22(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 21(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 20(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 19(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 18(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 17(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 15(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 13(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 11(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 9(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 7(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 5(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 3(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 2(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: sb a1, 0(sp) +; LMULMAX2-RV64-NEXT: addi a1, zero, 32 +; LMULMAX2-RV64-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV64-NEXT: vand.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vsll.vi v28, v28, 4 +; LMULMAX2-RV64-NEXT: vand.vi v26, v26, -16 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 4 +; LMULMAX2-RV64-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: addi a1, zero, 51 +; LMULMAX2-RV64-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV64-NEXT: vsll.vi v28, v28, 2 +; LMULMAX2-RV64-NEXT: addi a1, zero, 204 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX2-RV64-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: addi a1, zero, 85 +; LMULMAX2-RV64-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV64-NEXT: vsll.vi v28, v28, 1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 170 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 1 +; LMULMAX2-RV64-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV64-NEXT: vse16.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-LABEL: bitreverse_v16i16: +; LMULMAX1: # %bb.0: +; LMULMAX1-NEXT: addi sp, sp, -32 +; LMULMAX1-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-NEXT: addi a1, a0, 16 +; LMULMAX1-NEXT: vle16.v v26, (a1) +; LMULMAX1-NEXT: vle16.v v25, (a0) +; LMULMAX1-NEXT: vsetvli zero, zero, e8,m1,ta,mu +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 1(sp) +; LMULMAX1-NEXT: vsetivli a2, 1, e8,m1,ta,mu +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 14 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 15(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 15 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 14(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 12 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 13(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 13 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 12(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 10 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 11(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 11 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 10(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 8 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 9(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 9 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 8(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 7(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 7 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 6(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 5(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 4(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 3(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 2(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 0(sp) +; LMULMAX1-NEXT: vmv.x.s a2, v25 +; LMULMAX1-NEXT: sb a2, 17(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 31(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 30(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 29(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 28(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 27(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 26(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 25(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 24(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 23(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 22(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 21(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 20(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 19(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 18(sp) +; LMULMAX1-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-NEXT: vmv.x.s a2, v25 +; LMULMAX1-NEXT: sb a2, 16(sp) +; LMULMAX1-NEXT: vsetivli a2, 16, e8,m1,ta,mu +; LMULMAX1-NEXT: vle8.v v25, (sp) +; LMULMAX1-NEXT: vand.vi v26, v25, 15 +; LMULMAX1-NEXT: vsll.vi v26, v26, 4 +; LMULMAX1-NEXT: vand.vi v25, v25, -16 +; LMULMAX1-NEXT: vsrl.vi v25, v25, 4 +; LMULMAX1-NEXT: vor.vv v25, v25, v26 +; LMULMAX1-NEXT: addi a2, zero, 51 +; LMULMAX1-NEXT: vand.vx v26, v25, a2 +; LMULMAX1-NEXT: vsll.vi v26, v26, 2 +; LMULMAX1-NEXT: addi a3, zero, 204 +; LMULMAX1-NEXT: vand.vx v25, v25, a3 +; LMULMAX1-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-NEXT: vor.vv v25, v25, v26 +; LMULMAX1-NEXT: addi a4, zero, 85 +; LMULMAX1-NEXT: vand.vx v26, v25, a4 +; LMULMAX1-NEXT: vsll.vi v26, v26, 1 +; LMULMAX1-NEXT: addi a5, zero, 170 +; LMULMAX1-NEXT: addi a6, sp, 16 +; LMULMAX1-NEXT: vle8.v v27, (a6) +; LMULMAX1-NEXT: vand.vx v25, v25, a5 +; LMULMAX1-NEXT: vsrl.vi v25, v25, 1 +; LMULMAX1-NEXT: vor.vv v25, v25, v26 +; LMULMAX1-NEXT: vand.vi v26, v27, 15 +; LMULMAX1-NEXT: vsll.vi v26, v26, 4 +; LMULMAX1-NEXT: vand.vi v27, v27, -16 +; LMULMAX1-NEXT: vsrl.vi v27, v27, 4 +; LMULMAX1-NEXT: vor.vv v26, v27, v26 +; LMULMAX1-NEXT: vand.vx v27, v26, a2 +; LMULMAX1-NEXT: vsll.vi v27, v27, 2 +; LMULMAX1-NEXT: vand.vx v26, v26, a3 +; LMULMAX1-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX1-NEXT: vor.vv v26, v26, v27 +; LMULMAX1-NEXT: vand.vx v27, v26, a4 +; LMULMAX1-NEXT: vsll.vi v27, v27, 1 +; LMULMAX1-NEXT: vand.vx v26, v26, a5 +; LMULMAX1-NEXT: vsrl.vi v26, v26, 1 +; LMULMAX1-NEXT: vor.vv v26, v26, v27 +; LMULMAX1-NEXT: vsetivli a2, 8, e16,m1,ta,mu +; LMULMAX1-NEXT: vse16.v v26, (a0) +; LMULMAX1-NEXT: vse16.v v25, (a1) +; LMULMAX1-NEXT: addi sp, sp, 32 +; LMULMAX1-NEXT: ret + %a = load <16 x i16>, <16 x i16>* %x + %b = load <16 x i16>, <16 x i16>* %y + %c = call <16 x i16> @llvm.bitreverse.v16i16(<16 x i16> %a) + store <16 x i16> %c, <16 x i16>* %x + ret void +} +declare <16 x i16> @llvm.bitreverse.v16i16(<16 x i16>) + +define void @bitreverse_v8i32(<8 x i32>* %x, <8 x i32>* %y) { +; LMULMAX2-RV32-LABEL: bitreverse_v8i32: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v26, (a0) +; LMULMAX2-RV32-NEXT: vsetvli zero, zero, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: sb a1, 3(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 31(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 30(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 29(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 28(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 27(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 26(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 25(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 24(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 23(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 22(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 21(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 20(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 19(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 18(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 17(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 16(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 15(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 13(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 11(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 9(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 7(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 5(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 2(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 1(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: sb a1, 0(sp) +; LMULMAX2-RV32-NEXT: addi a1, zero, 32 +; LMULMAX2-RV32-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV32-NEXT: vand.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vsll.vi v28, v28, 4 +; LMULMAX2-RV32-NEXT: vand.vi v26, v26, -16 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 4 +; LMULMAX2-RV32-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: addi a1, zero, 51 +; LMULMAX2-RV32-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV32-NEXT: vsll.vi v28, v28, 2 +; LMULMAX2-RV32-NEXT: addi a1, zero, 204 +; LMULMAX2-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX2-RV32-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: addi a1, zero, 85 +; LMULMAX2-RV32-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV32-NEXT: vsll.vi v28, v28, 1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 170 +; LMULMAX2-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vse32.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: bitreverse_v8i32: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle32.v v26, (a0) +; LMULMAX2-RV64-NEXT: vsetvli zero, zero, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: sb a1, 3(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 31(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 30(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 29(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 28(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 27(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 26(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 25(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 23(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 22(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 21(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 20(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 19(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 18(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 17(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 15(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 13(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 11(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 9(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 7(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 5(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 2(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 1(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: sb a1, 0(sp) +; LMULMAX2-RV64-NEXT: addi a1, zero, 32 +; LMULMAX2-RV64-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV64-NEXT: vand.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vsll.vi v28, v28, 4 +; LMULMAX2-RV64-NEXT: vand.vi v26, v26, -16 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 4 +; LMULMAX2-RV64-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: addi a1, zero, 51 +; LMULMAX2-RV64-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV64-NEXT: vsll.vi v28, v28, 2 +; LMULMAX2-RV64-NEXT: addi a1, zero, 204 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX2-RV64-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: addi a1, zero, 85 +; LMULMAX2-RV64-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV64-NEXT: vsll.vi v28, v28, 1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 170 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 1 +; LMULMAX2-RV64-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV64-NEXT: vse32.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-LABEL: bitreverse_v8i32: +; LMULMAX1: # %bb.0: +; LMULMAX1-NEXT: addi sp, sp, -32 +; LMULMAX1-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-NEXT: addi a1, a0, 16 +; LMULMAX1-NEXT: vle32.v v26, (a1) +; LMULMAX1-NEXT: vle32.v v25, (a0) +; LMULMAX1-NEXT: vsetvli zero, zero, e8,m1,ta,mu +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 3(sp) +; LMULMAX1-NEXT: vsetivli a2, 1, e8,m1,ta,mu +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 12 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 15(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 13 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 14(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 14 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 13(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 15 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 12(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 8 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 11(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 9 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 10(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 10 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 9(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 11 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 8(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 7(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 6(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 5(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 7 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 4(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 1 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 2(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 1(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v26, 3 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 0(sp) +; LMULMAX1-NEXT: vmv.x.s a2, v25 +; LMULMAX1-NEXT: sb a2, 19(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 31(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 30(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 29(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 28(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 27(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 26(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 25(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 24(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 23(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 22(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 21(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 20(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 18(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 17(sp) +; LMULMAX1-NEXT: vslidedown.vi v25, v25, 3 +; LMULMAX1-NEXT: vmv.x.s a2, v25 +; LMULMAX1-NEXT: sb a2, 16(sp) +; LMULMAX1-NEXT: vsetivli a2, 16, e8,m1,ta,mu +; LMULMAX1-NEXT: vle8.v v25, (sp) +; LMULMAX1-NEXT: vand.vi v26, v25, 15 +; LMULMAX1-NEXT: vsll.vi v26, v26, 4 +; LMULMAX1-NEXT: vand.vi v25, v25, -16 +; LMULMAX1-NEXT: vsrl.vi v25, v25, 4 +; LMULMAX1-NEXT: vor.vv v25, v25, v26 +; LMULMAX1-NEXT: addi a2, zero, 51 +; LMULMAX1-NEXT: vand.vx v26, v25, a2 +; LMULMAX1-NEXT: vsll.vi v26, v26, 2 +; LMULMAX1-NEXT: addi a3, zero, 204 +; LMULMAX1-NEXT: vand.vx v25, v25, a3 +; LMULMAX1-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-NEXT: vor.vv v25, v25, v26 +; LMULMAX1-NEXT: addi a4, zero, 85 +; LMULMAX1-NEXT: vand.vx v26, v25, a4 +; LMULMAX1-NEXT: vsll.vi v26, v26, 1 +; LMULMAX1-NEXT: addi a5, zero, 170 +; LMULMAX1-NEXT: addi a6, sp, 16 +; LMULMAX1-NEXT: vle8.v v27, (a6) +; LMULMAX1-NEXT: vand.vx v25, v25, a5 +; LMULMAX1-NEXT: vsrl.vi v25, v25, 1 +; LMULMAX1-NEXT: vor.vv v25, v25, v26 +; LMULMAX1-NEXT: vand.vi v26, v27, 15 +; LMULMAX1-NEXT: vsll.vi v26, v26, 4 +; LMULMAX1-NEXT: vand.vi v27, v27, -16 +; LMULMAX1-NEXT: vsrl.vi v27, v27, 4 +; LMULMAX1-NEXT: vor.vv v26, v27, v26 +; LMULMAX1-NEXT: vand.vx v27, v26, a2 +; LMULMAX1-NEXT: vsll.vi v27, v27, 2 +; LMULMAX1-NEXT: vand.vx v26, v26, a3 +; LMULMAX1-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX1-NEXT: vor.vv v26, v26, v27 +; LMULMAX1-NEXT: vand.vx v27, v26, a4 +; LMULMAX1-NEXT: vsll.vi v27, v27, 1 +; LMULMAX1-NEXT: vand.vx v26, v26, a5 +; LMULMAX1-NEXT: vsrl.vi v26, v26, 1 +; LMULMAX1-NEXT: vor.vv v26, v26, v27 +; LMULMAX1-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX1-NEXT: vse32.v v26, (a0) +; LMULMAX1-NEXT: vse32.v v25, (a1) +; LMULMAX1-NEXT: addi sp, sp, 32 +; LMULMAX1-NEXT: ret + %a = load <8 x i32>, <8 x i32>* %x + %b = load <8 x i32>, <8 x i32>* %y + %c = call <8 x i32> @llvm.bitreverse.v8i32(<8 x i32> %a) + store <8 x i32> %c, <8 x i32>* %x + ret void +} +declare <8 x i32> @llvm.bitreverse.v8i32(<8 x i32>) + +define void @bitreverse_v4i64(<4 x i64>* %x, <4 x i64>* %y) { +; LMULMAX2-RV32-LABEL: bitreverse_v4i64: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle64.v v26, (a0) +; LMULMAX2-RV32-NEXT: vsetvli zero, zero, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: sb a1, 7(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 31(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 30(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 29(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 28(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 27(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 26(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 25(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 24(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 23(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 22(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 21(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 20(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 19(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 18(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 17(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 16(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 15(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 13(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 11(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 9(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 5(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 3(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 2(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 1(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: sb a1, 0(sp) +; LMULMAX2-RV32-NEXT: addi a1, zero, 32 +; LMULMAX2-RV32-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV32-NEXT: vand.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vsll.vi v28, v28, 4 +; LMULMAX2-RV32-NEXT: vand.vi v26, v26, -16 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 4 +; LMULMAX2-RV32-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: addi a1, zero, 51 +; LMULMAX2-RV32-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV32-NEXT: vsll.vi v28, v28, 2 +; LMULMAX2-RV32-NEXT: addi a1, zero, 204 +; LMULMAX2-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX2-RV32-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: addi a1, zero, 85 +; LMULMAX2-RV32-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV32-NEXT: vsll.vi v28, v28, 1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 170 +; LMULMAX2-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vse64.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: bitreverse_v4i64: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle64.v v26, (a0) +; LMULMAX2-RV64-NEXT: vsetvli zero, zero, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: sb a1, 7(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 31(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 30(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 29(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 28(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 27(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 26(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 25(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 23(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 22(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 21(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 20(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 19(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 18(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 17(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 15(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 13(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 11(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 9(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 5(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 3(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 2(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 1(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v26, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: sb a1, 0(sp) +; LMULMAX2-RV64-NEXT: addi a1, zero, 32 +; LMULMAX2-RV64-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV64-NEXT: vand.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vsll.vi v28, v28, 4 +; LMULMAX2-RV64-NEXT: vand.vi v26, v26, -16 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 4 +; LMULMAX2-RV64-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: addi a1, zero, 51 +; LMULMAX2-RV64-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV64-NEXT: vsll.vi v28, v28, 2 +; LMULMAX2-RV64-NEXT: addi a1, zero, 204 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX2-RV64-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: addi a1, zero, 85 +; LMULMAX2-RV64-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV64-NEXT: vsll.vi v28, v28, 1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 170 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 1 +; LMULMAX2-RV64-NEXT: vor.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV64-NEXT: vse64.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-LABEL: bitreverse_v4i64: +; LMULMAX1: # %bb.0: +; LMULMAX1-NEXT: addi sp, sp, -32 +; LMULMAX1-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-NEXT: addi a1, a0, 16 +; LMULMAX1-NEXT: vle64.v v26, (a1) +; LMULMAX1-NEXT: vle64.v v25, (a0) +; LMULMAX1-NEXT: vsetvli zero, zero, e8,m1,ta,mu +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 7(sp) +; LMULMAX1-NEXT: vsetivli a2, 1, e8,m1,ta,mu +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 8 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 15(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 9 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 14(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 10 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 13(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 11 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 12(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 12 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 11(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 13 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 10(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 14 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 9(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 15 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 8(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 1 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 6(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 5(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 4(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 3(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 2(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 1(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v26, 7 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 0(sp) +; LMULMAX1-NEXT: vmv.x.s a2, v25 +; LMULMAX1-NEXT: sb a2, 23(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 31(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 30(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 29(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 28(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 27(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 26(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 25(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 24(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 22(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 21(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 20(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 19(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 18(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 17(sp) +; LMULMAX1-NEXT: vslidedown.vi v25, v25, 7 +; LMULMAX1-NEXT: vmv.x.s a2, v25 +; LMULMAX1-NEXT: sb a2, 16(sp) +; LMULMAX1-NEXT: vsetivli a2, 16, e8,m1,ta,mu +; LMULMAX1-NEXT: vle8.v v25, (sp) +; LMULMAX1-NEXT: vand.vi v26, v25, 15 +; LMULMAX1-NEXT: vsll.vi v26, v26, 4 +; LMULMAX1-NEXT: vand.vi v25, v25, -16 +; LMULMAX1-NEXT: vsrl.vi v25, v25, 4 +; LMULMAX1-NEXT: vor.vv v25, v25, v26 +; LMULMAX1-NEXT: addi a2, zero, 51 +; LMULMAX1-NEXT: vand.vx v26, v25, a2 +; LMULMAX1-NEXT: vsll.vi v26, v26, 2 +; LMULMAX1-NEXT: addi a3, zero, 204 +; LMULMAX1-NEXT: vand.vx v25, v25, a3 +; LMULMAX1-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-NEXT: vor.vv v25, v25, v26 +; LMULMAX1-NEXT: addi a4, zero, 85 +; LMULMAX1-NEXT: vand.vx v26, v25, a4 +; LMULMAX1-NEXT: vsll.vi v26, v26, 1 +; LMULMAX1-NEXT: addi a5, zero, 170 +; LMULMAX1-NEXT: addi a6, sp, 16 +; LMULMAX1-NEXT: vle8.v v27, (a6) +; LMULMAX1-NEXT: vand.vx v25, v25, a5 +; LMULMAX1-NEXT: vsrl.vi v25, v25, 1 +; LMULMAX1-NEXT: vor.vv v25, v25, v26 +; LMULMAX1-NEXT: vand.vi v26, v27, 15 +; LMULMAX1-NEXT: vsll.vi v26, v26, 4 +; LMULMAX1-NEXT: vand.vi v27, v27, -16 +; LMULMAX1-NEXT: vsrl.vi v27, v27, 4 +; LMULMAX1-NEXT: vor.vv v26, v27, v26 +; LMULMAX1-NEXT: vand.vx v27, v26, a2 +; LMULMAX1-NEXT: vsll.vi v27, v27, 2 +; LMULMAX1-NEXT: vand.vx v26, v26, a3 +; LMULMAX1-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX1-NEXT: vor.vv v26, v26, v27 +; LMULMAX1-NEXT: vand.vx v27, v26, a4 +; LMULMAX1-NEXT: vsll.vi v27, v27, 1 +; LMULMAX1-NEXT: vand.vx v26, v26, a5 +; LMULMAX1-NEXT: vsrl.vi v26, v26, 1 +; LMULMAX1-NEXT: vor.vv v26, v26, v27 +; LMULMAX1-NEXT: vsetivli a2, 2, e64,m1,ta,mu +; LMULMAX1-NEXT: vse64.v v26, (a0) +; LMULMAX1-NEXT: vse64.v v25, (a1) +; LMULMAX1-NEXT: addi sp, sp, 32 +; LMULMAX1-NEXT: ret + %a = load <4 x i64>, <4 x i64>* %x + %b = load <4 x i64>, <4 x i64>* %y + %c = call <4 x i64> @llvm.bitreverse.v4i64(<4 x i64> %a) + store <4 x i64> %c, <4 x i64>* %x + ret void +} +declare <4 x i64> @llvm.bitreverse.v4i64(<4 x i64>) diff --git a/test/CodeGen/RISCV/rvv/fixed-vectors-bswap.ll b/test/CodeGen/RISCV/rvv/fixed-vectors-bswap.ll new file mode 100644 index 00000000000..b9c999daa4d --- /dev/null +++ b/test/CodeGen/RISCV/rvv/fixed-vectors-bswap.ll @@ -0,0 +1,1307 @@ +; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py +; RUN: llc -mtriple=riscv32 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX2-RV32 +; RUN: llc -mtriple=riscv64 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX2-RV64 +; RUN: llc -mtriple=riscv32 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX1 +; RUN: llc -mtriple=riscv64 -mattr=+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX1 + +define void @bswap_v8i16(<8 x i16>* %x, <8 x i16>* %y) { +; CHECK-LABEL: bswap_v8i16: +; CHECK: # %bb.0: +; CHECK-NEXT: addi sp, sp, -16 +; CHECK-NEXT: .cfi_def_cfa_offset 16 +; CHECK-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; CHECK-NEXT: vle16.v v25, (a0) +; CHECK-NEXT: vsetvli zero, zero, e8,m1,ta,mu +; CHECK-NEXT: vmv.x.s a1, v25 +; CHECK-NEXT: sb a1, 1(sp) +; CHECK-NEXT: vsetivli a1, 1, e8,m1,ta,mu +; CHECK-NEXT: vslidedown.vi v26, v25, 14 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 15(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 15 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 14(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 12 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 13(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 13 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 12(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 10 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 11(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 11 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 10(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 8 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 9(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 9 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 8(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 6 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 7(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 7 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 6(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 4 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 5(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 5 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 4(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 2 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 3(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 3 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 2(sp) +; CHECK-NEXT: vslidedown.vi v25, v25, 1 +; CHECK-NEXT: vmv.x.s a1, v25 +; CHECK-NEXT: sb a1, 0(sp) +; CHECK-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; CHECK-NEXT: vle8.v v25, (sp) +; CHECK-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; CHECK-NEXT: vse16.v v25, (a0) +; CHECK-NEXT: addi sp, sp, 16 +; CHECK-NEXT: ret + %a = load <8 x i16>, <8 x i16>* %x + %b = load <8 x i16>, <8 x i16>* %y + %c = call <8 x i16> @llvm.bswap.v8i16(<8 x i16> %a) + store <8 x i16> %c, <8 x i16>* %x + ret void +} +declare <8 x i16> @llvm.bswap.v8i16(<8 x i16>) + +define void @bswap_v4i32(<4 x i32>* %x, <4 x i32>* %y) { +; CHECK-LABEL: bswap_v4i32: +; CHECK: # %bb.0: +; CHECK-NEXT: addi sp, sp, -16 +; CHECK-NEXT: .cfi_def_cfa_offset 16 +; CHECK-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; CHECK-NEXT: vle32.v v25, (a0) +; CHECK-NEXT: vsetvli zero, zero, e8,m1,ta,mu +; CHECK-NEXT: vmv.x.s a1, v25 +; CHECK-NEXT: sb a1, 3(sp) +; CHECK-NEXT: vsetivli a1, 1, e8,m1,ta,mu +; CHECK-NEXT: vslidedown.vi v26, v25, 12 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 15(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 13 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 14(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 14 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 13(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 15 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 12(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 8 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 11(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 9 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 10(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 10 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 9(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 11 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 8(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 4 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 7(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 5 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 6(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 6 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 5(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 7 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 4(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 1 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 2(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 2 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 1(sp) +; CHECK-NEXT: vslidedown.vi v25, v25, 3 +; CHECK-NEXT: vmv.x.s a1, v25 +; CHECK-NEXT: sb a1, 0(sp) +; CHECK-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; CHECK-NEXT: vle8.v v25, (sp) +; CHECK-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; CHECK-NEXT: vse32.v v25, (a0) +; CHECK-NEXT: addi sp, sp, 16 +; CHECK-NEXT: ret + %a = load <4 x i32>, <4 x i32>* %x + %b = load <4 x i32>, <4 x i32>* %y + %c = call <4 x i32> @llvm.bswap.v4i32(<4 x i32> %a) + store <4 x i32> %c, <4 x i32>* %x + ret void +} +declare <4 x i32> @llvm.bswap.v4i32(<4 x i32>) + +define void @bswap_v2i64(<2 x i64>* %x, <2 x i64>* %y) { +; CHECK-LABEL: bswap_v2i64: +; CHECK: # %bb.0: +; CHECK-NEXT: addi sp, sp, -16 +; CHECK-NEXT: .cfi_def_cfa_offset 16 +; CHECK-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; CHECK-NEXT: vle64.v v25, (a0) +; CHECK-NEXT: vsetvli zero, zero, e8,m1,ta,mu +; CHECK-NEXT: vmv.x.s a1, v25 +; CHECK-NEXT: sb a1, 7(sp) +; CHECK-NEXT: vsetivli a1, 1, e8,m1,ta,mu +; CHECK-NEXT: vslidedown.vi v26, v25, 8 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 15(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 9 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 14(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 10 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 13(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 11 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 12(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 12 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 11(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 13 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 10(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 14 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 9(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 15 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 8(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 1 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 6(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 2 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 5(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 3 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 4(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 4 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 3(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 5 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 2(sp) +; CHECK-NEXT: vslidedown.vi v26, v25, 6 +; CHECK-NEXT: vmv.x.s a1, v26 +; CHECK-NEXT: sb a1, 1(sp) +; CHECK-NEXT: vslidedown.vi v25, v25, 7 +; CHECK-NEXT: vmv.x.s a1, v25 +; CHECK-NEXT: sb a1, 0(sp) +; CHECK-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; CHECK-NEXT: vle8.v v25, (sp) +; CHECK-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; CHECK-NEXT: vse64.v v25, (a0) +; CHECK-NEXT: addi sp, sp, 16 +; CHECK-NEXT: ret + %a = load <2 x i64>, <2 x i64>* %x + %b = load <2 x i64>, <2 x i64>* %y + %c = call <2 x i64> @llvm.bswap.v2i64(<2 x i64> %a) + store <2 x i64> %c, <2 x i64>* %x + ret void +} +declare <2 x i64> @llvm.bswap.v2i64(<2 x i64>) + +define void @bswap_v16i16(<16 x i16>* %x, <16 x i16>* %y) { +; LMULMAX2-RV32-LABEL: bswap_v16i16: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle16.v v26, (a0) +; LMULMAX2-RV32-NEXT: vsetvli zero, zero, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: sb a1, 1(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 31(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 30(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 29(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 28(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 27(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 26(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 25(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 24(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 23(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 22(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 21(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 20(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 19(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 18(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 17(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 16(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 15(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 13(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 11(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 9(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 7(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 5(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 3(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 2(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: sb a1, 0(sp) +; LMULMAX2-RV32-NEXT: addi a1, zero, 32 +; LMULMAX2-RV32-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV32-NEXT: vse16.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: bswap_v16i16: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle16.v v26, (a0) +; LMULMAX2-RV64-NEXT: vsetvli zero, zero, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: sb a1, 1(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 31(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 30(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 29(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 28(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 27(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 26(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 25(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 23(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 22(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 21(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 20(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 19(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 18(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 17(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 15(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 13(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 11(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 9(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 7(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 5(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 3(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 2(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: sb a1, 0(sp) +; LMULMAX2-RV64-NEXT: addi a1, zero, 32 +; LMULMAX2-RV64-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV64-NEXT: vse16.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-LABEL: bswap_v16i16: +; LMULMAX1: # %bb.0: +; LMULMAX1-NEXT: addi sp, sp, -32 +; LMULMAX1-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-NEXT: addi a1, a0, 16 +; LMULMAX1-NEXT: vle16.v v26, (a1) +; LMULMAX1-NEXT: vle16.v v25, (a0) +; LMULMAX1-NEXT: vsetvli zero, zero, e8,m1,ta,mu +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 1(sp) +; LMULMAX1-NEXT: vsetivli a2, 1, e8,m1,ta,mu +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 14 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 15(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 15 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 14(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 12 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 13(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 13 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 12(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 10 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 11(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 11 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 10(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 8 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 9(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 9 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 8(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 7(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 7 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 6(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 5(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 4(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 3(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 2(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 0(sp) +; LMULMAX1-NEXT: vmv.x.s a2, v25 +; LMULMAX1-NEXT: sb a2, 17(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 31(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 30(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 29(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 28(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 27(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 26(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 25(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 24(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 23(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 22(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 21(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 20(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 19(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 18(sp) +; LMULMAX1-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-NEXT: vmv.x.s a2, v25 +; LMULMAX1-NEXT: sb a2, 16(sp) +; LMULMAX1-NEXT: vsetivli a2, 16, e8,m1,ta,mu +; LMULMAX1-NEXT: addi a2, sp, 16 +; LMULMAX1-NEXT: vle8.v v25, (a2) +; LMULMAX1-NEXT: vle8.v v26, (sp) +; LMULMAX1-NEXT: vsetivli a2, 8, e16,m1,ta,mu +; LMULMAX1-NEXT: vse16.v v25, (a0) +; LMULMAX1-NEXT: vse16.v v26, (a1) +; LMULMAX1-NEXT: addi sp, sp, 32 +; LMULMAX1-NEXT: ret + %a = load <16 x i16>, <16 x i16>* %x + %b = load <16 x i16>, <16 x i16>* %y + %c = call <16 x i16> @llvm.bswap.v16i16(<16 x i16> %a) + store <16 x i16> %c, <16 x i16>* %x + ret void +} +declare <16 x i16> @llvm.bswap.v16i16(<16 x i16>) + +define void @bswap_v8i32(<8 x i32>* %x, <8 x i32>* %y) { +; LMULMAX2-RV32-LABEL: bswap_v8i32: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v26, (a0) +; LMULMAX2-RV32-NEXT: vsetvli zero, zero, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: sb a1, 3(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 31(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 30(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 29(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 28(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 27(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 26(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 25(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 24(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 23(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 22(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 21(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 20(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 19(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 18(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 17(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 16(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 15(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 13(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 11(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 9(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 7(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 5(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 2(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 1(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: sb a1, 0(sp) +; LMULMAX2-RV32-NEXT: addi a1, zero, 32 +; LMULMAX2-RV32-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vse32.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: bswap_v8i32: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle32.v v26, (a0) +; LMULMAX2-RV64-NEXT: vsetvli zero, zero, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: sb a1, 3(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 31(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 30(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 29(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 28(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 27(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 26(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 25(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 23(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 22(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 21(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 20(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 19(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 18(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 17(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 15(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 13(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 11(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 9(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 7(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 5(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 2(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 1(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: sb a1, 0(sp) +; LMULMAX2-RV64-NEXT: addi a1, zero, 32 +; LMULMAX2-RV64-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV64-NEXT: vse32.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-LABEL: bswap_v8i32: +; LMULMAX1: # %bb.0: +; LMULMAX1-NEXT: addi sp, sp, -32 +; LMULMAX1-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-NEXT: addi a1, a0, 16 +; LMULMAX1-NEXT: vle32.v v26, (a1) +; LMULMAX1-NEXT: vle32.v v25, (a0) +; LMULMAX1-NEXT: vsetvli zero, zero, e8,m1,ta,mu +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 3(sp) +; LMULMAX1-NEXT: vsetivli a2, 1, e8,m1,ta,mu +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 12 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 15(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 13 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 14(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 14 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 13(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 15 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 12(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 8 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 11(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 9 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 10(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 10 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 9(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 11 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 8(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 7(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 6(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 5(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 7 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 4(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 1 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 2(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 1(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v26, 3 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 0(sp) +; LMULMAX1-NEXT: vmv.x.s a2, v25 +; LMULMAX1-NEXT: sb a2, 19(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 31(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 30(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 29(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 28(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 27(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 26(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 25(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 24(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 23(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 22(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 21(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 20(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 18(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 17(sp) +; LMULMAX1-NEXT: vslidedown.vi v25, v25, 3 +; LMULMAX1-NEXT: vmv.x.s a2, v25 +; LMULMAX1-NEXT: sb a2, 16(sp) +; LMULMAX1-NEXT: vsetivli a2, 16, e8,m1,ta,mu +; LMULMAX1-NEXT: addi a2, sp, 16 +; LMULMAX1-NEXT: vle8.v v25, (a2) +; LMULMAX1-NEXT: vle8.v v26, (sp) +; LMULMAX1-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX1-NEXT: vse32.v v25, (a0) +; LMULMAX1-NEXT: vse32.v v26, (a1) +; LMULMAX1-NEXT: addi sp, sp, 32 +; LMULMAX1-NEXT: ret + %a = load <8 x i32>, <8 x i32>* %x + %b = load <8 x i32>, <8 x i32>* %y + %c = call <8 x i32> @llvm.bswap.v8i32(<8 x i32> %a) + store <8 x i32> %c, <8 x i32>* %x + ret void +} +declare <8 x i32> @llvm.bswap.v8i32(<8 x i32>) + +define void @bswap_v4i64(<4 x i64>* %x, <4 x i64>* %y) { +; LMULMAX2-RV32-LABEL: bswap_v4i64: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle64.v v26, (a0) +; LMULMAX2-RV32-NEXT: vsetvli zero, zero, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: sb a1, 7(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 31(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 30(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 29(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 28(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 27(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 26(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 25(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 24(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 23(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 22(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 21(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 20(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 19(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 18(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 17(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 16(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 15(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 13(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 11(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 9(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 5(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 3(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 2(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: sb a1, 1(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: sb a1, 0(sp) +; LMULMAX2-RV32-NEXT: addi a1, zero, 32 +; LMULMAX2-RV32-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vse64.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: bswap_v4i64: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle64.v v26, (a0) +; LMULMAX2-RV64-NEXT: vsetvli zero, zero, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: sb a1, 7(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 31(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 30(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 29(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 28(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 27(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 26(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 25(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 23(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 22(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 21(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 20(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 19(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 18(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 17(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 15(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 13(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 11(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 9(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 5(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 3(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 2(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: sb a1, 1(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v26, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: sb a1, 0(sp) +; LMULMAX2-RV64-NEXT: addi a1, zero, 32 +; LMULMAX2-RV64-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV64-NEXT: vse64.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-LABEL: bswap_v4i64: +; LMULMAX1: # %bb.0: +; LMULMAX1-NEXT: addi sp, sp, -32 +; LMULMAX1-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-NEXT: addi a1, a0, 16 +; LMULMAX1-NEXT: vle64.v v26, (a1) +; LMULMAX1-NEXT: vle64.v v25, (a0) +; LMULMAX1-NEXT: vsetvli zero, zero, e8,m1,ta,mu +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 7(sp) +; LMULMAX1-NEXT: vsetivli a2, 1, e8,m1,ta,mu +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 8 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 15(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 9 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 14(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 10 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 13(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 11 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 12(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 12 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 11(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 13 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 10(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 14 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 9(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 15 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 8(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 1 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 6(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 5(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 4(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 3(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 2(sp) +; LMULMAX1-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-NEXT: vmv.x.s a2, v27 +; LMULMAX1-NEXT: sb a2, 1(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v26, 7 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 0(sp) +; LMULMAX1-NEXT: vmv.x.s a2, v25 +; LMULMAX1-NEXT: sb a2, 23(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 31(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 30(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 29(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 28(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 27(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 26(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 25(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 24(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 22(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 21(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 20(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 19(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 18(sp) +; LMULMAX1-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-NEXT: vmv.x.s a2, v26 +; LMULMAX1-NEXT: sb a2, 17(sp) +; LMULMAX1-NEXT: vslidedown.vi v25, v25, 7 +; LMULMAX1-NEXT: vmv.x.s a2, v25 +; LMULMAX1-NEXT: sb a2, 16(sp) +; LMULMAX1-NEXT: vsetivli a2, 16, e8,m1,ta,mu +; LMULMAX1-NEXT: addi a2, sp, 16 +; LMULMAX1-NEXT: vle8.v v25, (a2) +; LMULMAX1-NEXT: vle8.v v26, (sp) +; LMULMAX1-NEXT: vsetivli a2, 2, e64,m1,ta,mu +; LMULMAX1-NEXT: vse64.v v25, (a0) +; LMULMAX1-NEXT: vse64.v v26, (a1) +; LMULMAX1-NEXT: addi sp, sp, 32 +; LMULMAX1-NEXT: ret + %a = load <4 x i64>, <4 x i64>* %x + %b = load <4 x i64>, <4 x i64>* %y + %c = call <4 x i64> @llvm.bswap.v4i64(<4 x i64> %a) + store <4 x i64> %c, <4 x i64>* %x + ret void +} +declare <4 x i64> @llvm.bswap.v4i64(<4 x i64>) diff --git a/test/CodeGen/RISCV/rvv/fixed-vectors-ctlz.ll b/test/CodeGen/RISCV/rvv/fixed-vectors-ctlz.ll new file mode 100644 index 00000000000..d173aa8bf1c --- /dev/null +++ b/test/CodeGen/RISCV/rvv/fixed-vectors-ctlz.ll @@ -0,0 +1,11960 @@ +; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py +; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX2-RV32 +; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX2-RV64 +; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX1-RV32 +; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX1-RV64 + +define void @ctlz_v16i8(<16 x i8>* %x, <16 x i8>* %y) { +; LMULMAX2-RV32-LABEL: ctlz_v16i8: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -16 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v25, (a0) +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a2, a1 +; LMULMAX2-RV32-NEXT: srli a3, a2, 1 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a6, a1, 1365 +; LMULMAX2-RV32-NEXT: and a3, a3, a6 +; LMULMAX2-RV32-NEXT: sub a3, a2, a3 +; LMULMAX2-RV32-NEXT: lui a2, 209715 +; LMULMAX2-RV32-NEXT: addi a2, a2, 819 +; LMULMAX2-RV32-NEXT: and a4, a3, a2 +; LMULMAX2-RV32-NEXT: srli a3, a3, 2 +; LMULMAX2-RV32-NEXT: and a3, a3, a2 +; LMULMAX2-RV32-NEXT: add a3, a4, a3 +; LMULMAX2-RV32-NEXT: srli a4, a3, 4 +; LMULMAX2-RV32-NEXT: add a4, a3, a4 +; LMULMAX2-RV32-NEXT: lui a3, 61681 +; LMULMAX2-RV32-NEXT: addi a3, a3, -241 +; LMULMAX2-RV32-NEXT: and a5, a4, a3 +; LMULMAX2-RV32-NEXT: lui a4, 4112 +; LMULMAX2-RV32-NEXT: addi a4, a4, 257 +; LMULMAX2-RV32-NEXT: mul a5, a5, a4 +; LMULMAX2-RV32-NEXT: srli a5, a5, 24 +; LMULMAX2-RV32-NEXT: addi a5, a5, -24 +; LMULMAX2-RV32-NEXT: sb a5, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a5, 1, e8,m1,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v26 +; LMULMAX2-RV32-NEXT: andi a5, a5, 255 +; LMULMAX2-RV32-NEXT: srli a1, a5, 1 +; LMULMAX2-RV32-NEXT: or a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 15(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 13(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 11(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 9(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 7(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 5(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 3(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 2(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 1(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v25, (sp) +; LMULMAX2-RV32-NEXT: vse8.v v25, (a0) +; LMULMAX2-RV32-NEXT: addi sp, sp, 16 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctlz_v16i8: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -16 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v25, (a0) +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a2, a1 +; LMULMAX2-RV64-NEXT: srli a3, a2, 1 +; LMULMAX2-RV64-NEXT: lui a1, 21845 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a6, a1, 1365 +; LMULMAX2-RV64-NEXT: and a3, a3, a6 +; LMULMAX2-RV64-NEXT: sub a3, a2, a3 +; LMULMAX2-RV64-NEXT: lui a2, 13107 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: and a4, a3, a2 +; LMULMAX2-RV64-NEXT: srli a3, a3, 2 +; LMULMAX2-RV64-NEXT: and a3, a3, a2 +; LMULMAX2-RV64-NEXT: add a3, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a3, 4 +; LMULMAX2-RV64-NEXT: add a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 3855 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, -241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, -241 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: lui a4, 4112 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 257 +; LMULMAX2-RV64-NEXT: slli a4, a4, 16 +; LMULMAX2-RV64-NEXT: addi a4, a4, 257 +; LMULMAX2-RV64-NEXT: slli a4, a4, 16 +; LMULMAX2-RV64-NEXT: addi a4, a4, 257 +; LMULMAX2-RV64-NEXT: mul a5, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a5, 56 +; LMULMAX2-RV64-NEXT: addi a5, a5, -56 +; LMULMAX2-RV64-NEXT: sb a5, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a5, 1, e8,m1,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX2-RV64-NEXT: vmv.x.s a5, v26 +; LMULMAX2-RV64-NEXT: andi a5, a5, 255 +; LMULMAX2-RV64-NEXT: srli a1, a5, 1 +; LMULMAX2-RV64-NEXT: or a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 15(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 13(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 11(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 9(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 7(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 5(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 3(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 2(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 1(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v25, (sp) +; LMULMAX2-RV64-NEXT: vse8.v v25, (a0) +; LMULMAX2-RV64-NEXT: addi sp, sp, 16 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctlz_v16i8: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -16 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV32-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle8.v v25, (a0) +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a2, a1 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: lui a1, 349525 +; LMULMAX1-RV32-NEXT: addi a6, a1, 1365 +; LMULMAX1-RV32-NEXT: and a3, a3, a6 +; LMULMAX1-RV32-NEXT: sub a3, a2, a3 +; LMULMAX1-RV32-NEXT: lui a2, 209715 +; LMULMAX1-RV32-NEXT: addi a2, a2, 819 +; LMULMAX1-RV32-NEXT: and a4, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a3, 2 +; LMULMAX1-RV32-NEXT: and a3, a3, a2 +; LMULMAX1-RV32-NEXT: add a3, a4, a3 +; LMULMAX1-RV32-NEXT: srli a4, a3, 4 +; LMULMAX1-RV32-NEXT: add a4, a3, a4 +; LMULMAX1-RV32-NEXT: lui a3, 61681 +; LMULMAX1-RV32-NEXT: addi a3, a3, -241 +; LMULMAX1-RV32-NEXT: and a5, a4, a3 +; LMULMAX1-RV32-NEXT: lui a4, 4112 +; LMULMAX1-RV32-NEXT: addi a4, a4, 257 +; LMULMAX1-RV32-NEXT: mul a5, a5, a4 +; LMULMAX1-RV32-NEXT: srli a5, a5, 24 +; LMULMAX1-RV32-NEXT: addi a5, a5, -24 +; LMULMAX1-RV32-NEXT: sb a5, 0(sp) +; LMULMAX1-RV32-NEXT: vsetivli a5, 1, e8,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-RV32-NEXT: vmv.x.s a5, v26 +; LMULMAX1-RV32-NEXT: andi a5, a5, 255 +; LMULMAX1-RV32-NEXT: srli a1, a5, 1 +; LMULMAX1-RV32-NEXT: or a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 15(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 14(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 13(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 12(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 11(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 10(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 9(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 8(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 7(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 6(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 5(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 4(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 3(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 2(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 1(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle8.v v25, (sp) +; LMULMAX1-RV32-NEXT: vse8.v v25, (a0) +; LMULMAX1-RV32-NEXT: addi sp, sp, 16 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctlz_v16i8: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -16 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV64-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle8.v v25, (a0) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a2, a1 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: lui a1, 21845 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a6, a1, 1365 +; LMULMAX1-RV64-NEXT: and a3, a3, a6 +; LMULMAX1-RV64-NEXT: sub a3, a2, a3 +; LMULMAX1-RV64-NEXT: lui a2, 13107 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: and a4, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a3, 2 +; LMULMAX1-RV64-NEXT: and a3, a3, a2 +; LMULMAX1-RV64-NEXT: add a3, a4, a3 +; LMULMAX1-RV64-NEXT: srli a4, a3, 4 +; LMULMAX1-RV64-NEXT: add a4, a3, a4 +; LMULMAX1-RV64-NEXT: lui a3, 3855 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 241 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, -241 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 241 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, -241 +; LMULMAX1-RV64-NEXT: and a5, a4, a3 +; LMULMAX1-RV64-NEXT: lui a4, 4112 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 257 +; LMULMAX1-RV64-NEXT: slli a4, a4, 16 +; LMULMAX1-RV64-NEXT: addi a4, a4, 257 +; LMULMAX1-RV64-NEXT: slli a4, a4, 16 +; LMULMAX1-RV64-NEXT: addi a4, a4, 257 +; LMULMAX1-RV64-NEXT: mul a5, a5, a4 +; LMULMAX1-RV64-NEXT: srli a5, a5, 56 +; LMULMAX1-RV64-NEXT: addi a5, a5, -56 +; LMULMAX1-RV64-NEXT: sb a5, 0(sp) +; LMULMAX1-RV64-NEXT: vsetivli a5, 1, e8,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-RV64-NEXT: vmv.x.s a5, v26 +; LMULMAX1-RV64-NEXT: andi a5, a5, 255 +; LMULMAX1-RV64-NEXT: srli a1, a5, 1 +; LMULMAX1-RV64-NEXT: or a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 15(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 14(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 13(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 12(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 11(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 10(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 9(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 8(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 7(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 6(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 5(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 4(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 3(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 2(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 1(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle8.v v25, (sp) +; LMULMAX1-RV64-NEXT: vse8.v v25, (a0) +; LMULMAX1-RV64-NEXT: addi sp, sp, 16 +; LMULMAX1-RV64-NEXT: ret + %a = load <16 x i8>, <16 x i8>* %x + %b = load <16 x i8>, <16 x i8>* %y + %c = call <16 x i8> @llvm.ctlz.v16i8(<16 x i8> %a, i1 false) + store <16 x i8> %c, <16 x i8>* %x + ret void +} +declare <16 x i8> @llvm.ctlz.v16i8(<16 x i8>, i1) + +define void @ctlz_v8i16(<8 x i16>* %x, <8 x i16>* %y) { +; LMULMAX2-RV32-LABEL: ctlz_v8i16: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -16 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle16.v v25, (a0) +; LMULMAX2-RV32-NEXT: vmv.x.s a2, v25 +; LMULMAX2-RV32-NEXT: lui a1, 16 +; LMULMAX2-RV32-NEXT: addi a6, a1, -1 +; LMULMAX2-RV32-NEXT: and a2, a2, a6 +; LMULMAX2-RV32-NEXT: srli a3, a2, 1 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: srli a3, a2, 2 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: srli a3, a2, 4 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: srli a3, a2, 8 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: srli a3, a2, 16 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: not a3, a2 +; LMULMAX2-RV32-NEXT: srli a4, a3, 1 +; LMULMAX2-RV32-NEXT: lui a2, 349525 +; LMULMAX2-RV32-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV32-NEXT: and a4, a4, a7 +; LMULMAX2-RV32-NEXT: sub a4, a3, a4 +; LMULMAX2-RV32-NEXT: lui a3, 209715 +; LMULMAX2-RV32-NEXT: addi a3, a3, 819 +; LMULMAX2-RV32-NEXT: and a5, a4, a3 +; LMULMAX2-RV32-NEXT: srli a4, a4, 2 +; LMULMAX2-RV32-NEXT: and a4, a4, a3 +; LMULMAX2-RV32-NEXT: add a4, a5, a4 +; LMULMAX2-RV32-NEXT: srli a5, a4, 4 +; LMULMAX2-RV32-NEXT: add a5, a4, a5 +; LMULMAX2-RV32-NEXT: lui a4, 61681 +; LMULMAX2-RV32-NEXT: addi a4, a4, -241 +; LMULMAX2-RV32-NEXT: and a1, a5, a4 +; LMULMAX2-RV32-NEXT: lui a5, 4112 +; LMULMAX2-RV32-NEXT: addi a5, a5, 257 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e16,m1,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 2(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle16.v v25, (sp) +; LMULMAX2-RV32-NEXT: vse16.v v25, (a0) +; LMULMAX2-RV32-NEXT: addi sp, sp, 16 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctlz_v8i16: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -16 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle16.v v25, (a0) +; LMULMAX2-RV64-NEXT: vmv.x.s a2, v25 +; LMULMAX2-RV64-NEXT: lui a1, 16 +; LMULMAX2-RV64-NEXT: addiw a6, a1, -1 +; LMULMAX2-RV64-NEXT: and a2, a2, a6 +; LMULMAX2-RV64-NEXT: srli a3, a2, 1 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 2 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 4 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 8 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 16 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 32 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: not a3, a2 +; LMULMAX2-RV64-NEXT: srli a4, a3, 1 +; LMULMAX2-RV64-NEXT: lui a2, 21845 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV64-NEXT: and a4, a4, a7 +; LMULMAX2-RV64-NEXT: sub a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 13107 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a4, 2 +; LMULMAX2-RV64-NEXT: and a4, a4, a3 +; LMULMAX2-RV64-NEXT: add a4, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a4, 4 +; LMULMAX2-RV64-NEXT: add a5, a4, a5 +; LMULMAX2-RV64-NEXT: lui a4, 3855 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: and a1, a5, a4 +; LMULMAX2-RV64-NEXT: lui a5, 4112 +; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e16,m1,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 2(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle16.v v25, (sp) +; LMULMAX2-RV64-NEXT: vse16.v v25, (a0) +; LMULMAX2-RV64-NEXT: addi sp, sp, 16 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctlz_v8i16: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -16 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle16.v v25, (a0) +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV32-NEXT: lui a1, 16 +; LMULMAX1-RV32-NEXT: addi a6, a1, -1 +; LMULMAX1-RV32-NEXT: and a2, a2, a6 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a3, a2 +; LMULMAX1-RV32-NEXT: srli a4, a3, 1 +; LMULMAX1-RV32-NEXT: lui a2, 349525 +; LMULMAX1-RV32-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV32-NEXT: and a4, a4, a7 +; LMULMAX1-RV32-NEXT: sub a4, a3, a4 +; LMULMAX1-RV32-NEXT: lui a3, 209715 +; LMULMAX1-RV32-NEXT: addi a3, a3, 819 +; LMULMAX1-RV32-NEXT: and a5, a4, a3 +; LMULMAX1-RV32-NEXT: srli a4, a4, 2 +; LMULMAX1-RV32-NEXT: and a4, a4, a3 +; LMULMAX1-RV32-NEXT: add a4, a5, a4 +; LMULMAX1-RV32-NEXT: srli a5, a4, 4 +; LMULMAX1-RV32-NEXT: add a5, a4, a5 +; LMULMAX1-RV32-NEXT: lui a4, 61681 +; LMULMAX1-RV32-NEXT: addi a4, a4, -241 +; LMULMAX1-RV32-NEXT: and a1, a5, a4 +; LMULMAX1-RV32-NEXT: lui a5, 4112 +; LMULMAX1-RV32-NEXT: addi a5, a5, 257 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -16 +; LMULMAX1-RV32-NEXT: sh a1, 0(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: and a1, a1, a6 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -16 +; LMULMAX1-RV32-NEXT: sh a1, 14(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: and a1, a1, a6 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -16 +; LMULMAX1-RV32-NEXT: sh a1, 12(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: and a1, a1, a6 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -16 +; LMULMAX1-RV32-NEXT: sh a1, 10(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: and a1, a1, a6 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -16 +; LMULMAX1-RV32-NEXT: sh a1, 8(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: and a1, a1, a6 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -16 +; LMULMAX1-RV32-NEXT: sh a1, 6(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: and a1, a1, a6 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -16 +; LMULMAX1-RV32-NEXT: sh a1, 4(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: and a1, a1, a6 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -16 +; LMULMAX1-RV32-NEXT: sh a1, 2(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle16.v v25, (sp) +; LMULMAX1-RV32-NEXT: vse16.v v25, (a0) +; LMULMAX1-RV32-NEXT: addi sp, sp, 16 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctlz_v8i16: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -16 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle16.v v25, (a0) +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV64-NEXT: lui a1, 16 +; LMULMAX1-RV64-NEXT: addiw a6, a1, -1 +; LMULMAX1-RV64-NEXT: and a2, a2, a6 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a3, a2 +; LMULMAX1-RV64-NEXT: srli a4, a3, 1 +; LMULMAX1-RV64-NEXT: lui a2, 21845 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a4, a3, a4 +; LMULMAX1-RV64-NEXT: lui a3, 13107 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: and a5, a4, a3 +; LMULMAX1-RV64-NEXT: srli a4, a4, 2 +; LMULMAX1-RV64-NEXT: and a4, a4, a3 +; LMULMAX1-RV64-NEXT: add a4, a5, a4 +; LMULMAX1-RV64-NEXT: srli a5, a4, 4 +; LMULMAX1-RV64-NEXT: add a5, a4, a5 +; LMULMAX1-RV64-NEXT: lui a4, 3855 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: and a1, a5, a4 +; LMULMAX1-RV64-NEXT: lui a5, 4112 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -48 +; LMULMAX1-RV64-NEXT: sh a1, 0(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 1, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: and a1, a1, a6 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -48 +; LMULMAX1-RV64-NEXT: sh a1, 14(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: and a1, a1, a6 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -48 +; LMULMAX1-RV64-NEXT: sh a1, 12(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: and a1, a1, a6 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -48 +; LMULMAX1-RV64-NEXT: sh a1, 10(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: and a1, a1, a6 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -48 +; LMULMAX1-RV64-NEXT: sh a1, 8(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: and a1, a1, a6 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -48 +; LMULMAX1-RV64-NEXT: sh a1, 6(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: and a1, a1, a6 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -48 +; LMULMAX1-RV64-NEXT: sh a1, 4(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: and a1, a1, a6 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -48 +; LMULMAX1-RV64-NEXT: sh a1, 2(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle16.v v25, (sp) +; LMULMAX1-RV64-NEXT: vse16.v v25, (a0) +; LMULMAX1-RV64-NEXT: addi sp, sp, 16 +; LMULMAX1-RV64-NEXT: ret + %a = load <8 x i16>, <8 x i16>* %x + %b = load <8 x i16>, <8 x i16>* %y + %c = call <8 x i16> @llvm.ctlz.v8i16(<8 x i16> %a, i1 false) + store <8 x i16> %c, <8 x i16>* %x + ret void +} +declare <8 x i16> @llvm.ctlz.v8i16(<8 x i16>, i1) + +define void @ctlz_v4i32(<4 x i32>* %x, <4 x i32>* %y) { +; LMULMAX2-RV32-LABEL: ctlz_v4i32: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -16 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v25, (a0) +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a2, a1 +; LMULMAX2-RV32-NEXT: srli a3, a2, 1 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a6, a1, 1365 +; LMULMAX2-RV32-NEXT: and a3, a3, a6 +; LMULMAX2-RV32-NEXT: sub a3, a2, a3 +; LMULMAX2-RV32-NEXT: lui a2, 209715 +; LMULMAX2-RV32-NEXT: addi a2, a2, 819 +; LMULMAX2-RV32-NEXT: and a4, a3, a2 +; LMULMAX2-RV32-NEXT: srli a3, a3, 2 +; LMULMAX2-RV32-NEXT: and a3, a3, a2 +; LMULMAX2-RV32-NEXT: add a3, a4, a3 +; LMULMAX2-RV32-NEXT: srli a4, a3, 4 +; LMULMAX2-RV32-NEXT: add a4, a3, a4 +; LMULMAX2-RV32-NEXT: lui a3, 61681 +; LMULMAX2-RV32-NEXT: addi a3, a3, -241 +; LMULMAX2-RV32-NEXT: and a5, a4, a3 +; LMULMAX2-RV32-NEXT: lui a4, 4112 +; LMULMAX2-RV32-NEXT: addi a4, a4, 257 +; LMULMAX2-RV32-NEXT: mul a5, a5, a4 +; LMULMAX2-RV32-NEXT: srli a5, a5, 24 +; LMULMAX2-RV32-NEXT: sw a5, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a5, 1, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v26 +; LMULMAX2-RV32-NEXT: srli a1, a5, 1 +; LMULMAX2-RV32-NEXT: or a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 4(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v25, (sp) +; LMULMAX2-RV32-NEXT: vse32.v v25, (a0) +; LMULMAX2-RV32-NEXT: addi sp, sp, 16 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctlz_v4i32: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -16 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle32.v v25, (a0) +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV64-NEXT: srliw a2, a1, 1 +; LMULMAX2-RV64-NEXT: slli a1, a1, 32 +; LMULMAX2-RV64-NEXT: srli a1, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a2, a1 +; LMULMAX2-RV64-NEXT: srli a3, a2, 1 +; LMULMAX2-RV64-NEXT: lui a1, 21845 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a6, a1, 1365 +; LMULMAX2-RV64-NEXT: and a3, a3, a6 +; LMULMAX2-RV64-NEXT: sub a3, a2, a3 +; LMULMAX2-RV64-NEXT: lui a2, 13107 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: and a4, a3, a2 +; LMULMAX2-RV64-NEXT: srli a3, a3, 2 +; LMULMAX2-RV64-NEXT: and a3, a3, a2 +; LMULMAX2-RV64-NEXT: add a3, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a3, 4 +; LMULMAX2-RV64-NEXT: add a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 3855 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, -241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, -241 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: lui a4, 4112 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 257 +; LMULMAX2-RV64-NEXT: slli a4, a4, 16 +; LMULMAX2-RV64-NEXT: addi a4, a4, 257 +; LMULMAX2-RV64-NEXT: slli a4, a4, 16 +; LMULMAX2-RV64-NEXT: addi a4, a4, 257 +; LMULMAX2-RV64-NEXT: mul a5, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a5, 56 +; LMULMAX2-RV64-NEXT: addi a5, a5, -32 +; LMULMAX2-RV64-NEXT: sw a5, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a5, 1, e32,m1,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a5, v26 +; LMULMAX2-RV64-NEXT: srliw a1, a5, 1 +; LMULMAX2-RV64-NEXT: slli a5, a5, 32 +; LMULMAX2-RV64-NEXT: srli a5, a5, 32 +; LMULMAX2-RV64-NEXT: or a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -32 +; LMULMAX2-RV64-NEXT: sw a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 +; LMULMAX2-RV64-NEXT: slli a1, a1, 32 +; LMULMAX2-RV64-NEXT: srli a1, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -32 +; LMULMAX2-RV64-NEXT: sw a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 +; LMULMAX2-RV64-NEXT: slli a1, a1, 32 +; LMULMAX2-RV64-NEXT: srli a1, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -32 +; LMULMAX2-RV64-NEXT: sw a1, 4(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle32.v v25, (sp) +; LMULMAX2-RV64-NEXT: vse32.v v25, (a0) +; LMULMAX2-RV64-NEXT: addi sp, sp, 16 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctlz_v4i32: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -16 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v25, (a0) +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a2, a1 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: lui a1, 349525 +; LMULMAX1-RV32-NEXT: addi a6, a1, 1365 +; LMULMAX1-RV32-NEXT: and a3, a3, a6 +; LMULMAX1-RV32-NEXT: sub a3, a2, a3 +; LMULMAX1-RV32-NEXT: lui a2, 209715 +; LMULMAX1-RV32-NEXT: addi a2, a2, 819 +; LMULMAX1-RV32-NEXT: and a4, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a3, 2 +; LMULMAX1-RV32-NEXT: and a3, a3, a2 +; LMULMAX1-RV32-NEXT: add a3, a4, a3 +; LMULMAX1-RV32-NEXT: srli a4, a3, 4 +; LMULMAX1-RV32-NEXT: add a4, a3, a4 +; LMULMAX1-RV32-NEXT: lui a3, 61681 +; LMULMAX1-RV32-NEXT: addi a3, a3, -241 +; LMULMAX1-RV32-NEXT: and a5, a4, a3 +; LMULMAX1-RV32-NEXT: lui a4, 4112 +; LMULMAX1-RV32-NEXT: addi a4, a4, 257 +; LMULMAX1-RV32-NEXT: mul a5, a5, a4 +; LMULMAX1-RV32-NEXT: srli a5, a5, 24 +; LMULMAX1-RV32-NEXT: sw a5, 0(sp) +; LMULMAX1-RV32-NEXT: vsetivli a5, 1, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a5, v26 +; LMULMAX1-RV32-NEXT: srli a1, a5, 1 +; LMULMAX1-RV32-NEXT: or a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 12(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 8(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 4(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v25, (sp) +; LMULMAX1-RV32-NEXT: vse32.v v25, (a0) +; LMULMAX1-RV32-NEXT: addi sp, sp, 16 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctlz_v4i32: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -16 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle32.v v25, (a0) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 +; LMULMAX1-RV64-NEXT: slli a1, a1, 32 +; LMULMAX1-RV64-NEXT: srli a1, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a2, a1 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: lui a1, 21845 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a6, a1, 1365 +; LMULMAX1-RV64-NEXT: and a3, a3, a6 +; LMULMAX1-RV64-NEXT: sub a3, a2, a3 +; LMULMAX1-RV64-NEXT: lui a2, 13107 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: and a4, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a3, 2 +; LMULMAX1-RV64-NEXT: and a3, a3, a2 +; LMULMAX1-RV64-NEXT: add a3, a4, a3 +; LMULMAX1-RV64-NEXT: srli a4, a3, 4 +; LMULMAX1-RV64-NEXT: add a4, a3, a4 +; LMULMAX1-RV64-NEXT: lui a3, 3855 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 241 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, -241 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 241 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, -241 +; LMULMAX1-RV64-NEXT: and a5, a4, a3 +; LMULMAX1-RV64-NEXT: lui a4, 4112 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 257 +; LMULMAX1-RV64-NEXT: slli a4, a4, 16 +; LMULMAX1-RV64-NEXT: addi a4, a4, 257 +; LMULMAX1-RV64-NEXT: slli a4, a4, 16 +; LMULMAX1-RV64-NEXT: addi a4, a4, 257 +; LMULMAX1-RV64-NEXT: mul a5, a5, a4 +; LMULMAX1-RV64-NEXT: srli a5, a5, 56 +; LMULMAX1-RV64-NEXT: addi a5, a5, -32 +; LMULMAX1-RV64-NEXT: sw a5, 0(sp) +; LMULMAX1-RV64-NEXT: vsetivli a5, 1, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a5, v26 +; LMULMAX1-RV64-NEXT: srliw a1, a5, 1 +; LMULMAX1-RV64-NEXT: slli a5, a5, 32 +; LMULMAX1-RV64-NEXT: srli a5, a5, 32 +; LMULMAX1-RV64-NEXT: or a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -32 +; LMULMAX1-RV64-NEXT: sw a1, 12(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: srliw a5, a1, 1 +; LMULMAX1-RV64-NEXT: slli a1, a1, 32 +; LMULMAX1-RV64-NEXT: srli a1, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -32 +; LMULMAX1-RV64-NEXT: sw a1, 8(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: srliw a5, a1, 1 +; LMULMAX1-RV64-NEXT: slli a1, a1, 32 +; LMULMAX1-RV64-NEXT: srli a1, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a5 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -32 +; LMULMAX1-RV64-NEXT: sw a1, 4(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle32.v v25, (sp) +; LMULMAX1-RV64-NEXT: vse32.v v25, (a0) +; LMULMAX1-RV64-NEXT: addi sp, sp, 16 +; LMULMAX1-RV64-NEXT: ret + %a = load <4 x i32>, <4 x i32>* %x + %b = load <4 x i32>, <4 x i32>* %y + %c = call <4 x i32> @llvm.ctlz.v4i32(<4 x i32> %a, i1 false) + store <4 x i32> %c, <4 x i32>* %x + ret void +} +declare <4 x i32> @llvm.ctlz.v4i32(<4 x i32>, i1) + +define void @ctlz_v2i64(<2 x i64>* %x, <2 x i64>* %y) { +; LMULMAX2-RV32-LABEL: ctlz_v2i64: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -16 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle64.v v25, (a0) +; LMULMAX2-RV32-NEXT: sw zero, 12(sp) +; LMULMAX2-RV32-NEXT: sw zero, 4(sp) +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v25 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a4, a1, 1365 +; LMULMAX2-RV32-NEXT: lui a1, 209715 +; LMULMAX2-RV32-NEXT: addi a3, a1, 819 +; LMULMAX2-RV32-NEXT: lui a1, 61681 +; LMULMAX2-RV32-NEXT: addi a7, a1, -241 +; LMULMAX2-RV32-NEXT: lui a2, 4112 +; LMULMAX2-RV32-NEXT: addi a6, zero, 32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vsrl.vx v26, v25, a6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: addi a2, a2, 257 +; LMULMAX2-RV32-NEXT: bnez a1, .LBB3_2 +; LMULMAX2-RV32-NEXT: # %bb.1: +; LMULMAX2-RV32-NEXT: srli a1, a5, 1 +; LMULMAX2-RV32-NEXT: or a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a5, a1, 32 +; LMULMAX2-RV32-NEXT: j .LBB3_3 +; LMULMAX2-RV32-NEXT: .LBB3_2: +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a5, a1, 24 +; LMULMAX2-RV32-NEXT: .LBB3_3: +; LMULMAX2-RV32-NEXT: sw a5, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX2-RV32-NEXT: vsrl.vx v26, v25, a6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v25 +; LMULMAX2-RV32-NEXT: bnez a1, .LBB3_5 +; LMULMAX2-RV32-NEXT: # %bb.4: +; LMULMAX2-RV32-NEXT: srli a1, a5, 1 +; LMULMAX2-RV32-NEXT: or a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a4, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a4 +; LMULMAX2-RV32-NEXT: and a4, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a4, a1 +; LMULMAX2-RV32-NEXT: srli a3, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, 32 +; LMULMAX2-RV32-NEXT: j .LBB3_6 +; LMULMAX2-RV32-NEXT: .LBB3_5: +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a4, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a4 +; LMULMAX2-RV32-NEXT: and a4, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a4, a1 +; LMULMAX2-RV32-NEXT: srli a3, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: .LBB3_6: +; LMULMAX2-RV32-NEXT: sw a1, 8(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v25, (sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vse64.v v25, (a0) +; LMULMAX2-RV32-NEXT: addi sp, sp, 16 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctlz_v2i64: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -16 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle64.v v25, (a0) +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: lui a3, 21845 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 1365 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a6, a3, 1365 +; LMULMAX2-RV64-NEXT: and a2, a2, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: lui a2, 13107 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: and a4, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a4, a1 +; LMULMAX2-RV64-NEXT: srli a4, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a4 +; LMULMAX2-RV64-NEXT: lui a4, 3855 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: lui a5, 4112 +; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sd a1, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV64-NEXT: srli a3, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a3 +; LMULMAX2-RV64-NEXT: srli a3, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a3 +; LMULMAX2-RV64-NEXT: srli a3, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a3 +; LMULMAX2-RV64-NEXT: srli a3, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a3 +; LMULMAX2-RV64-NEXT: srli a3, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a3 +; LMULMAX2-RV64-NEXT: srli a3, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a3 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a3, a1, 1 +; LMULMAX2-RV64-NEXT: and a3, a3, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a3 +; LMULMAX2-RV64-NEXT: and a3, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a3, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sd a1, 8(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle64.v v25, (sp) +; LMULMAX2-RV64-NEXT: vse64.v v25, (a0) +; LMULMAX2-RV64-NEXT: addi sp, sp, 16 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctlz_v2i64: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -16 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle64.v v25, (a0) +; LMULMAX1-RV32-NEXT: sw zero, 12(sp) +; LMULMAX1-RV32-NEXT: sw zero, 4(sp) +; LMULMAX1-RV32-NEXT: vmv.x.s a5, v25 +; LMULMAX1-RV32-NEXT: lui a1, 349525 +; LMULMAX1-RV32-NEXT: addi a4, a1, 1365 +; LMULMAX1-RV32-NEXT: lui a1, 209715 +; LMULMAX1-RV32-NEXT: addi a3, a1, 819 +; LMULMAX1-RV32-NEXT: lui a1, 61681 +; LMULMAX1-RV32-NEXT: addi a7, a1, -241 +; LMULMAX1-RV32-NEXT: lui a2, 4112 +; LMULMAX1-RV32-NEXT: addi a6, zero, 32 +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vx v26, v25, a6 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: addi a2, a2, 257 +; LMULMAX1-RV32-NEXT: bnez a1, .LBB3_2 +; LMULMAX1-RV32-NEXT: # %bb.1: +; LMULMAX1-RV32-NEXT: srli a1, a5, 1 +; LMULMAX1-RV32-NEXT: or a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a4 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a7 +; LMULMAX1-RV32-NEXT: mul a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a5, a1, 32 +; LMULMAX1-RV32-NEXT: j .LBB3_3 +; LMULMAX1-RV32-NEXT: .LBB3_2: +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a4 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a7 +; LMULMAX1-RV32-NEXT: mul a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a5, a1, 24 +; LMULMAX1-RV32-NEXT: .LBB3_3: +; LMULMAX1-RV32-NEXT: sw a5, 0(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vsrl.vx v26, v25, a6 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: vmv.x.s a5, v25 +; LMULMAX1-RV32-NEXT: bnez a1, .LBB3_5 +; LMULMAX1-RV32-NEXT: # %bb.4: +; LMULMAX1-RV32-NEXT: srli a1, a5, 1 +; LMULMAX1-RV32-NEXT: or a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a4, a5, a4 +; LMULMAX1-RV32-NEXT: sub a1, a1, a4 +; LMULMAX1-RV32-NEXT: and a4, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a4, a1 +; LMULMAX1-RV32-NEXT: srli a3, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a3 +; LMULMAX1-RV32-NEXT: and a1, a1, a7 +; LMULMAX1-RV32-NEXT: mul a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, 32 +; LMULMAX1-RV32-NEXT: j .LBB3_6 +; LMULMAX1-RV32-NEXT: .LBB3_5: +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a5 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a4, a5, a4 +; LMULMAX1-RV32-NEXT: sub a1, a1, a4 +; LMULMAX1-RV32-NEXT: and a4, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a4, a1 +; LMULMAX1-RV32-NEXT: srli a3, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a3 +; LMULMAX1-RV32-NEXT: and a1, a1, a7 +; LMULMAX1-RV32-NEXT: mul a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: .LBB3_6: +; LMULMAX1-RV32-NEXT: sw a1, 8(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v25, (sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vse64.v v25, (a0) +; LMULMAX1-RV32-NEXT: addi sp, sp, 16 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctlz_v2i64: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -16 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle64.v v25, (a0) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: lui a3, 21845 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a6, a3, 1365 +; LMULMAX1-RV64-NEXT: and a2, a2, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: lui a2, 13107 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: and a4, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a4, a1 +; LMULMAX1-RV64-NEXT: srli a4, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a4 +; LMULMAX1-RV64-NEXT: lui a4, 3855 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: lui a5, 4112 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sd a1, 0(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: srli a3, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a3, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a3, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a3, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a3, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a3, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a3 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a3, a1, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a3 +; LMULMAX1-RV64-NEXT: and a3, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a3, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sd a1, 8(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle64.v v25, (sp) +; LMULMAX1-RV64-NEXT: vse64.v v25, (a0) +; LMULMAX1-RV64-NEXT: addi sp, sp, 16 +; LMULMAX1-RV64-NEXT: ret + %a = load <2 x i64>, <2 x i64>* %x + %b = load <2 x i64>, <2 x i64>* %y + %c = call <2 x i64> @llvm.ctlz.v2i64(<2 x i64> %a, i1 false) + store <2 x i64> %c, <2 x i64>* %x + ret void +} +declare <2 x i64> @llvm.ctlz.v2i64(<2 x i64>, i1) + +define void @ctlz_v32i8(<32 x i8>* %x, <32 x i8>* %y) { +; LMULMAX2-RV32-LABEL: ctlz_v32i8: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: addi a6, zero, 32 +; LMULMAX2-RV32-NEXT: vsetvli a2, a6, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v26, (a0) +; LMULMAX2-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX2-RV32-NEXT: andi a2, a2, 255 +; LMULMAX2-RV32-NEXT: srli a3, a2, 1 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: srli a3, a2, 2 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: srli a3, a2, 4 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: srli a3, a2, 8 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: srli a3, a2, 16 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: not a3, a2 +; LMULMAX2-RV32-NEXT: srli a4, a3, 1 +; LMULMAX2-RV32-NEXT: lui a2, 349525 +; LMULMAX2-RV32-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV32-NEXT: and a4, a4, a7 +; LMULMAX2-RV32-NEXT: sub a4, a3, a4 +; LMULMAX2-RV32-NEXT: lui a3, 209715 +; LMULMAX2-RV32-NEXT: addi a3, a3, 819 +; LMULMAX2-RV32-NEXT: and a5, a4, a3 +; LMULMAX2-RV32-NEXT: srli a4, a4, 2 +; LMULMAX2-RV32-NEXT: and a4, a4, a3 +; LMULMAX2-RV32-NEXT: add a4, a5, a4 +; LMULMAX2-RV32-NEXT: srli a5, a4, 4 +; LMULMAX2-RV32-NEXT: add a5, a4, a5 +; LMULMAX2-RV32-NEXT: lui a4, 61681 +; LMULMAX2-RV32-NEXT: addi a4, a4, -241 +; LMULMAX2-RV32-NEXT: and a1, a5, a4 +; LMULMAX2-RV32-NEXT: lui a5, 4112 +; LMULMAX2-RV32-NEXT: addi a5, a5, 257 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 31(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 30(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 29(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 28(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 27(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 26(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 25(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 24(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 23(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 22(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 21(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 20(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 19(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 18(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 17(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 16(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 15(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 13(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 11(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 9(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 7(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 5(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 3(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 2(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: andi a1, a1, 255 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -24 +; LMULMAX2-RV32-NEXT: sb a1, 1(sp) +; LMULMAX2-RV32-NEXT: vsetvli a1, a6, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV32-NEXT: vse8.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctlz_v32i8: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: addi a6, zero, 32 +; LMULMAX2-RV64-NEXT: vsetvli a2, a6, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v26, (a0) +; LMULMAX2-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX2-RV64-NEXT: andi a2, a2, 255 +; LMULMAX2-RV64-NEXT: srli a3, a2, 1 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 2 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 4 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 8 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 16 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 32 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: not a3, a2 +; LMULMAX2-RV64-NEXT: srli a4, a3, 1 +; LMULMAX2-RV64-NEXT: lui a2, 21845 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV64-NEXT: and a4, a4, a7 +; LMULMAX2-RV64-NEXT: sub a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 13107 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a4, 2 +; LMULMAX2-RV64-NEXT: and a4, a4, a3 +; LMULMAX2-RV64-NEXT: add a4, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a4, 4 +; LMULMAX2-RV64-NEXT: add a5, a4, a5 +; LMULMAX2-RV64-NEXT: lui a4, 3855 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: and a1, a5, a4 +; LMULMAX2-RV64-NEXT: lui a5, 4112 +; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 31(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 30(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 29(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 28(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 27(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 26(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 25(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 23(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 22(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 21(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 20(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 19(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 18(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 17(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 15(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 13(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 11(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 9(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 7(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 5(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 3(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 2(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: andi a1, a1, 255 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -56 +; LMULMAX2-RV64-NEXT: sb a1, 1(sp) +; LMULMAX2-RV64-NEXT: vsetvli a1, a6, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV64-NEXT: vse8.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctlz_v32i8: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -32 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV32-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV32-NEXT: addi a6, a0, 16 +; LMULMAX1-RV32-NEXT: vle8.v v26, (a6) +; LMULMAX1-RV32-NEXT: vle8.v v25, (a0) +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: andi a2, a2, 255 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a3, a2 +; LMULMAX1-RV32-NEXT: srli a4, a3, 1 +; LMULMAX1-RV32-NEXT: lui a2, 349525 +; LMULMAX1-RV32-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV32-NEXT: and a4, a4, a7 +; LMULMAX1-RV32-NEXT: sub a4, a3, a4 +; LMULMAX1-RV32-NEXT: lui a3, 209715 +; LMULMAX1-RV32-NEXT: addi a3, a3, 819 +; LMULMAX1-RV32-NEXT: and a5, a4, a3 +; LMULMAX1-RV32-NEXT: srli a4, a4, 2 +; LMULMAX1-RV32-NEXT: and a4, a4, a3 +; LMULMAX1-RV32-NEXT: add a4, a5, a4 +; LMULMAX1-RV32-NEXT: srli a5, a4, 4 +; LMULMAX1-RV32-NEXT: add a5, a4, a5 +; LMULMAX1-RV32-NEXT: lui a4, 61681 +; LMULMAX1-RV32-NEXT: addi a4, a4, -241 +; LMULMAX1-RV32-NEXT: and a1, a5, a4 +; LMULMAX1-RV32-NEXT: lui a5, 4112 +; LMULMAX1-RV32-NEXT: addi a5, a5, 257 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 16(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e8,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 15 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 31(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 14 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 30(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 13 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 29(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 12 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 28(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 11 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 27(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 10 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 26(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 9 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 25(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 8 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 24(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 7 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 23(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 22(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 21(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 20(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 19(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 18(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 17(sp) +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 0(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 15(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 14(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 13(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 12(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 11(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 10(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 9(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 8(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 7(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 6(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 5(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 4(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 3(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 2(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: andi a1, a1, 255 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -24 +; LMULMAX1-RV32-NEXT: sb a1, 1(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle8.v v25, (sp) +; LMULMAX1-RV32-NEXT: addi a1, sp, 16 +; LMULMAX1-RV32-NEXT: vle8.v v26, (a1) +; LMULMAX1-RV32-NEXT: vse8.v v25, (a0) +; LMULMAX1-RV32-NEXT: vse8.v v26, (a6) +; LMULMAX1-RV32-NEXT: addi sp, sp, 32 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctlz_v32i8: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -32 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV64-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV64-NEXT: addi a6, a0, 16 +; LMULMAX1-RV64-NEXT: vle8.v v26, (a6) +; LMULMAX1-RV64-NEXT: vle8.v v25, (a0) +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: andi a2, a2, 255 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a3, a2 +; LMULMAX1-RV64-NEXT: srli a4, a3, 1 +; LMULMAX1-RV64-NEXT: lui a2, 21845 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a4, a3, a4 +; LMULMAX1-RV64-NEXT: lui a3, 13107 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: and a5, a4, a3 +; LMULMAX1-RV64-NEXT: srli a4, a4, 2 +; LMULMAX1-RV64-NEXT: and a4, a4, a3 +; LMULMAX1-RV64-NEXT: add a4, a5, a4 +; LMULMAX1-RV64-NEXT: srli a5, a4, 4 +; LMULMAX1-RV64-NEXT: add a5, a4, a5 +; LMULMAX1-RV64-NEXT: lui a4, 3855 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: and a1, a5, a4 +; LMULMAX1-RV64-NEXT: lui a5, 4112 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 16(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 1, e8,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 15 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 31(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 14 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 30(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 13 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 29(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 12 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 28(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 11 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 27(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 10 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 26(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 9 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 25(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 8 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 24(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 7 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 23(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 22(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 21(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 20(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 19(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 18(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 17(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 0(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 15(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 14(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 13(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 12(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 11(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 10(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 9(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 8(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 7(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 6(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 5(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 4(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 3(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 2(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: andi a1, a1, 255 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -56 +; LMULMAX1-RV64-NEXT: sb a1, 1(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle8.v v25, (sp) +; LMULMAX1-RV64-NEXT: addi a1, sp, 16 +; LMULMAX1-RV64-NEXT: vle8.v v26, (a1) +; LMULMAX1-RV64-NEXT: vse8.v v25, (a0) +; LMULMAX1-RV64-NEXT: vse8.v v26, (a6) +; LMULMAX1-RV64-NEXT: addi sp, sp, 32 +; LMULMAX1-RV64-NEXT: ret + %a = load <32 x i8>, <32 x i8>* %x + %b = load <32 x i8>, <32 x i8>* %y + %c = call <32 x i8> @llvm.ctlz.v32i8(<32 x i8> %a, i1 false) + store <32 x i8> %c, <32 x i8>* %x + ret void +} +declare <32 x i8> @llvm.ctlz.v32i8(<32 x i8>, i1) + +define void @ctlz_v16i16(<16 x i16>* %x, <16 x i16>* %y) { +; LMULMAX2-RV32-LABEL: ctlz_v16i16: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle16.v v26, (a0) +; LMULMAX2-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX2-RV32-NEXT: lui a1, 16 +; LMULMAX2-RV32-NEXT: addi a6, a1, -1 +; LMULMAX2-RV32-NEXT: and a2, a2, a6 +; LMULMAX2-RV32-NEXT: srli a3, a2, 1 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: srli a3, a2, 2 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: srli a3, a2, 4 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: srli a3, a2, 8 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: srli a3, a2, 16 +; LMULMAX2-RV32-NEXT: or a2, a2, a3 +; LMULMAX2-RV32-NEXT: not a3, a2 +; LMULMAX2-RV32-NEXT: srli a4, a3, 1 +; LMULMAX2-RV32-NEXT: lui a2, 349525 +; LMULMAX2-RV32-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV32-NEXT: and a4, a4, a7 +; LMULMAX2-RV32-NEXT: sub a4, a3, a4 +; LMULMAX2-RV32-NEXT: lui a3, 209715 +; LMULMAX2-RV32-NEXT: addi a3, a3, 819 +; LMULMAX2-RV32-NEXT: and a5, a4, a3 +; LMULMAX2-RV32-NEXT: srli a4, a4, 2 +; LMULMAX2-RV32-NEXT: and a4, a4, a3 +; LMULMAX2-RV32-NEXT: add a4, a5, a4 +; LMULMAX2-RV32-NEXT: srli a5, a4, 4 +; LMULMAX2-RV32-NEXT: add a5, a4, a5 +; LMULMAX2-RV32-NEXT: lui a4, 61681 +; LMULMAX2-RV32-NEXT: addi a4, a4, -241 +; LMULMAX2-RV32-NEXT: and a1, a5, a4 +; LMULMAX2-RV32-NEXT: lui a5, 4112 +; LMULMAX2-RV32-NEXT: addi a5, a5, 257 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e16,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 30(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 28(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 26(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 24(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 22(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 20(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 18(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 16(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: and a1, a1, a6 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, -16 +; LMULMAX2-RV32-NEXT: sh a1, 2(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle16.v v26, (sp) +; LMULMAX2-RV32-NEXT: vse16.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctlz_v16i16: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle16.v v26, (a0) +; LMULMAX2-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX2-RV64-NEXT: lui a1, 16 +; LMULMAX2-RV64-NEXT: addiw a6, a1, -1 +; LMULMAX2-RV64-NEXT: and a2, a2, a6 +; LMULMAX2-RV64-NEXT: srli a3, a2, 1 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 2 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 4 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 8 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 16 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: srli a3, a2, 32 +; LMULMAX2-RV64-NEXT: or a2, a2, a3 +; LMULMAX2-RV64-NEXT: not a3, a2 +; LMULMAX2-RV64-NEXT: srli a4, a3, 1 +; LMULMAX2-RV64-NEXT: lui a2, 21845 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV64-NEXT: and a4, a4, a7 +; LMULMAX2-RV64-NEXT: sub a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 13107 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a4, 2 +; LMULMAX2-RV64-NEXT: and a4, a4, a3 +; LMULMAX2-RV64-NEXT: add a4, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a4, 4 +; LMULMAX2-RV64-NEXT: add a5, a4, a5 +; LMULMAX2-RV64-NEXT: lui a4, 3855 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: and a1, a5, a4 +; LMULMAX2-RV64-NEXT: lui a5, 4112 +; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e16,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 30(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 28(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 26(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 22(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 20(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 18(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: and a1, a1, a6 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -48 +; LMULMAX2-RV64-NEXT: sh a1, 2(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle16.v v26, (sp) +; LMULMAX2-RV64-NEXT: vse16.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctlz_v16i16: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -32 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: addi a6, a0, 16 +; LMULMAX1-RV32-NEXT: vle16.v v26, (a6) +; LMULMAX1-RV32-NEXT: vle16.v v25, (a0) +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: lui a2, 16 +; LMULMAX1-RV32-NEXT: addi a7, a2, -1 +; LMULMAX1-RV32-NEXT: and a1, a1, a7 +; LMULMAX1-RV32-NEXT: srli a3, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a3, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a3, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a3, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a3, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a3 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a4, a1, 1 +; LMULMAX1-RV32-NEXT: lui a3, 349525 +; LMULMAX1-RV32-NEXT: addi t0, a3, 1365 +; LMULMAX1-RV32-NEXT: and a4, a4, t0 +; LMULMAX1-RV32-NEXT: sub a1, a1, a4 +; LMULMAX1-RV32-NEXT: lui a4, 209715 +; LMULMAX1-RV32-NEXT: addi a4, a4, 819 +; LMULMAX1-RV32-NEXT: and a5, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: lui a5, 61681 +; LMULMAX1-RV32-NEXT: addi a5, a5, -241 +; LMULMAX1-RV32-NEXT: and a2, a1, a5 +; LMULMAX1-RV32-NEXT: lui a1, 4112 +; LMULMAX1-RV32-NEXT: addi a1, a1, 257 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 16(sp) +; LMULMAX1-RV32-NEXT: vsetivli a2, 1, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 7 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 30(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 28(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 26(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 24(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 22(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 20(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 18(sp) +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 0(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 14(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 12(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 10(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 8(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 6(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: addi a2, a2, -16 +; LMULMAX1-RV32-NEXT: sh a2, 4(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, -16 +; LMULMAX1-RV32-NEXT: sh a1, 2(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle16.v v25, (sp) +; LMULMAX1-RV32-NEXT: addi a1, sp, 16 +; LMULMAX1-RV32-NEXT: vle16.v v26, (a1) +; LMULMAX1-RV32-NEXT: vse16.v v25, (a0) +; LMULMAX1-RV32-NEXT: vse16.v v26, (a6) +; LMULMAX1-RV32-NEXT: addi sp, sp, 32 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctlz_v16i16: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -32 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: addi a6, a0, 16 +; LMULMAX1-RV64-NEXT: vle16.v v26, (a6) +; LMULMAX1-RV64-NEXT: vle16.v v25, (a0) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: lui a2, 16 +; LMULMAX1-RV64-NEXT: addiw a7, a2, -1 +; LMULMAX1-RV64-NEXT: and a1, a1, a7 +; LMULMAX1-RV64-NEXT: srli a3, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a3, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a3, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a3, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a3, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a3, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a3 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a4, a1, 1 +; LMULMAX1-RV64-NEXT: lui a3, 21845 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi t0, a3, 1365 +; LMULMAX1-RV64-NEXT: and a4, a4, t0 +; LMULMAX1-RV64-NEXT: sub a1, a1, a4 +; LMULMAX1-RV64-NEXT: lui a4, 13107 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 819 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 +; LMULMAX1-RV64-NEXT: and a5, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: lui a5, 3855 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: and a2, a1, a5 +; LMULMAX1-RV64-NEXT: lui a1, 4112 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 16(sp) +; LMULMAX1-RV64-NEXT: vsetivli a2, 1, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 7 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 30(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 28(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 26(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 24(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 22(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 20(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 18(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 0(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 14(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 12(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 10(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 8(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 6(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: addi a2, a2, -48 +; LMULMAX1-RV64-NEXT: sh a2, 4(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -48 +; LMULMAX1-RV64-NEXT: sh a1, 2(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle16.v v25, (sp) +; LMULMAX1-RV64-NEXT: addi a1, sp, 16 +; LMULMAX1-RV64-NEXT: vle16.v v26, (a1) +; LMULMAX1-RV64-NEXT: vse16.v v25, (a0) +; LMULMAX1-RV64-NEXT: vse16.v v26, (a6) +; LMULMAX1-RV64-NEXT: addi sp, sp, 32 +; LMULMAX1-RV64-NEXT: ret + %a = load <16 x i16>, <16 x i16>* %x + %b = load <16 x i16>, <16 x i16>* %y + %c = call <16 x i16> @llvm.ctlz.v16i16(<16 x i16> %a, i1 false) + store <16 x i16> %c, <16 x i16>* %x + ret void +} +declare <16 x i16> @llvm.ctlz.v16i16(<16 x i16>, i1) + +define void @ctlz_v8i32(<8 x i32>* %x, <8 x i32>* %y) { +; LMULMAX2-RV32-LABEL: ctlz_v8i32: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v26, (a0) +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a2 +; LMULMAX2-RV32-NEXT: not a2, a1 +; LMULMAX2-RV32-NEXT: srli a3, a2, 1 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a6, a1, 1365 +; LMULMAX2-RV32-NEXT: and a3, a3, a6 +; LMULMAX2-RV32-NEXT: sub a3, a2, a3 +; LMULMAX2-RV32-NEXT: lui a2, 209715 +; LMULMAX2-RV32-NEXT: addi a2, a2, 819 +; LMULMAX2-RV32-NEXT: and a4, a3, a2 +; LMULMAX2-RV32-NEXT: srli a3, a3, 2 +; LMULMAX2-RV32-NEXT: and a3, a3, a2 +; LMULMAX2-RV32-NEXT: add a3, a4, a3 +; LMULMAX2-RV32-NEXT: srli a4, a3, 4 +; LMULMAX2-RV32-NEXT: add a4, a3, a4 +; LMULMAX2-RV32-NEXT: lui a3, 61681 +; LMULMAX2-RV32-NEXT: addi a3, a3, -241 +; LMULMAX2-RV32-NEXT: and a5, a4, a3 +; LMULMAX2-RV32-NEXT: lui a4, 4112 +; LMULMAX2-RV32-NEXT: addi a4, a4, 257 +; LMULMAX2-RV32-NEXT: mul a5, a5, a4 +; LMULMAX2-RV32-NEXT: srli a5, a5, 24 +; LMULMAX2-RV32-NEXT: sw a5, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a5, 1, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v28 +; LMULMAX2-RV32-NEXT: srli a1, a5, 1 +; LMULMAX2-RV32-NEXT: or a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 28(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 24(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 20(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 16(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 4(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v26, (sp) +; LMULMAX2-RV32-NEXT: vse32.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctlz_v8i32: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle32.v v26, (a0) +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: srliw a2, a1, 1 +; LMULMAX2-RV64-NEXT: slli a1, a1, 32 +; LMULMAX2-RV64-NEXT: srli a1, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a2, a1 +; LMULMAX2-RV64-NEXT: srli a3, a2, 1 +; LMULMAX2-RV64-NEXT: lui a1, 21845 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a6, a1, 1365 +; LMULMAX2-RV64-NEXT: and a3, a3, a6 +; LMULMAX2-RV64-NEXT: sub a3, a2, a3 +; LMULMAX2-RV64-NEXT: lui a2, 13107 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: and a4, a3, a2 +; LMULMAX2-RV64-NEXT: srli a3, a3, 2 +; LMULMAX2-RV64-NEXT: and a3, a3, a2 +; LMULMAX2-RV64-NEXT: add a3, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a3, 4 +; LMULMAX2-RV64-NEXT: add a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 3855 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, -241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, -241 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: lui a4, 4112 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 257 +; LMULMAX2-RV64-NEXT: slli a4, a4, 16 +; LMULMAX2-RV64-NEXT: addi a4, a4, 257 +; LMULMAX2-RV64-NEXT: slli a4, a4, 16 +; LMULMAX2-RV64-NEXT: addi a4, a4, 257 +; LMULMAX2-RV64-NEXT: mul a5, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a5, 56 +; LMULMAX2-RV64-NEXT: addi a5, a5, -32 +; LMULMAX2-RV64-NEXT: sw a5, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a5, 1, e32,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a5, v28 +; LMULMAX2-RV64-NEXT: srliw a1, a5, 1 +; LMULMAX2-RV64-NEXT: slli a5, a5, 32 +; LMULMAX2-RV64-NEXT: srli a5, a5, 32 +; LMULMAX2-RV64-NEXT: or a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -32 +; LMULMAX2-RV64-NEXT: sw a1, 28(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 +; LMULMAX2-RV64-NEXT: slli a1, a1, 32 +; LMULMAX2-RV64-NEXT: srli a1, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -32 +; LMULMAX2-RV64-NEXT: sw a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 +; LMULMAX2-RV64-NEXT: slli a1, a1, 32 +; LMULMAX2-RV64-NEXT: srli a1, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -32 +; LMULMAX2-RV64-NEXT: sw a1, 20(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 +; LMULMAX2-RV64-NEXT: slli a1, a1, 32 +; LMULMAX2-RV64-NEXT: srli a1, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -32 +; LMULMAX2-RV64-NEXT: sw a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 +; LMULMAX2-RV64-NEXT: slli a1, a1, 32 +; LMULMAX2-RV64-NEXT: srli a1, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -32 +; LMULMAX2-RV64-NEXT: sw a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 +; LMULMAX2-RV64-NEXT: slli a1, a1, 32 +; LMULMAX2-RV64-NEXT: srli a1, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -32 +; LMULMAX2-RV64-NEXT: sw a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: srliw a5, a1, 1 +; LMULMAX2-RV64-NEXT: slli a1, a1, 32 +; LMULMAX2-RV64-NEXT: srli a1, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: addi a1, a1, -32 +; LMULMAX2-RV64-NEXT: sw a1, 4(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle32.v v26, (sp) +; LMULMAX2-RV64-NEXT: vse32.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctlz_v8i32: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -32 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: addi a6, a0, 16 +; LMULMAX1-RV32-NEXT: vle32.v v26, (a6) +; LMULMAX1-RV32-NEXT: vle32.v v25, (a0) +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 2 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 8 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a3 +; LMULMAX1-RV32-NEXT: not a3, a2 +; LMULMAX1-RV32-NEXT: srli a4, a3, 1 +; LMULMAX1-RV32-NEXT: lui a2, 349525 +; LMULMAX1-RV32-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV32-NEXT: and a4, a4, a7 +; LMULMAX1-RV32-NEXT: sub a4, a3, a4 +; LMULMAX1-RV32-NEXT: lui a3, 209715 +; LMULMAX1-RV32-NEXT: addi a3, a3, 819 +; LMULMAX1-RV32-NEXT: and a5, a4, a3 +; LMULMAX1-RV32-NEXT: srli a4, a4, 2 +; LMULMAX1-RV32-NEXT: and a4, a4, a3 +; LMULMAX1-RV32-NEXT: add a4, a5, a4 +; LMULMAX1-RV32-NEXT: srli a5, a4, 4 +; LMULMAX1-RV32-NEXT: add a5, a4, a5 +; LMULMAX1-RV32-NEXT: lui a4, 61681 +; LMULMAX1-RV32-NEXT: addi a4, a4, -241 +; LMULMAX1-RV32-NEXT: and a1, a5, a4 +; LMULMAX1-RV32-NEXT: lui a5, 4112 +; LMULMAX1-RV32-NEXT: addi a5, a5, 257 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 16(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 28(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 24(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 20(sp) +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 0(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 12(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 8(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 4(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v25, (sp) +; LMULMAX1-RV32-NEXT: addi a1, sp, 16 +; LMULMAX1-RV32-NEXT: vle32.v v26, (a1) +; LMULMAX1-RV32-NEXT: vse32.v v25, (a0) +; LMULMAX1-RV32-NEXT: vse32.v v26, (a6) +; LMULMAX1-RV32-NEXT: addi sp, sp, 32 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctlz_v8i32: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -32 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: addi a6, a0, 16 +; LMULMAX1-RV64-NEXT: vle32.v v26, (a6) +; LMULMAX1-RV64-NEXT: vle32.v v25, (a0) +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: srliw a3, a2, 1 +; LMULMAX1-RV64-NEXT: slli a2, a2, 32 +; LMULMAX1-RV64-NEXT: srli a2, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a3, a2 +; LMULMAX1-RV64-NEXT: srli a4, a3, 1 +; LMULMAX1-RV64-NEXT: lui a2, 21845 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a4, a3, a4 +; LMULMAX1-RV64-NEXT: lui a3, 13107 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: and a5, a4, a3 +; LMULMAX1-RV64-NEXT: srli a4, a4, 2 +; LMULMAX1-RV64-NEXT: and a4, a4, a3 +; LMULMAX1-RV64-NEXT: add a4, a5, a4 +; LMULMAX1-RV64-NEXT: srli a5, a4, 4 +; LMULMAX1-RV64-NEXT: add a5, a4, a5 +; LMULMAX1-RV64-NEXT: lui a4, 3855 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: and a1, a5, a4 +; LMULMAX1-RV64-NEXT: lui a5, 4112 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -32 +; LMULMAX1-RV64-NEXT: sw a1, 16(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 1, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 +; LMULMAX1-RV64-NEXT: slli a1, a1, 32 +; LMULMAX1-RV64-NEXT: srli a1, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -32 +; LMULMAX1-RV64-NEXT: sw a1, 28(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 +; LMULMAX1-RV64-NEXT: slli a1, a1, 32 +; LMULMAX1-RV64-NEXT: srli a1, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -32 +; LMULMAX1-RV64-NEXT: sw a1, 24(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 +; LMULMAX1-RV64-NEXT: slli a1, a1, 32 +; LMULMAX1-RV64-NEXT: srli a1, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -32 +; LMULMAX1-RV64-NEXT: sw a1, 20(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 +; LMULMAX1-RV64-NEXT: slli a1, a1, 32 +; LMULMAX1-RV64-NEXT: srli a1, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -32 +; LMULMAX1-RV64-NEXT: sw a1, 0(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 +; LMULMAX1-RV64-NEXT: slli a1, a1, 32 +; LMULMAX1-RV64-NEXT: srli a1, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -32 +; LMULMAX1-RV64-NEXT: sw a1, 12(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 +; LMULMAX1-RV64-NEXT: slli a1, a1, 32 +; LMULMAX1-RV64-NEXT: srli a1, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -32 +; LMULMAX1-RV64-NEXT: sw a1, 8(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: srliw a2, a1, 1 +; LMULMAX1-RV64-NEXT: slli a1, a1, 32 +; LMULMAX1-RV64-NEXT: srli a1, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: addi a1, a1, -32 +; LMULMAX1-RV64-NEXT: sw a1, 4(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle32.v v25, (sp) +; LMULMAX1-RV64-NEXT: addi a1, sp, 16 +; LMULMAX1-RV64-NEXT: vle32.v v26, (a1) +; LMULMAX1-RV64-NEXT: vse32.v v25, (a0) +; LMULMAX1-RV64-NEXT: vse32.v v26, (a6) +; LMULMAX1-RV64-NEXT: addi sp, sp, 32 +; LMULMAX1-RV64-NEXT: ret + %a = load <8 x i32>, <8 x i32>* %x + %b = load <8 x i32>, <8 x i32>* %y + %c = call <8 x i32> @llvm.ctlz.v8i32(<8 x i32> %a, i1 false) + store <8 x i32> %c, <8 x i32>* %x + ret void +} +declare <8 x i32> @llvm.ctlz.v8i32(<8 x i32>, i1) + +define void @ctlz_v4i64(<4 x i64>* %x, <4 x i64>* %y) { +; LMULMAX2-RV32-LABEL: ctlz_v4i64: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle64.v v26, (a0) +; LMULMAX2-RV32-NEXT: sw zero, 28(sp) +; LMULMAX2-RV32-NEXT: sw zero, 20(sp) +; LMULMAX2-RV32-NEXT: sw zero, 12(sp) +; LMULMAX2-RV32-NEXT: sw zero, 4(sp) +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v26 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a4, a1, 1365 +; LMULMAX2-RV32-NEXT: lui a1, 209715 +; LMULMAX2-RV32-NEXT: addi a3, a1, 819 +; LMULMAX2-RV32-NEXT: lui a1, 61681 +; LMULMAX2-RV32-NEXT: addi a7, a1, -241 +; LMULMAX2-RV32-NEXT: lui a2, 4112 +; LMULMAX2-RV32-NEXT: addi a6, zero, 32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vsrl.vx v28, v26, a6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: addi a2, a2, 257 +; LMULMAX2-RV32-NEXT: bnez a1, .LBB7_2 +; LMULMAX2-RV32-NEXT: # %bb.1: +; LMULMAX2-RV32-NEXT: srli a1, a5, 1 +; LMULMAX2-RV32-NEXT: or a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a5, a1, 32 +; LMULMAX2-RV32-NEXT: j .LBB7_3 +; LMULMAX2-RV32-NEXT: .LBB7_2: +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a5, a1, 24 +; LMULMAX2-RV32-NEXT: .LBB7_3: +; LMULMAX2-RV32-NEXT: sw a5, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV32-NEXT: vsrl.vx v30, v28, a6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v30 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v28 +; LMULMAX2-RV32-NEXT: bnez a1, .LBB7_5 +; LMULMAX2-RV32-NEXT: # %bb.4: +; LMULMAX2-RV32-NEXT: srli a1, a5, 1 +; LMULMAX2-RV32-NEXT: or a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a5, a1, 32 +; LMULMAX2-RV32-NEXT: j .LBB7_6 +; LMULMAX2-RV32-NEXT: .LBB7_5: +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a5, a1, 24 +; LMULMAX2-RV32-NEXT: .LBB7_6: +; LMULMAX2-RV32-NEXT: sw a5, 24(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vsrl.vx v30, v28, a6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v30 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v28 +; LMULMAX2-RV32-NEXT: bnez a1, .LBB7_8 +; LMULMAX2-RV32-NEXT: # %bb.7: +; LMULMAX2-RV32-NEXT: srli a1, a5, 1 +; LMULMAX2-RV32-NEXT: or a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a5, a1, 32 +; LMULMAX2-RV32-NEXT: j .LBB7_9 +; LMULMAX2-RV32-NEXT: .LBB7_8: +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a5, a1, 24 +; LMULMAX2-RV32-NEXT: .LBB7_9: +; LMULMAX2-RV32-NEXT: sw a5, 16(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vsrl.vx v28, v26, a6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v26 +; LMULMAX2-RV32-NEXT: bnez a1, .LBB7_11 +; LMULMAX2-RV32-NEXT: # %bb.10: +; LMULMAX2-RV32-NEXT: srli a1, a5, 1 +; LMULMAX2-RV32-NEXT: or a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a4, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a4 +; LMULMAX2-RV32-NEXT: and a4, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a4, a1 +; LMULMAX2-RV32-NEXT: srli a3, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, 32 +; LMULMAX2-RV32-NEXT: j .LBB7_12 +; LMULMAX2-RV32-NEXT: .LBB7_11: +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 2 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 8 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 16 +; LMULMAX2-RV32-NEXT: or a1, a1, a5 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a4, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a4 +; LMULMAX2-RV32-NEXT: and a4, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a4, a1 +; LMULMAX2-RV32-NEXT: srli a3, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: .LBB7_12: +; LMULMAX2-RV32-NEXT: sw a1, 8(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v26, (sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vse64.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctlz_v4i64: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle64.v v26, (a0) +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a2 +; LMULMAX2-RV64-NEXT: not a2, a1 +; LMULMAX2-RV64-NEXT: srli a3, a2, 1 +; LMULMAX2-RV64-NEXT: lui a1, 21845 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a6, a1, 1365 +; LMULMAX2-RV64-NEXT: and a3, a3, a6 +; LMULMAX2-RV64-NEXT: sub a3, a2, a3 +; LMULMAX2-RV64-NEXT: lui a2, 13107 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: and a4, a3, a2 +; LMULMAX2-RV64-NEXT: srli a3, a3, 2 +; LMULMAX2-RV64-NEXT: and a3, a3, a2 +; LMULMAX2-RV64-NEXT: add a3, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a3, 4 +; LMULMAX2-RV64-NEXT: add a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 3855 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, -241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, -241 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: lui a4, 4112 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 257 +; LMULMAX2-RV64-NEXT: slli a4, a4, 16 +; LMULMAX2-RV64-NEXT: addi a4, a4, 257 +; LMULMAX2-RV64-NEXT: slli a4, a4, 16 +; LMULMAX2-RV64-NEXT: addi a4, a4, 257 +; LMULMAX2-RV64-NEXT: mul a5, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a5, 56 +; LMULMAX2-RV64-NEXT: sd a5, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a5, 1, e64,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a5, v28 +; LMULMAX2-RV64-NEXT: srli a1, a5, 1 +; LMULMAX2-RV64-NEXT: or a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sd a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sd a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 2 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 8 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 16 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 32 +; LMULMAX2-RV64-NEXT: or a1, a1, a5 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sd a1, 8(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle64.v v26, (sp) +; LMULMAX2-RV64-NEXT: vse64.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctlz_v4i64: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -32 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: addi a6, a0, 16 +; LMULMAX1-RV32-NEXT: vle64.v v26, (a6) +; LMULMAX1-RV32-NEXT: vle64.v v25, (a0) +; LMULMAX1-RV32-NEXT: sw zero, 28(sp) +; LMULMAX1-RV32-NEXT: sw zero, 20(sp) +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: lui a2, 349525 +; LMULMAX1-RV32-NEXT: addi a5, a2, 1365 +; LMULMAX1-RV32-NEXT: lui a2, 209715 +; LMULMAX1-RV32-NEXT: addi a4, a2, 819 +; LMULMAX1-RV32-NEXT: lui a2, 61681 +; LMULMAX1-RV32-NEXT: addi t0, a2, -241 +; LMULMAX1-RV32-NEXT: lui a3, 4112 +; LMULMAX1-RV32-NEXT: addi a7, zero, 32 +; LMULMAX1-RV32-NEXT: vsetivli a2, 1, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vx v27, v26, a7 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: addi a3, a3, 257 +; LMULMAX1-RV32-NEXT: bnez a2, .LBB7_2 +; LMULMAX1-RV32-NEXT: # %bb.1: +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, 32 +; LMULMAX1-RV32-NEXT: j .LBB7_3 +; LMULMAX1-RV32-NEXT: .LBB7_2: +; LMULMAX1-RV32-NEXT: srli a1, a2, 1 +; LMULMAX1-RV32-NEXT: or a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: .LBB7_3: +; LMULMAX1-RV32-NEXT: sw a1, 16(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV32-NEXT: vsrl.vx v27, v26, a7 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: bnez a1, .LBB7_5 +; LMULMAX1-RV32-NEXT: # %bb.4: +; LMULMAX1-RV32-NEXT: srli a1, a2, 1 +; LMULMAX1-RV32-NEXT: or a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, 32 +; LMULMAX1-RV32-NEXT: j .LBB7_6 +; LMULMAX1-RV32-NEXT: .LBB7_5: +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: .LBB7_6: +; LMULMAX1-RV32-NEXT: sw a1, 24(sp) +; LMULMAX1-RV32-NEXT: sw zero, 12(sp) +; LMULMAX1-RV32-NEXT: sw zero, 4(sp) +; LMULMAX1-RV32-NEXT: vsetvli zero, zero, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: vsetivli a2, 1, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vx v26, v25, a7 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: bnez a2, .LBB7_8 +; LMULMAX1-RV32-NEXT: # %bb.7: +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, 32 +; LMULMAX1-RV32-NEXT: j .LBB7_9 +; LMULMAX1-RV32-NEXT: .LBB7_8: +; LMULMAX1-RV32-NEXT: srli a1, a2, 1 +; LMULMAX1-RV32-NEXT: or a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: .LBB7_9: +; LMULMAX1-RV32-NEXT: sw a1, 0(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vsrl.vx v26, v25, a7 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV32-NEXT: bnez a1, .LBB7_11 +; LMULMAX1-RV32-NEXT: # %bb.10: +; LMULMAX1-RV32-NEXT: srli a1, a2, 1 +; LMULMAX1-RV32-NEXT: or a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, 32 +; LMULMAX1-RV32-NEXT: j .LBB7_12 +; LMULMAX1-RV32-NEXT: .LBB7_11: +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 2 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 8 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a2 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: .LBB7_12: +; LMULMAX1-RV32-NEXT: sw a1, 8(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v25, (sp) +; LMULMAX1-RV32-NEXT: addi a1, sp, 16 +; LMULMAX1-RV32-NEXT: vle32.v v26, (a1) +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vse64.v v25, (a0) +; LMULMAX1-RV32-NEXT: vse64.v v26, (a6) +; LMULMAX1-RV32-NEXT: addi sp, sp, 32 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctlz_v4i64: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -32 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: addi a6, a0, 16 +; LMULMAX1-RV64-NEXT: vle64.v v26, (a6) +; LMULMAX1-RV64-NEXT: vle64.v v25, (a0) +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 2 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 8 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a3 +; LMULMAX1-RV64-NEXT: not a3, a2 +; LMULMAX1-RV64-NEXT: srli a4, a3, 1 +; LMULMAX1-RV64-NEXT: lui a2, 21845 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a4, a3, a4 +; LMULMAX1-RV64-NEXT: lui a3, 13107 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: and a5, a4, a3 +; LMULMAX1-RV64-NEXT: srli a4, a4, 2 +; LMULMAX1-RV64-NEXT: and a4, a4, a3 +; LMULMAX1-RV64-NEXT: add a4, a5, a4 +; LMULMAX1-RV64-NEXT: srli a5, a4, 4 +; LMULMAX1-RV64-NEXT: add a5, a4, a5 +; LMULMAX1-RV64-NEXT: lui a4, 3855 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: and a1, a5, a4 +; LMULMAX1-RV64-NEXT: lui a5, 4112 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sd a1, 16(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sd a1, 24(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sd a1, 0(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 2 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 8 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a2 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sd a1, 8(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle64.v v25, (sp) +; LMULMAX1-RV64-NEXT: addi a1, sp, 16 +; LMULMAX1-RV64-NEXT: vle64.v v26, (a1) +; LMULMAX1-RV64-NEXT: vse64.v v25, (a0) +; LMULMAX1-RV64-NEXT: vse64.v v26, (a6) +; LMULMAX1-RV64-NEXT: addi sp, sp, 32 +; LMULMAX1-RV64-NEXT: ret + %a = load <4 x i64>, <4 x i64>* %x + %b = load <4 x i64>, <4 x i64>* %y + %c = call <4 x i64> @llvm.ctlz.v4i64(<4 x i64> %a, i1 false) + store <4 x i64> %c, <4 x i64>* %x + ret void +} +declare <4 x i64> @llvm.ctlz.v4i64(<4 x i64>, i1) diff --git a/test/CodeGen/RISCV/rvv/fixed-vectors-ctpop.ll b/test/CodeGen/RISCV/rvv/fixed-vectors-ctpop.ll new file mode 100644 index 00000000000..a007f503a5a --- /dev/null +++ b/test/CodeGen/RISCV/rvv/fixed-vectors-ctpop.ll @@ -0,0 +1,1090 @@ +; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py +; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX2,LMULMAX2-RV32 +; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX2,LMULMAX2-RV64 +; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX1,LMULMAX1-RV32 +; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=CHECK,LMULMAX1,LMULMAX1-RV64 + +define void @ctpop_v16i8(<16 x i8>* %x, <16 x i8>* %y) { +; CHECK-LABEL: ctpop_v16i8: +; CHECK: # %bb.0: +; CHECK-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; CHECK-NEXT: vle8.v v25, (a0) +; CHECK-NEXT: vsrl.vi v26, v25, 1 +; CHECK-NEXT: addi a1, zero, 85 +; CHECK-NEXT: vand.vx v26, v26, a1 +; CHECK-NEXT: vsub.vv v25, v25, v26 +; CHECK-NEXT: addi a1, zero, 51 +; CHECK-NEXT: vand.vx v26, v25, a1 +; CHECK-NEXT: vsrl.vi v25, v25, 2 +; CHECK-NEXT: vand.vx v25, v25, a1 +; CHECK-NEXT: vadd.vv v25, v26, v25 +; CHECK-NEXT: vsrl.vi v26, v25, 4 +; CHECK-NEXT: vadd.vv v25, v25, v26 +; CHECK-NEXT: vand.vi v25, v25, 15 +; CHECK-NEXT: vse8.v v25, (a0) +; CHECK-NEXT: ret + %a = load <16 x i8>, <16 x i8>* %x + %b = load <16 x i8>, <16 x i8>* %y + %c = call <16 x i8> @llvm.ctpop.v16i8(<16 x i8> %a) + store <16 x i8> %c, <16 x i8>* %x + ret void +} +declare <16 x i8> @llvm.ctpop.v16i8(<16 x i8>) + +define void @ctpop_v8i16(<8 x i16>* %x, <8 x i16>* %y) { +; LMULMAX2-RV32-LABEL: ctpop_v8i16: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle16.v v25, (a0) +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v25, 1 +; LMULMAX2-RV32-NEXT: lui a1, 5 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v25, v25, v26 +; LMULMAX2-RV32-NEXT: lui a1, 3 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vand.vx v26, v25, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX2-RV32-NEXT: vand.vx v25, v25, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v25, v26, v25 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v25, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v25, v25, v26 +; LMULMAX2-RV32-NEXT: lui a1, 1 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vand.vx v25, v25, a1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 257 +; LMULMAX2-RV32-NEXT: vmul.vx v25, v25, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v25, v25, 8 +; LMULMAX2-RV32-NEXT: vse16.v v25, (a0) +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctpop_v8i16: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle16.v v25, (a0) +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v25, 1 +; LMULMAX2-RV64-NEXT: lui a1, 5 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v25, v25, v26 +; LMULMAX2-RV64-NEXT: lui a1, 3 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v26, v25, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX2-RV64-NEXT: vand.vx v25, v25, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v25, v26, v25 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v25, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v25, v25, v26 +; LMULMAX2-RV64-NEXT: lui a1, 1 +; LMULMAX2-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v25, v25, a1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v25, v25, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v25, v25, 8 +; LMULMAX2-RV64-NEXT: vse16.v v25, (a0) +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctpop_v8i16: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle16.v v25, (a0) +; LMULMAX1-RV32-NEXT: vsrl.vi v26, v25, 1 +; LMULMAX1-RV32-NEXT: lui a1, 5 +; LMULMAX1-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX1-RV32-NEXT: vsub.vv v25, v25, v26 +; LMULMAX1-RV32-NEXT: lui a1, 3 +; LMULMAX1-RV32-NEXT: addi a1, a1, 819 +; LMULMAX1-RV32-NEXT: vand.vx v26, v25, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-RV32-NEXT: vand.vx v25, v25, a1 +; LMULMAX1-RV32-NEXT: vadd.vv v25, v26, v25 +; LMULMAX1-RV32-NEXT: vsrl.vi v26, v25, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v25, v25, v26 +; LMULMAX1-RV32-NEXT: lui a1, 1 +; LMULMAX1-RV32-NEXT: addi a1, a1, -241 +; LMULMAX1-RV32-NEXT: vand.vx v25, v25, a1 +; LMULMAX1-RV32-NEXT: addi a1, zero, 257 +; LMULMAX1-RV32-NEXT: vmul.vx v25, v25, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v25, v25, 8 +; LMULMAX1-RV32-NEXT: vse16.v v25, (a0) +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctpop_v8i16: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle16.v v25, (a0) +; LMULMAX1-RV64-NEXT: vsrl.vi v26, v25, 1 +; LMULMAX1-RV64-NEXT: lui a1, 5 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX1-RV64-NEXT: vsub.vv v25, v25, v26 +; LMULMAX1-RV64-NEXT: lui a1, 3 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX1-RV64-NEXT: vand.vx v26, v25, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-RV64-NEXT: vand.vx v25, v25, a1 +; LMULMAX1-RV64-NEXT: vadd.vv v25, v26, v25 +; LMULMAX1-RV64-NEXT: vsrl.vi v26, v25, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v25, v25, v26 +; LMULMAX1-RV64-NEXT: lui a1, 1 +; LMULMAX1-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX1-RV64-NEXT: vand.vx v25, v25, a1 +; LMULMAX1-RV64-NEXT: addi a1, zero, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v25, v25, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v25, v25, 8 +; LMULMAX1-RV64-NEXT: vse16.v v25, (a0) +; LMULMAX1-RV64-NEXT: ret + %a = load <8 x i16>, <8 x i16>* %x + %b = load <8 x i16>, <8 x i16>* %y + %c = call <8 x i16> @llvm.ctpop.v8i16(<8 x i16> %a) + store <8 x i16> %c, <8 x i16>* %x + ret void +} +declare <8 x i16> @llvm.ctpop.v8i16(<8 x i16>) + +define void @ctpop_v4i32(<4 x i32>* %x, <4 x i32>* %y) { +; LMULMAX2-RV32-LABEL: ctpop_v4i32: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v25, (a0) +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v25, 1 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v25, v25, v26 +; LMULMAX2-RV32-NEXT: lui a1, 209715 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vand.vx v26, v25, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX2-RV32-NEXT: vand.vx v25, v25, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v25, v26, v25 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v25, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v25, v25, v26 +; LMULMAX2-RV32-NEXT: lui a1, 61681 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vand.vx v25, v25, a1 +; LMULMAX2-RV32-NEXT: lui a1, 4112 +; LMULMAX2-RV32-NEXT: addi a1, a1, 257 +; LMULMAX2-RV32-NEXT: vmul.vx v25, v25, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v25, v25, 24 +; LMULMAX2-RV32-NEXT: vse32.v v25, (a0) +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctpop_v4i32: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle32.v v25, (a0) +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v25, 1 +; LMULMAX2-RV64-NEXT: lui a1, 349525 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v25, v25, v26 +; LMULMAX2-RV64-NEXT: lui a1, 209715 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v26, v25, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX2-RV64-NEXT: vand.vx v25, v25, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v25, v26, v25 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v25, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v25, v25, v26 +; LMULMAX2-RV64-NEXT: lui a1, 61681 +; LMULMAX2-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v25, v25, a1 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v25, v25, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v25, v25, 24 +; LMULMAX2-RV64-NEXT: vse32.v v25, (a0) +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctpop_v4i32: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v25, (a0) +; LMULMAX1-RV32-NEXT: vsrl.vi v26, v25, 1 +; LMULMAX1-RV32-NEXT: lui a1, 349525 +; LMULMAX1-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX1-RV32-NEXT: vsub.vv v25, v25, v26 +; LMULMAX1-RV32-NEXT: lui a1, 209715 +; LMULMAX1-RV32-NEXT: addi a1, a1, 819 +; LMULMAX1-RV32-NEXT: vand.vx v26, v25, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-RV32-NEXT: vand.vx v25, v25, a1 +; LMULMAX1-RV32-NEXT: vadd.vv v25, v26, v25 +; LMULMAX1-RV32-NEXT: vsrl.vi v26, v25, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v25, v25, v26 +; LMULMAX1-RV32-NEXT: lui a1, 61681 +; LMULMAX1-RV32-NEXT: addi a1, a1, -241 +; LMULMAX1-RV32-NEXT: vand.vx v25, v25, a1 +; LMULMAX1-RV32-NEXT: lui a1, 4112 +; LMULMAX1-RV32-NEXT: addi a1, a1, 257 +; LMULMAX1-RV32-NEXT: vmul.vx v25, v25, a1 +; LMULMAX1-RV32-NEXT: vsrl.vi v25, v25, 24 +; LMULMAX1-RV32-NEXT: vse32.v v25, (a0) +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctpop_v4i32: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle32.v v25, (a0) +; LMULMAX1-RV64-NEXT: vsrl.vi v26, v25, 1 +; LMULMAX1-RV64-NEXT: lui a1, 349525 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX1-RV64-NEXT: vsub.vv v25, v25, v26 +; LMULMAX1-RV64-NEXT: lui a1, 209715 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX1-RV64-NEXT: vand.vx v26, v25, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-RV64-NEXT: vand.vx v25, v25, a1 +; LMULMAX1-RV64-NEXT: vadd.vv v25, v26, v25 +; LMULMAX1-RV64-NEXT: vsrl.vi v26, v25, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v25, v25, v26 +; LMULMAX1-RV64-NEXT: lui a1, 61681 +; LMULMAX1-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX1-RV64-NEXT: vand.vx v25, v25, a1 +; LMULMAX1-RV64-NEXT: lui a1, 4112 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v25, v25, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v25, v25, 24 +; LMULMAX1-RV64-NEXT: vse32.v v25, (a0) +; LMULMAX1-RV64-NEXT: ret + %a = load <4 x i32>, <4 x i32>* %x + %b = load <4 x i32>, <4 x i32>* %y + %c = call <4 x i32> @llvm.ctpop.v4i32(<4 x i32> %a) + store <4 x i32> %c, <4 x i32>* %x + ret void +} +declare <4 x i32> @llvm.ctpop.v4i32(<4 x i32>) + +define void @ctpop_v2i64(<2 x i64>* %x, <2 x i64>* %y) { +; LMULMAX2-RV32-LABEL: ctpop_v2i64: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle64.v v25, (a0) +; LMULMAX2-RV32-NEXT: lui a1, %hi(.LCPI3_0) +; LMULMAX2-RV32-NEXT: addi a1, a1, %lo(.LCPI3_0) +; LMULMAX2-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v26, (a1) +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vsrl.vv v26, v25, v26 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vmv.v.x v27, a1 +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vand.vv v26, v26, v27 +; LMULMAX2-RV32-NEXT: vsub.vv v25, v25, v26 +; LMULMAX2-RV32-NEXT: lui a1, 209715 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vmv.v.x v26, a1 +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vand.vv v27, v25, v26 +; LMULMAX2-RV32-NEXT: lui a1, %hi(.LCPI3_1) +; LMULMAX2-RV32-NEXT: addi a1, a1, %lo(.LCPI3_1) +; LMULMAX2-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v28, (a1) +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vsrl.vv v25, v25, v28 +; LMULMAX2-RV32-NEXT: vand.vv v25, v25, v26 +; LMULMAX2-RV32-NEXT: vadd.vv v25, v27, v25 +; LMULMAX2-RV32-NEXT: lui a1, %hi(.LCPI3_2) +; LMULMAX2-RV32-NEXT: addi a1, a1, %lo(.LCPI3_2) +; LMULMAX2-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v26, (a1) +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vsrl.vv v26, v25, v26 +; LMULMAX2-RV32-NEXT: vadd.vv v25, v25, v26 +; LMULMAX2-RV32-NEXT: lui a1, 61681 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vmv.v.x v26, a1 +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vand.vv v25, v25, v26 +; LMULMAX2-RV32-NEXT: lui a1, 4112 +; LMULMAX2-RV32-NEXT: addi a1, a1, 257 +; LMULMAX2-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vmv.v.x v26, a1 +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vmul.vv v25, v25, v26 +; LMULMAX2-RV32-NEXT: lui a1, %hi(.LCPI3_3) +; LMULMAX2-RV32-NEXT: addi a1, a1, %lo(.LCPI3_3) +; LMULMAX2-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v26, (a1) +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vsrl.vv v25, v25, v26 +; LMULMAX2-RV32-NEXT: vse64.v v25, (a0) +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctpop_v2i64: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle64.v v25, (a0) +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v25, 1 +; LMULMAX2-RV64-NEXT: lui a1, 21845 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v25, v25, v26 +; LMULMAX2-RV64-NEXT: lui a1, 13107 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v26, v25, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX2-RV64-NEXT: vand.vx v25, v25, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v25, v26, v25 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v25, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v25, v25, v26 +; LMULMAX2-RV64-NEXT: lui a1, 3855 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, -241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v25, v25, a1 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v25, v25, a1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 56 +; LMULMAX2-RV64-NEXT: vsrl.vx v25, v25, a1 +; LMULMAX2-RV64-NEXT: vse64.v v25, (a0) +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctpop_v2i64: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle64.v v25, (a0) +; LMULMAX1-RV32-NEXT: lui a1, %hi(.LCPI3_0) +; LMULMAX1-RV32-NEXT: addi a1, a1, %lo(.LCPI3_0) +; LMULMAX1-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v26, (a1) +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vv v26, v25, v26 +; LMULMAX1-RV32-NEXT: lui a1, 349525 +; LMULMAX1-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vmv.v.x v27, a1 +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vand.vv v26, v26, v27 +; LMULMAX1-RV32-NEXT: vsub.vv v25, v25, v26 +; LMULMAX1-RV32-NEXT: lui a1, 209715 +; LMULMAX1-RV32-NEXT: addi a1, a1, 819 +; LMULMAX1-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vmv.v.x v26, a1 +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vand.vv v27, v25, v26 +; LMULMAX1-RV32-NEXT: lui a1, %hi(.LCPI3_1) +; LMULMAX1-RV32-NEXT: addi a1, a1, %lo(.LCPI3_1) +; LMULMAX1-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v28, (a1) +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vv v25, v25, v28 +; LMULMAX1-RV32-NEXT: vand.vv v25, v25, v26 +; LMULMAX1-RV32-NEXT: vadd.vv v25, v27, v25 +; LMULMAX1-RV32-NEXT: lui a1, %hi(.LCPI3_2) +; LMULMAX1-RV32-NEXT: addi a1, a1, %lo(.LCPI3_2) +; LMULMAX1-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v26, (a1) +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vv v26, v25, v26 +; LMULMAX1-RV32-NEXT: vadd.vv v25, v25, v26 +; LMULMAX1-RV32-NEXT: lui a1, 61681 +; LMULMAX1-RV32-NEXT: addi a1, a1, -241 +; LMULMAX1-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vmv.v.x v26, a1 +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vand.vv v25, v25, v26 +; LMULMAX1-RV32-NEXT: lui a1, 4112 +; LMULMAX1-RV32-NEXT: addi a1, a1, 257 +; LMULMAX1-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vmv.v.x v26, a1 +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vmul.vv v25, v25, v26 +; LMULMAX1-RV32-NEXT: lui a1, %hi(.LCPI3_3) +; LMULMAX1-RV32-NEXT: addi a1, a1, %lo(.LCPI3_3) +; LMULMAX1-RV32-NEXT: vsetivli a2, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v26, (a1) +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vv v25, v25, v26 +; LMULMAX1-RV32-NEXT: vse64.v v25, (a0) +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctpop_v2i64: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle64.v v25, (a0) +; LMULMAX1-RV64-NEXT: vsrl.vi v26, v25, 1 +; LMULMAX1-RV64-NEXT: lui a1, 21845 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX1-RV64-NEXT: vsub.vv v25, v25, v26 +; LMULMAX1-RV64-NEXT: lui a1, 13107 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 819 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 819 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 819 +; LMULMAX1-RV64-NEXT: vand.vx v26, v25, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-RV64-NEXT: vand.vx v25, v25, a1 +; LMULMAX1-RV64-NEXT: vadd.vv v25, v26, v25 +; LMULMAX1-RV64-NEXT: vsrl.vi v26, v25, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v25, v25, v26 +; LMULMAX1-RV64-NEXT: lui a1, 3855 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 241 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, -241 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 241 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, -241 +; LMULMAX1-RV64-NEXT: vand.vx v25, v25, a1 +; LMULMAX1-RV64-NEXT: lui a1, 4112 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v25, v25, a1 +; LMULMAX1-RV64-NEXT: addi a1, zero, 56 +; LMULMAX1-RV64-NEXT: vsrl.vx v25, v25, a1 +; LMULMAX1-RV64-NEXT: vse64.v v25, (a0) +; LMULMAX1-RV64-NEXT: ret + %a = load <2 x i64>, <2 x i64>* %x + %b = load <2 x i64>, <2 x i64>* %y + %c = call <2 x i64> @llvm.ctpop.v2i64(<2 x i64> %a) + store <2 x i64> %c, <2 x i64>* %x + ret void +} +declare <2 x i64> @llvm.ctpop.v2i64(<2 x i64>) + +define void @ctpop_v32i8(<32 x i8>* %x, <32 x i8>* %y) { +; LMULMAX2-LABEL: ctpop_v32i8: +; LMULMAX2: # %bb.0: +; LMULMAX2-NEXT: addi a1, zero, 32 +; LMULMAX2-NEXT: vsetvli a1, a1, e8,m2,ta,mu +; LMULMAX2-NEXT: vle8.v v26, (a0) +; LMULMAX2-NEXT: vsrl.vi v28, v26, 1 +; LMULMAX2-NEXT: addi a1, zero, 85 +; LMULMAX2-NEXT: vand.vx v28, v28, a1 +; LMULMAX2-NEXT: vsub.vv v26, v26, v28 +; LMULMAX2-NEXT: addi a1, zero, 51 +; LMULMAX2-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX2-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-NEXT: vadd.vv v26, v28, v26 +; LMULMAX2-NEXT: vsrl.vi v28, v26, 4 +; LMULMAX2-NEXT: vadd.vv v26, v26, v28 +; LMULMAX2-NEXT: vand.vi v26, v26, 15 +; LMULMAX2-NEXT: vse8.v v26, (a0) +; LMULMAX2-NEXT: ret +; +; LMULMAX1-LABEL: ctpop_v32i8: +; LMULMAX1: # %bb.0: +; LMULMAX1-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-NEXT: addi a1, a0, 16 +; LMULMAX1-NEXT: vle8.v v25, (a1) +; LMULMAX1-NEXT: vle8.v v26, (a0) +; LMULMAX1-NEXT: vsrl.vi v27, v25, 1 +; LMULMAX1-NEXT: addi a2, zero, 85 +; LMULMAX1-NEXT: vand.vx v27, v27, a2 +; LMULMAX1-NEXT: vsub.vv v25, v25, v27 +; LMULMAX1-NEXT: addi a3, zero, 51 +; LMULMAX1-NEXT: vand.vx v27, v25, a3 +; LMULMAX1-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-NEXT: vand.vx v25, v25, a3 +; LMULMAX1-NEXT: vadd.vv v25, v27, v25 +; LMULMAX1-NEXT: vsrl.vi v27, v25, 4 +; LMULMAX1-NEXT: vadd.vv v25, v25, v27 +; LMULMAX1-NEXT: vand.vi v25, v25, 15 +; LMULMAX1-NEXT: vsrl.vi v27, v26, 1 +; LMULMAX1-NEXT: vand.vx v27, v27, a2 +; LMULMAX1-NEXT: vsub.vv v26, v26, v27 +; LMULMAX1-NEXT: vand.vx v27, v26, a3 +; LMULMAX1-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX1-NEXT: vand.vx v26, v26, a3 +; LMULMAX1-NEXT: vadd.vv v26, v27, v26 +; LMULMAX1-NEXT: vsrl.vi v27, v26, 4 +; LMULMAX1-NEXT: vadd.vv v26, v26, v27 +; LMULMAX1-NEXT: vand.vi v26, v26, 15 +; LMULMAX1-NEXT: vse8.v v26, (a0) +; LMULMAX1-NEXT: vse8.v v25, (a1) +; LMULMAX1-NEXT: ret + %a = load <32 x i8>, <32 x i8>* %x + %b = load <32 x i8>, <32 x i8>* %y + %c = call <32 x i8> @llvm.ctpop.v32i8(<32 x i8> %a) + store <32 x i8> %c, <32 x i8>* %x + ret void +} +declare <32 x i8> @llvm.ctpop.v32i8(<32 x i8>) + +define void @ctpop_v16i16(<16 x i16>* %x, <16 x i16>* %y) { +; LMULMAX2-RV32-LABEL: ctpop_v16i16: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle16.v v26, (a0) +; LMULMAX2-RV32-NEXT: vsrl.vi v28, v26, 1 +; LMULMAX2-RV32-NEXT: lui a1, 5 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vand.vx v28, v28, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: lui a1, 3 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX2-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v26, v28, v26 +; LMULMAX2-RV32-NEXT: vsrl.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: lui a1, 1 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: addi a1, zero, 257 +; LMULMAX2-RV32-NEXT: vmul.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 8 +; LMULMAX2-RV32-NEXT: vse16.v v26, (a0) +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctpop_v16i16: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle16.v v26, (a0) +; LMULMAX2-RV64-NEXT: vsrl.vi v28, v26, 1 +; LMULMAX2-RV64-NEXT: lui a1, 5 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v28, v28, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: lui a1, 3 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v26, v28, v26 +; LMULMAX2-RV64-NEXT: vsrl.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: lui a1, 1 +; LMULMAX2-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 8 +; LMULMAX2-RV64-NEXT: vse16.v v26, (a0) +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctpop_v16i16: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: addi a1, a0, 16 +; LMULMAX1-RV32-NEXT: vle16.v v25, (a1) +; LMULMAX1-RV32-NEXT: vle16.v v26, (a0) +; LMULMAX1-RV32-NEXT: vsrl.vi v27, v25, 1 +; LMULMAX1-RV32-NEXT: lui a2, 5 +; LMULMAX1-RV32-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV32-NEXT: vand.vx v27, v27, a2 +; LMULMAX1-RV32-NEXT: vsub.vv v25, v25, v27 +; LMULMAX1-RV32-NEXT: lui a3, 3 +; LMULMAX1-RV32-NEXT: addi a3, a3, 819 +; LMULMAX1-RV32-NEXT: vand.vx v27, v25, a3 +; LMULMAX1-RV32-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-RV32-NEXT: vand.vx v25, v25, a3 +; LMULMAX1-RV32-NEXT: vadd.vv v25, v27, v25 +; LMULMAX1-RV32-NEXT: vsrl.vi v27, v25, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v25, v25, v27 +; LMULMAX1-RV32-NEXT: lui a4, 1 +; LMULMAX1-RV32-NEXT: addi a4, a4, -241 +; LMULMAX1-RV32-NEXT: vand.vx v25, v25, a4 +; LMULMAX1-RV32-NEXT: addi a5, zero, 257 +; LMULMAX1-RV32-NEXT: vmul.vx v25, v25, a5 +; LMULMAX1-RV32-NEXT: vsrl.vi v25, v25, 8 +; LMULMAX1-RV32-NEXT: vsrl.vi v27, v26, 1 +; LMULMAX1-RV32-NEXT: vand.vx v27, v27, a2 +; LMULMAX1-RV32-NEXT: vsub.vv v26, v26, v27 +; LMULMAX1-RV32-NEXT: vand.vx v27, v26, a3 +; LMULMAX1-RV32-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX1-RV32-NEXT: vand.vx v26, v26, a3 +; LMULMAX1-RV32-NEXT: vadd.vv v26, v27, v26 +; LMULMAX1-RV32-NEXT: vsrl.vi v27, v26, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v26, v26, v27 +; LMULMAX1-RV32-NEXT: vand.vx v26, v26, a4 +; LMULMAX1-RV32-NEXT: vmul.vx v26, v26, a5 +; LMULMAX1-RV32-NEXT: vsrl.vi v26, v26, 8 +; LMULMAX1-RV32-NEXT: vse16.v v26, (a0) +; LMULMAX1-RV32-NEXT: vse16.v v25, (a1) +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctpop_v16i16: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: addi a1, a0, 16 +; LMULMAX1-RV64-NEXT: vle16.v v25, (a1) +; LMULMAX1-RV64-NEXT: vle16.v v26, (a0) +; LMULMAX1-RV64-NEXT: vsrl.vi v27, v25, 1 +; LMULMAX1-RV64-NEXT: lui a2, 5 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v27, v27, a2 +; LMULMAX1-RV64-NEXT: vsub.vv v25, v25, v27 +; LMULMAX1-RV64-NEXT: lui a3, 3 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: vand.vx v27, v25, a3 +; LMULMAX1-RV64-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-RV64-NEXT: vand.vx v25, v25, a3 +; LMULMAX1-RV64-NEXT: vadd.vv v25, v27, v25 +; LMULMAX1-RV64-NEXT: vsrl.vi v27, v25, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v25, v25, v27 +; LMULMAX1-RV64-NEXT: lui a4, 1 +; LMULMAX1-RV64-NEXT: addiw a4, a4, -241 +; LMULMAX1-RV64-NEXT: vand.vx v25, v25, a4 +; LMULMAX1-RV64-NEXT: addi a5, zero, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v25, v25, a5 +; LMULMAX1-RV64-NEXT: vsrl.vi v25, v25, 8 +; LMULMAX1-RV64-NEXT: vsrl.vi v27, v26, 1 +; LMULMAX1-RV64-NEXT: vand.vx v27, v27, a2 +; LMULMAX1-RV64-NEXT: vsub.vv v26, v26, v27 +; LMULMAX1-RV64-NEXT: vand.vx v27, v26, a3 +; LMULMAX1-RV64-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX1-RV64-NEXT: vand.vx v26, v26, a3 +; LMULMAX1-RV64-NEXT: vadd.vv v26, v27, v26 +; LMULMAX1-RV64-NEXT: vsrl.vi v27, v26, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v26, v26, v27 +; LMULMAX1-RV64-NEXT: vand.vx v26, v26, a4 +; LMULMAX1-RV64-NEXT: vmul.vx v26, v26, a5 +; LMULMAX1-RV64-NEXT: vsrl.vi v26, v26, 8 +; LMULMAX1-RV64-NEXT: vse16.v v26, (a0) +; LMULMAX1-RV64-NEXT: vse16.v v25, (a1) +; LMULMAX1-RV64-NEXT: ret + %a = load <16 x i16>, <16 x i16>* %x + %b = load <16 x i16>, <16 x i16>* %y + %c = call <16 x i16> @llvm.ctpop.v16i16(<16 x i16> %a) + store <16 x i16> %c, <16 x i16>* %x + ret void +} +declare <16 x i16> @llvm.ctpop.v16i16(<16 x i16>) + +define void @ctpop_v8i32(<8 x i32>* %x, <8 x i32>* %y) { +; LMULMAX2-RV32-LABEL: ctpop_v8i32: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v26, (a0) +; LMULMAX2-RV32-NEXT: vsrl.vi v28, v26, 1 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vand.vx v28, v28, a1 +; LMULMAX2-RV32-NEXT: vsub.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: lui a1, 209715 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX2-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: vadd.vv v26, v28, v26 +; LMULMAX2-RV32-NEXT: vsrl.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vadd.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: lui a1, 61681 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: lui a1, 4112 +; LMULMAX2-RV32-NEXT: addi a1, a1, 257 +; LMULMAX2-RV32-NEXT: vmul.vx v26, v26, a1 +; LMULMAX2-RV32-NEXT: vsrl.vi v26, v26, 24 +; LMULMAX2-RV32-NEXT: vse32.v v26, (a0) +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctpop_v8i32: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle32.v v26, (a0) +; LMULMAX2-RV64-NEXT: vsrl.vi v28, v26, 1 +; LMULMAX2-RV64-NEXT: lui a1, 349525 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v28, v28, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: lui a1, 209715 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v26, v28, v26 +; LMULMAX2-RV64-NEXT: vsrl.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: lui a1, 61681 +; LMULMAX2-RV64-NEXT: addiw a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 24 +; LMULMAX2-RV64-NEXT: vse32.v v26, (a0) +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctpop_v8i32: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: addi a1, a0, 16 +; LMULMAX1-RV32-NEXT: vle32.v v25, (a1) +; LMULMAX1-RV32-NEXT: vle32.v v26, (a0) +; LMULMAX1-RV32-NEXT: vsrl.vi v27, v25, 1 +; LMULMAX1-RV32-NEXT: lui a2, 349525 +; LMULMAX1-RV32-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV32-NEXT: vand.vx v27, v27, a2 +; LMULMAX1-RV32-NEXT: vsub.vv v25, v25, v27 +; LMULMAX1-RV32-NEXT: lui a3, 209715 +; LMULMAX1-RV32-NEXT: addi a3, a3, 819 +; LMULMAX1-RV32-NEXT: vand.vx v27, v25, a3 +; LMULMAX1-RV32-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-RV32-NEXT: vand.vx v25, v25, a3 +; LMULMAX1-RV32-NEXT: vadd.vv v25, v27, v25 +; LMULMAX1-RV32-NEXT: vsrl.vi v27, v25, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v25, v25, v27 +; LMULMAX1-RV32-NEXT: lui a4, 61681 +; LMULMAX1-RV32-NEXT: addi a4, a4, -241 +; LMULMAX1-RV32-NEXT: vand.vx v25, v25, a4 +; LMULMAX1-RV32-NEXT: lui a5, 4112 +; LMULMAX1-RV32-NEXT: addi a5, a5, 257 +; LMULMAX1-RV32-NEXT: vmul.vx v25, v25, a5 +; LMULMAX1-RV32-NEXT: vsrl.vi v25, v25, 24 +; LMULMAX1-RV32-NEXT: vsrl.vi v27, v26, 1 +; LMULMAX1-RV32-NEXT: vand.vx v27, v27, a2 +; LMULMAX1-RV32-NEXT: vsub.vv v26, v26, v27 +; LMULMAX1-RV32-NEXT: vand.vx v27, v26, a3 +; LMULMAX1-RV32-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX1-RV32-NEXT: vand.vx v26, v26, a3 +; LMULMAX1-RV32-NEXT: vadd.vv v26, v27, v26 +; LMULMAX1-RV32-NEXT: vsrl.vi v27, v26, 4 +; LMULMAX1-RV32-NEXT: vadd.vv v26, v26, v27 +; LMULMAX1-RV32-NEXT: vand.vx v26, v26, a4 +; LMULMAX1-RV32-NEXT: vmul.vx v26, v26, a5 +; LMULMAX1-RV32-NEXT: vsrl.vi v26, v26, 24 +; LMULMAX1-RV32-NEXT: vse32.v v26, (a0) +; LMULMAX1-RV32-NEXT: vse32.v v25, (a1) +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctpop_v8i32: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: addi a1, a0, 16 +; LMULMAX1-RV64-NEXT: vle32.v v25, (a1) +; LMULMAX1-RV64-NEXT: vle32.v v26, (a0) +; LMULMAX1-RV64-NEXT: vsrl.vi v27, v25, 1 +; LMULMAX1-RV64-NEXT: lui a2, 349525 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v27, v27, a2 +; LMULMAX1-RV64-NEXT: vsub.vv v25, v25, v27 +; LMULMAX1-RV64-NEXT: lui a3, 209715 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: vand.vx v27, v25, a3 +; LMULMAX1-RV64-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-RV64-NEXT: vand.vx v25, v25, a3 +; LMULMAX1-RV64-NEXT: vadd.vv v25, v27, v25 +; LMULMAX1-RV64-NEXT: vsrl.vi v27, v25, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v25, v25, v27 +; LMULMAX1-RV64-NEXT: lui a4, 61681 +; LMULMAX1-RV64-NEXT: addiw a4, a4, -241 +; LMULMAX1-RV64-NEXT: vand.vx v25, v25, a4 +; LMULMAX1-RV64-NEXT: lui a5, 4112 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v25, v25, a5 +; LMULMAX1-RV64-NEXT: vsrl.vi v25, v25, 24 +; LMULMAX1-RV64-NEXT: vsrl.vi v27, v26, 1 +; LMULMAX1-RV64-NEXT: vand.vx v27, v27, a2 +; LMULMAX1-RV64-NEXT: vsub.vv v26, v26, v27 +; LMULMAX1-RV64-NEXT: vand.vx v27, v26, a3 +; LMULMAX1-RV64-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX1-RV64-NEXT: vand.vx v26, v26, a3 +; LMULMAX1-RV64-NEXT: vadd.vv v26, v27, v26 +; LMULMAX1-RV64-NEXT: vsrl.vi v27, v26, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v26, v26, v27 +; LMULMAX1-RV64-NEXT: vand.vx v26, v26, a4 +; LMULMAX1-RV64-NEXT: vmul.vx v26, v26, a5 +; LMULMAX1-RV64-NEXT: vsrl.vi v26, v26, 24 +; LMULMAX1-RV64-NEXT: vse32.v v26, (a0) +; LMULMAX1-RV64-NEXT: vse32.v v25, (a1) +; LMULMAX1-RV64-NEXT: ret + %a = load <8 x i32>, <8 x i32>* %x + %b = load <8 x i32>, <8 x i32>* %y + %c = call <8 x i32> @llvm.ctpop.v8i32(<8 x i32> %a) + store <8 x i32> %c, <8 x i32>* %x + ret void +} +declare <8 x i32> @llvm.ctpop.v8i32(<8 x i32>) + +define void @ctpop_v4i64(<4 x i64>* %x, <4 x i64>* %y) { +; LMULMAX2-RV32-LABEL: ctpop_v4i64: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle64.v v26, (a0) +; LMULMAX2-RV32-NEXT: lui a1, %hi(.LCPI7_0) +; LMULMAX2-RV32-NEXT: addi a1, a1, %lo(.LCPI7_0) +; LMULMAX2-RV32-NEXT: vsetivli a2, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v28, (a1) +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vsrl.vv v28, v26, v28 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV32-NEXT: vsetivli a2, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vmv.v.x v30, a1 +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vand.vv v28, v28, v30 +; LMULMAX2-RV32-NEXT: vsub.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: lui a1, 209715 +; LMULMAX2-RV32-NEXT: addi a1, a1, 819 +; LMULMAX2-RV32-NEXT: vsetivli a2, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vmv.v.x v28, a1 +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vand.vv v30, v26, v28 +; LMULMAX2-RV32-NEXT: lui a1, %hi(.LCPI7_1) +; LMULMAX2-RV32-NEXT: addi a1, a1, %lo(.LCPI7_1) +; LMULMAX2-RV32-NEXT: vsetivli a2, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v8, (a1) +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vsrl.vv v26, v26, v8 +; LMULMAX2-RV32-NEXT: vand.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: vadd.vv v26, v30, v26 +; LMULMAX2-RV32-NEXT: lui a1, %hi(.LCPI7_2) +; LMULMAX2-RV32-NEXT: addi a1, a1, %lo(.LCPI7_2) +; LMULMAX2-RV32-NEXT: vsetivli a2, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v28, (a1) +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vsrl.vv v28, v26, v28 +; LMULMAX2-RV32-NEXT: vadd.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: lui a1, 61681 +; LMULMAX2-RV32-NEXT: addi a1, a1, -241 +; LMULMAX2-RV32-NEXT: vsetivli a2, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vmv.v.x v28, a1 +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vand.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: lui a1, 4112 +; LMULMAX2-RV32-NEXT: addi a1, a1, 257 +; LMULMAX2-RV32-NEXT: vsetivli a2, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vmv.v.x v28, a1 +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vmul.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: lui a1, %hi(.LCPI7_3) +; LMULMAX2-RV32-NEXT: addi a1, a1, %lo(.LCPI7_3) +; LMULMAX2-RV32-NEXT: vsetivli a2, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v28, (a1) +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vsrl.vv v26, v26, v28 +; LMULMAX2-RV32-NEXT: vse64.v v26, (a0) +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: ctpop_v4i64: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle64.v v26, (a0) +; LMULMAX2-RV64-NEXT: vsrl.vi v28, v26, 1 +; LMULMAX2-RV64-NEXT: lui a1, 21845 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: vand.vx v28, v28, a1 +; LMULMAX2-RV64-NEXT: vsub.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: lui a1, 13107 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 819 +; LMULMAX2-RV64-NEXT: vand.vx v28, v26, a1 +; LMULMAX2-RV64-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vadd.vv v26, v28, v26 +; LMULMAX2-RV64-NEXT: vsrl.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vadd.vv v26, v26, v28 +; LMULMAX2-RV64-NEXT: lui a1, 3855 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, -241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 241 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, -241 +; LMULMAX2-RV64-NEXT: vand.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: vmul.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: addi a1, zero, 56 +; LMULMAX2-RV64-NEXT: vsrl.vx v26, v26, a1 +; LMULMAX2-RV64-NEXT: vse64.v v26, (a0) +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: ctpop_v4i64: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle64.v v25, (a0) +; LMULMAX1-RV32-NEXT: addi a1, a0, 16 +; LMULMAX1-RV32-NEXT: vle64.v v26, (a1) +; LMULMAX1-RV32-NEXT: lui a2, %hi(.LCPI7_0) +; LMULMAX1-RV32-NEXT: addi a2, a2, %lo(.LCPI7_0) +; LMULMAX1-RV32-NEXT: vsetivli a3, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v27, (a2) +; LMULMAX1-RV32-NEXT: vsetivli a2, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vv v28, v26, v27 +; LMULMAX1-RV32-NEXT: lui a2, 349525 +; LMULMAX1-RV32-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV32-NEXT: vsetivli a3, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vmv.v.x v29, a2 +; LMULMAX1-RV32-NEXT: vsetivli a2, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vand.vv v28, v28, v29 +; LMULMAX1-RV32-NEXT: vsub.vv v26, v26, v28 +; LMULMAX1-RV32-NEXT: lui a2, 209715 +; LMULMAX1-RV32-NEXT: addi a2, a2, 819 +; LMULMAX1-RV32-NEXT: vsetivli a3, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vmv.v.x v28, a2 +; LMULMAX1-RV32-NEXT: vsetivli a2, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vand.vv v30, v26, v28 +; LMULMAX1-RV32-NEXT: lui a2, %hi(.LCPI7_1) +; LMULMAX1-RV32-NEXT: addi a2, a2, %lo(.LCPI7_1) +; LMULMAX1-RV32-NEXT: vsetivli a3, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v31, (a2) +; LMULMAX1-RV32-NEXT: vsetivli a2, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vv v26, v26, v31 +; LMULMAX1-RV32-NEXT: vand.vv v26, v26, v28 +; LMULMAX1-RV32-NEXT: vadd.vv v26, v30, v26 +; LMULMAX1-RV32-NEXT: lui a2, %hi(.LCPI7_2) +; LMULMAX1-RV32-NEXT: addi a2, a2, %lo(.LCPI7_2) +; LMULMAX1-RV32-NEXT: vsetivli a3, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v30, (a2) +; LMULMAX1-RV32-NEXT: vsetivli a2, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vv v8, v26, v30 +; LMULMAX1-RV32-NEXT: vadd.vv v26, v26, v8 +; LMULMAX1-RV32-NEXT: lui a2, 61681 +; LMULMAX1-RV32-NEXT: addi a2, a2, -241 +; LMULMAX1-RV32-NEXT: vsetivli a3, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vmv.v.x v8, a2 +; LMULMAX1-RV32-NEXT: vsetivli a2, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vand.vv v26, v26, v8 +; LMULMAX1-RV32-NEXT: lui a2, 4112 +; LMULMAX1-RV32-NEXT: addi a2, a2, 257 +; LMULMAX1-RV32-NEXT: vsetivli a3, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vmv.v.x v9, a2 +; LMULMAX1-RV32-NEXT: vsetivli a2, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vmul.vv v26, v26, v9 +; LMULMAX1-RV32-NEXT: lui a2, %hi(.LCPI7_3) +; LMULMAX1-RV32-NEXT: addi a2, a2, %lo(.LCPI7_3) +; LMULMAX1-RV32-NEXT: vsetivli a3, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v10, (a2) +; LMULMAX1-RV32-NEXT: vsetivli a2, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vv v26, v26, v10 +; LMULMAX1-RV32-NEXT: vsrl.vv v27, v25, v27 +; LMULMAX1-RV32-NEXT: vand.vv v27, v27, v29 +; LMULMAX1-RV32-NEXT: vsub.vv v25, v25, v27 +; LMULMAX1-RV32-NEXT: vand.vv v27, v25, v28 +; LMULMAX1-RV32-NEXT: vsrl.vv v25, v25, v31 +; LMULMAX1-RV32-NEXT: vand.vv v25, v25, v28 +; LMULMAX1-RV32-NEXT: vadd.vv v25, v27, v25 +; LMULMAX1-RV32-NEXT: vsrl.vv v27, v25, v30 +; LMULMAX1-RV32-NEXT: vadd.vv v25, v25, v27 +; LMULMAX1-RV32-NEXT: vand.vv v25, v25, v8 +; LMULMAX1-RV32-NEXT: vmul.vv v25, v25, v9 +; LMULMAX1-RV32-NEXT: vsrl.vv v25, v25, v10 +; LMULMAX1-RV32-NEXT: vse64.v v25, (a0) +; LMULMAX1-RV32-NEXT: vse64.v v26, (a1) +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: ctpop_v4i64: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: addi a6, a0, 16 +; LMULMAX1-RV64-NEXT: vle64.v v25, (a6) +; LMULMAX1-RV64-NEXT: vle64.v v26, (a0) +; LMULMAX1-RV64-NEXT: vsrl.vi v27, v25, 1 +; LMULMAX1-RV64-NEXT: lui a2, 21845 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: vand.vx v27, v27, a2 +; LMULMAX1-RV64-NEXT: vsub.vv v25, v25, v27 +; LMULMAX1-RV64-NEXT: lui a3, 13107 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: vand.vx v27, v25, a3 +; LMULMAX1-RV64-NEXT: vsrl.vi v25, v25, 2 +; LMULMAX1-RV64-NEXT: vand.vx v25, v25, a3 +; LMULMAX1-RV64-NEXT: vadd.vv v25, v27, v25 +; LMULMAX1-RV64-NEXT: vsrl.vi v27, v25, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v25, v25, v27 +; LMULMAX1-RV64-NEXT: lui a4, 3855 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: vand.vx v25, v25, a4 +; LMULMAX1-RV64-NEXT: lui a5, 4112 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: vmul.vx v25, v25, a5 +; LMULMAX1-RV64-NEXT: addi a1, zero, 56 +; LMULMAX1-RV64-NEXT: vsrl.vx v25, v25, a1 +; LMULMAX1-RV64-NEXT: vsrl.vi v27, v26, 1 +; LMULMAX1-RV64-NEXT: vand.vx v27, v27, a2 +; LMULMAX1-RV64-NEXT: vsub.vv v26, v26, v27 +; LMULMAX1-RV64-NEXT: vand.vx v27, v26, a3 +; LMULMAX1-RV64-NEXT: vsrl.vi v26, v26, 2 +; LMULMAX1-RV64-NEXT: vand.vx v26, v26, a3 +; LMULMAX1-RV64-NEXT: vadd.vv v26, v27, v26 +; LMULMAX1-RV64-NEXT: vsrl.vi v27, v26, 4 +; LMULMAX1-RV64-NEXT: vadd.vv v26, v26, v27 +; LMULMAX1-RV64-NEXT: vand.vx v26, v26, a4 +; LMULMAX1-RV64-NEXT: vmul.vx v26, v26, a5 +; LMULMAX1-RV64-NEXT: vsrl.vx v26, v26, a1 +; LMULMAX1-RV64-NEXT: vse64.v v26, (a0) +; LMULMAX1-RV64-NEXT: vse64.v v25, (a6) +; LMULMAX1-RV64-NEXT: ret + %a = load <4 x i64>, <4 x i64>* %x + %b = load <4 x i64>, <4 x i64>* %y + %c = call <4 x i64> @llvm.ctpop.v4i64(<4 x i64> %a) + store <4 x i64> %c, <4 x i64>* %x + ret void +} +declare <4 x i64> @llvm.ctpop.v4i64(<4 x i64>) diff --git a/test/CodeGen/RISCV/rvv/fixed-vectors-cttz.ll b/test/CodeGen/RISCV/rvv/fixed-vectors-cttz.ll new file mode 100644 index 00000000000..c465cce84f1 --- /dev/null +++ b/test/CodeGen/RISCV/rvv/fixed-vectors-cttz.ll @@ -0,0 +1,8288 @@ +; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py +; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX2-RV32 +; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=2 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX2-RV64 +; RUN: llc -mtriple=riscv32 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX1-RV32 +; RUN: llc -mtriple=riscv64 -mattr=+m,+experimental-v -verify-machineinstrs -riscv-v-vector-bits-min=128 -riscv-v-fixed-length-vector-lmul-max=1 -verify-machineinstrs < %s | FileCheck %s --check-prefixes=LMULMAX1-RV64 + +define void @cttz_v16i8(<16 x i8>* %x, <16 x i8>* %y) { +; LMULMAX2-RV32-LABEL: cttz_v16i8: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -16 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v25, (a0) +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a2, a1, a2 +; LMULMAX2-RV32-NEXT: srli a3, a2, 1 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a6, a1, 1365 +; LMULMAX2-RV32-NEXT: and a3, a3, a6 +; LMULMAX2-RV32-NEXT: sub a3, a2, a3 +; LMULMAX2-RV32-NEXT: lui a2, 209715 +; LMULMAX2-RV32-NEXT: addi a2, a2, 819 +; LMULMAX2-RV32-NEXT: and a4, a3, a2 +; LMULMAX2-RV32-NEXT: srli a3, a3, 2 +; LMULMAX2-RV32-NEXT: and a3, a3, a2 +; LMULMAX2-RV32-NEXT: add a3, a4, a3 +; LMULMAX2-RV32-NEXT: srli a4, a3, 4 +; LMULMAX2-RV32-NEXT: add a4, a3, a4 +; LMULMAX2-RV32-NEXT: lui a3, 61681 +; LMULMAX2-RV32-NEXT: addi a3, a3, -241 +; LMULMAX2-RV32-NEXT: and a5, a4, a3 +; LMULMAX2-RV32-NEXT: lui a4, 4112 +; LMULMAX2-RV32-NEXT: addi a4, a4, 257 +; LMULMAX2-RV32-NEXT: mul a5, a5, a4 +; LMULMAX2-RV32-NEXT: srli a5, a5, 24 +; LMULMAX2-RV32-NEXT: sb a5, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a5, 1, e8,m1,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v26 +; LMULMAX2-RV32-NEXT: ori a5, a5, 256 +; LMULMAX2-RV32-NEXT: addi a1, a5, -1 +; LMULMAX2-RV32-NEXT: not a5, a5 +; LMULMAX2-RV32-NEXT: and a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 15(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 13(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 11(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 9(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 7(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 5(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 3(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 2(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 1(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v25, (sp) +; LMULMAX2-RV32-NEXT: vse8.v v25, (a0) +; LMULMAX2-RV32-NEXT: addi sp, sp, 16 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: cttz_v16i8: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -16 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v25, (a0) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e8,m1,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a2, a1, a2 +; LMULMAX2-RV64-NEXT: srli a3, a2, 1 +; LMULMAX2-RV64-NEXT: lui a1, 21845 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a6, a1, 1365 +; LMULMAX2-RV64-NEXT: and a3, a3, a6 +; LMULMAX2-RV64-NEXT: sub a3, a2, a3 +; LMULMAX2-RV64-NEXT: lui a2, 13107 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: and a4, a3, a2 +; LMULMAX2-RV64-NEXT: srli a3, a3, 2 +; LMULMAX2-RV64-NEXT: and a3, a3, a2 +; LMULMAX2-RV64-NEXT: add a3, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a3, 4 +; LMULMAX2-RV64-NEXT: add a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 3855 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, -241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 241 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, -241 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: lui a4, 4112 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 257 +; LMULMAX2-RV64-NEXT: slli a4, a4, 16 +; LMULMAX2-RV64-NEXT: addi a4, a4, 257 +; LMULMAX2-RV64-NEXT: slli a4, a4, 16 +; LMULMAX2-RV64-NEXT: addi a4, a4, 257 +; LMULMAX2-RV64-NEXT: mul a5, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a5, 56 +; LMULMAX2-RV64-NEXT: sb a5, 15(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX2-RV64-NEXT: vmv.x.s a5, v26 +; LMULMAX2-RV64-NEXT: ori a5, a5, 256 +; LMULMAX2-RV64-NEXT: addi a1, a5, -1 +; LMULMAX2-RV64-NEXT: not a5, a5 +; LMULMAX2-RV64-NEXT: and a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 13(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 11(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 9(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 7(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 5(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 3(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 2(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a5, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 1(sp) +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a5, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a5, a1, 1 +; LMULMAX2-RV64-NEXT: and a5, a5, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a5 +; LMULMAX2-RV64-NEXT: and a5, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a5, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: mul a1, a1, a4 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v25, (sp) +; LMULMAX2-RV64-NEXT: vse8.v v25, (a0) +; LMULMAX2-RV64-NEXT: addi sp, sp, 16 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: cttz_v16i8: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -16 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV32-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle8.v v25, (a0) +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a2, a1, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: lui a1, 349525 +; LMULMAX1-RV32-NEXT: addi a6, a1, 1365 +; LMULMAX1-RV32-NEXT: and a3, a3, a6 +; LMULMAX1-RV32-NEXT: sub a3, a2, a3 +; LMULMAX1-RV32-NEXT: lui a2, 209715 +; LMULMAX1-RV32-NEXT: addi a2, a2, 819 +; LMULMAX1-RV32-NEXT: and a4, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a3, 2 +; LMULMAX1-RV32-NEXT: and a3, a3, a2 +; LMULMAX1-RV32-NEXT: add a3, a4, a3 +; LMULMAX1-RV32-NEXT: srli a4, a3, 4 +; LMULMAX1-RV32-NEXT: add a4, a3, a4 +; LMULMAX1-RV32-NEXT: lui a3, 61681 +; LMULMAX1-RV32-NEXT: addi a3, a3, -241 +; LMULMAX1-RV32-NEXT: and a5, a4, a3 +; LMULMAX1-RV32-NEXT: lui a4, 4112 +; LMULMAX1-RV32-NEXT: addi a4, a4, 257 +; LMULMAX1-RV32-NEXT: mul a5, a5, a4 +; LMULMAX1-RV32-NEXT: srli a5, a5, 24 +; LMULMAX1-RV32-NEXT: sb a5, 0(sp) +; LMULMAX1-RV32-NEXT: vsetivli a5, 1, e8,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-RV32-NEXT: vmv.x.s a5, v26 +; LMULMAX1-RV32-NEXT: ori a5, a5, 256 +; LMULMAX1-RV32-NEXT: addi a1, a5, -1 +; LMULMAX1-RV32-NEXT: not a5, a5 +; LMULMAX1-RV32-NEXT: and a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 15(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 14(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 13(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 12(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 11(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 10(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 9(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 8(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 7(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 6(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 5(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 4(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 3(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 2(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: mul a1, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 1(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle8.v v25, (sp) +; LMULMAX1-RV32-NEXT: vse8.v v25, (a0) +; LMULMAX1-RV32-NEXT: addi sp, sp, 16 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: cttz_v16i8: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -16 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV64-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle8.v v25, (a0) +; LMULMAX1-RV64-NEXT: vsetivli a1, 1, e8,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a2, a1, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: lui a1, 21845 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX1-RV64-NEXT: slli a1, a1, 12 +; LMULMAX1-RV64-NEXT: addi a6, a1, 1365 +; LMULMAX1-RV64-NEXT: and a3, a3, a6 +; LMULMAX1-RV64-NEXT: sub a3, a2, a3 +; LMULMAX1-RV64-NEXT: lui a2, 13107 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: and a4, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a3, 2 +; LMULMAX1-RV64-NEXT: and a3, a3, a2 +; LMULMAX1-RV64-NEXT: add a3, a4, a3 +; LMULMAX1-RV64-NEXT: srli a4, a3, 4 +; LMULMAX1-RV64-NEXT: add a4, a3, a4 +; LMULMAX1-RV64-NEXT: lui a3, 3855 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 241 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, -241 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 241 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, -241 +; LMULMAX1-RV64-NEXT: and a5, a4, a3 +; LMULMAX1-RV64-NEXT: lui a4, 4112 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 257 +; LMULMAX1-RV64-NEXT: slli a4, a4, 16 +; LMULMAX1-RV64-NEXT: addi a4, a4, 257 +; LMULMAX1-RV64-NEXT: slli a4, a4, 16 +; LMULMAX1-RV64-NEXT: addi a4, a4, 257 +; LMULMAX1-RV64-NEXT: mul a5, a5, a4 +; LMULMAX1-RV64-NEXT: srli a5, a5, 56 +; LMULMAX1-RV64-NEXT: sb a5, 15(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-RV64-NEXT: vmv.x.s a5, v26 +; LMULMAX1-RV64-NEXT: ori a5, a5, 256 +; LMULMAX1-RV64-NEXT: addi a1, a5, -1 +; LMULMAX1-RV64-NEXT: not a5, a5 +; LMULMAX1-RV64-NEXT: and a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 14(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 13(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 12(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 11(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 10(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 9(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 8(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 7(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 6(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 5(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 4(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 3(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 2(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 1(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a5, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a5, a1, 1 +; LMULMAX1-RV64-NEXT: and a5, a5, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a5 +; LMULMAX1-RV64-NEXT: and a5, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: mul a1, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 0(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle8.v v25, (sp) +; LMULMAX1-RV64-NEXT: vse8.v v25, (a0) +; LMULMAX1-RV64-NEXT: addi sp, sp, 16 +; LMULMAX1-RV64-NEXT: ret + %a = load <16 x i8>, <16 x i8>* %x + %b = load <16 x i8>, <16 x i8>* %y + %c = call <16 x i8> @llvm.cttz.v16i8(<16 x i8> %a, i1 false) + store <16 x i8> %c, <16 x i8>* %x + ret void +} +declare <16 x i8> @llvm.cttz.v16i8(<16 x i8>, i1) + +define void @cttz_v8i16(<8 x i16>* %x, <8 x i16>* %y) { +; LMULMAX2-RV32-LABEL: cttz_v8i16: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -16 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle16.v v25, (a0) +; LMULMAX2-RV32-NEXT: vmv.x.s a2, v25 +; LMULMAX2-RV32-NEXT: lui a6, 16 +; LMULMAX2-RV32-NEXT: or a2, a2, a6 +; LMULMAX2-RV32-NEXT: addi a3, a2, -1 +; LMULMAX2-RV32-NEXT: not a2, a2 +; LMULMAX2-RV32-NEXT: and a3, a2, a3 +; LMULMAX2-RV32-NEXT: srli a4, a3, 1 +; LMULMAX2-RV32-NEXT: lui a2, 349525 +; LMULMAX2-RV32-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV32-NEXT: and a4, a4, a7 +; LMULMAX2-RV32-NEXT: sub a4, a3, a4 +; LMULMAX2-RV32-NEXT: lui a3, 209715 +; LMULMAX2-RV32-NEXT: addi a3, a3, 819 +; LMULMAX2-RV32-NEXT: and a5, a4, a3 +; LMULMAX2-RV32-NEXT: srli a4, a4, 2 +; LMULMAX2-RV32-NEXT: and a4, a4, a3 +; LMULMAX2-RV32-NEXT: add a4, a5, a4 +; LMULMAX2-RV32-NEXT: srli a5, a4, 4 +; LMULMAX2-RV32-NEXT: add a5, a4, a5 +; LMULMAX2-RV32-NEXT: lui a4, 61681 +; LMULMAX2-RV32-NEXT: addi a4, a4, -241 +; LMULMAX2-RV32-NEXT: and a1, a5, a4 +; LMULMAX2-RV32-NEXT: lui a5, 4112 +; LMULMAX2-RV32-NEXT: addi a5, a5, 257 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e16,m1,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 2(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle16.v v25, (sp) +; LMULMAX2-RV32-NEXT: vse16.v v25, (a0) +; LMULMAX2-RV32-NEXT: addi sp, sp, 16 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: cttz_v8i16: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -16 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle16.v v25, (a0) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e16,m1,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX2-RV64-NEXT: lui a6, 16 +; LMULMAX2-RV64-NEXT: or a2, a2, a6 +; LMULMAX2-RV64-NEXT: addi a3, a2, -1 +; LMULMAX2-RV64-NEXT: not a2, a2 +; LMULMAX2-RV64-NEXT: and a3, a2, a3 +; LMULMAX2-RV64-NEXT: srli a4, a3, 1 +; LMULMAX2-RV64-NEXT: lui a2, 21845 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV64-NEXT: and a4, a4, a7 +; LMULMAX2-RV64-NEXT: sub a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 13107 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a4, 2 +; LMULMAX2-RV64-NEXT: and a4, a4, a3 +; LMULMAX2-RV64-NEXT: add a4, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a4, 4 +; LMULMAX2-RV64-NEXT: add a5, a4, a5 +; LMULMAX2-RV64-NEXT: lui a4, 3855 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: and a1, a5, a4 +; LMULMAX2-RV64-NEXT: lui a5, 4112 +; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 2(sp) +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle16.v v25, (sp) +; LMULMAX2-RV64-NEXT: vse16.v v25, (a0) +; LMULMAX2-RV64-NEXT: addi sp, sp, 16 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: cttz_v8i16: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -16 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle16.v v25, (a0) +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV32-NEXT: lui a6, 16 +; LMULMAX1-RV32-NEXT: or a2, a2, a6 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a3, a2, a3 +; LMULMAX1-RV32-NEXT: srli a4, a3, 1 +; LMULMAX1-RV32-NEXT: lui a2, 349525 +; LMULMAX1-RV32-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV32-NEXT: and a4, a4, a7 +; LMULMAX1-RV32-NEXT: sub a4, a3, a4 +; LMULMAX1-RV32-NEXT: lui a3, 209715 +; LMULMAX1-RV32-NEXT: addi a3, a3, 819 +; LMULMAX1-RV32-NEXT: and a5, a4, a3 +; LMULMAX1-RV32-NEXT: srli a4, a4, 2 +; LMULMAX1-RV32-NEXT: and a4, a4, a3 +; LMULMAX1-RV32-NEXT: add a4, a5, a4 +; LMULMAX1-RV32-NEXT: srli a5, a4, 4 +; LMULMAX1-RV32-NEXT: add a5, a4, a5 +; LMULMAX1-RV32-NEXT: lui a4, 61681 +; LMULMAX1-RV32-NEXT: addi a4, a4, -241 +; LMULMAX1-RV32-NEXT: and a1, a5, a4 +; LMULMAX1-RV32-NEXT: lui a5, 4112 +; LMULMAX1-RV32-NEXT: addi a5, a5, 257 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sh a1, 0(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: or a1, a1, a6 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sh a1, 14(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: or a1, a1, a6 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sh a1, 12(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: or a1, a1, a6 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sh a1, 10(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: or a1, a1, a6 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sh a1, 8(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: or a1, a1, a6 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sh a1, 6(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: or a1, a1, a6 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sh a1, 4(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: or a1, a1, a6 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sh a1, 2(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle16.v v25, (sp) +; LMULMAX1-RV32-NEXT: vse16.v v25, (a0) +; LMULMAX1-RV32-NEXT: addi sp, sp, 16 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: cttz_v8i16: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -16 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle16.v v25, (a0) +; LMULMAX1-RV64-NEXT: vsetivli a1, 1, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: lui a6, 16 +; LMULMAX1-RV64-NEXT: or a2, a2, a6 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a3, a2, a3 +; LMULMAX1-RV64-NEXT: srli a4, a3, 1 +; LMULMAX1-RV64-NEXT: lui a2, 21845 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a4, a3, a4 +; LMULMAX1-RV64-NEXT: lui a3, 13107 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: and a5, a4, a3 +; LMULMAX1-RV64-NEXT: srli a4, a4, 2 +; LMULMAX1-RV64-NEXT: and a4, a4, a3 +; LMULMAX1-RV64-NEXT: add a4, a5, a4 +; LMULMAX1-RV64-NEXT: srli a5, a4, 4 +; LMULMAX1-RV64-NEXT: add a5, a4, a5 +; LMULMAX1-RV64-NEXT: lui a4, 3855 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: and a1, a5, a4 +; LMULMAX1-RV64-NEXT: lui a5, 4112 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sh a1, 14(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: or a1, a1, a6 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sh a1, 12(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: or a1, a1, a6 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sh a1, 10(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: or a1, a1, a6 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sh a1, 8(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: or a1, a1, a6 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sh a1, 6(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: or a1, a1, a6 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sh a1, 4(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: or a1, a1, a6 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sh a1, 2(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: or a1, a1, a6 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sh a1, 0(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle16.v v25, (sp) +; LMULMAX1-RV64-NEXT: vse16.v v25, (a0) +; LMULMAX1-RV64-NEXT: addi sp, sp, 16 +; LMULMAX1-RV64-NEXT: ret + %a = load <8 x i16>, <8 x i16>* %x + %b = load <8 x i16>, <8 x i16>* %y + %c = call <8 x i16> @llvm.cttz.v8i16(<8 x i16> %a, i1 false) + store <8 x i16> %c, <8 x i16>* %x + ret void +} +declare <8 x i16> @llvm.cttz.v8i16(<8 x i16>, i1) + +define void @cttz_v4i32(<4 x i32>* %x, <4 x i32>* %y) { +; LMULMAX2-RV32-LABEL: cttz_v4i32: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -16 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v25, (a0) +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: lui a3, 349525 +; LMULMAX2-RV32-NEXT: addi a6, a3, 1365 +; LMULMAX2-RV32-NEXT: and a2, a2, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: lui a2, 209715 +; LMULMAX2-RV32-NEXT: addi a2, a2, 819 +; LMULMAX2-RV32-NEXT: and a4, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a4, a1 +; LMULMAX2-RV32-NEXT: srli a4, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a4 +; LMULMAX2-RV32-NEXT: lui a4, 61681 +; LMULMAX2-RV32-NEXT: addi a4, a4, -241 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: lui a5, 4112 +; LMULMAX2-RV32-NEXT: addi a5, a5, 257 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: addi a3, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: srli a3, a1, 1 +; LMULMAX2-RV32-NEXT: and a3, a3, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a3, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a3, a1 +; LMULMAX2-RV32-NEXT: srli a3, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: addi a3, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: srli a3, a1, 1 +; LMULMAX2-RV32-NEXT: and a3, a3, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a3, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a3, a1 +; LMULMAX2-RV32-NEXT: srli a3, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV32-NEXT: addi a3, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: srli a3, a1, 1 +; LMULMAX2-RV32-NEXT: and a3, a3, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a3, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a3, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 4(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v25, (sp) +; LMULMAX2-RV32-NEXT: vse32.v v25, (a0) +; LMULMAX2-RV32-NEXT: addi sp, sp, 16 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: cttz_v4i32: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -16 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle32.v v25, (a0) +; LMULMAX2-RV64-NEXT: addi a1, zero, 1 +; LMULMAX2-RV64-NEXT: vsetivli a2, 1, e32,m1,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX2-RV64-NEXT: slli a6, a1, 32 +; LMULMAX2-RV64-NEXT: or a2, a2, a6 +; LMULMAX2-RV64-NEXT: addi a3, a2, -1 +; LMULMAX2-RV64-NEXT: not a2, a2 +; LMULMAX2-RV64-NEXT: and a3, a2, a3 +; LMULMAX2-RV64-NEXT: srli a4, a3, 1 +; LMULMAX2-RV64-NEXT: lui a2, 21845 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV64-NEXT: and a4, a4, a7 +; LMULMAX2-RV64-NEXT: sub a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 13107 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a4, 2 +; LMULMAX2-RV64-NEXT: and a4, a4, a3 +; LMULMAX2-RV64-NEXT: add a4, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a4, 4 +; LMULMAX2-RV64-NEXT: add a4, a4, a5 +; LMULMAX2-RV64-NEXT: lui a5, 3855 +; LMULMAX2-RV64-NEXT: addiw a5, a5, 241 +; LMULMAX2-RV64-NEXT: slli a5, a5, 12 +; LMULMAX2-RV64-NEXT: addi a5, a5, -241 +; LMULMAX2-RV64-NEXT: slli a5, a5, 12 +; LMULMAX2-RV64-NEXT: addi a5, a5, 241 +; LMULMAX2-RV64-NEXT: slli a5, a5, 12 +; LMULMAX2-RV64-NEXT: addi a5, a5, -241 +; LMULMAX2-RV64-NEXT: and a4, a4, a5 +; LMULMAX2-RV64-NEXT: lui a1, 4112 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: slli a1, a1, 16 +; LMULMAX2-RV64-NEXT: addi a1, a1, 257 +; LMULMAX2-RV64-NEXT: mul a4, a4, a1 +; LMULMAX2-RV64-NEXT: srli a4, a4, 56 +; LMULMAX2-RV64-NEXT: sw a4, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a4, v26 +; LMULMAX2-RV64-NEXT: or a4, a4, a6 +; LMULMAX2-RV64-NEXT: addi a2, a4, -1 +; LMULMAX2-RV64-NEXT: not a4, a4 +; LMULMAX2-RV64-NEXT: and a2, a4, a2 +; LMULMAX2-RV64-NEXT: srli a4, a2, 1 +; LMULMAX2-RV64-NEXT: and a4, a4, a7 +; LMULMAX2-RV64-NEXT: sub a2, a2, a4 +; LMULMAX2-RV64-NEXT: and a4, a2, a3 +; LMULMAX2-RV64-NEXT: srli a2, a2, 2 +; LMULMAX2-RV64-NEXT: and a2, a2, a3 +; LMULMAX2-RV64-NEXT: add a2, a4, a2 +; LMULMAX2-RV64-NEXT: srli a4, a2, 4 +; LMULMAX2-RV64-NEXT: add a2, a2, a4 +; LMULMAX2-RV64-NEXT: and a2, a2, a5 +; LMULMAX2-RV64-NEXT: mul a2, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a2, 56 +; LMULMAX2-RV64-NEXT: sw a2, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX2-RV64-NEXT: or a2, a2, a6 +; LMULMAX2-RV64-NEXT: addi a4, a2, -1 +; LMULMAX2-RV64-NEXT: not a2, a2 +; LMULMAX2-RV64-NEXT: and a2, a2, a4 +; LMULMAX2-RV64-NEXT: srli a4, a2, 1 +; LMULMAX2-RV64-NEXT: and a4, a4, a7 +; LMULMAX2-RV64-NEXT: sub a2, a2, a4 +; LMULMAX2-RV64-NEXT: and a4, a2, a3 +; LMULMAX2-RV64-NEXT: srli a2, a2, 2 +; LMULMAX2-RV64-NEXT: and a2, a2, a3 +; LMULMAX2-RV64-NEXT: add a2, a4, a2 +; LMULMAX2-RV64-NEXT: srli a4, a2, 4 +; LMULMAX2-RV64-NEXT: add a2, a2, a4 +; LMULMAX2-RV64-NEXT: and a2, a2, a5 +; LMULMAX2-RV64-NEXT: mul a2, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a2, 56 +; LMULMAX2-RV64-NEXT: sw a2, 4(sp) +; LMULMAX2-RV64-NEXT: vmv.x.s a2, v25 +; LMULMAX2-RV64-NEXT: or a2, a2, a6 +; LMULMAX2-RV64-NEXT: addi a4, a2, -1 +; LMULMAX2-RV64-NEXT: not a2, a2 +; LMULMAX2-RV64-NEXT: and a2, a2, a4 +; LMULMAX2-RV64-NEXT: srli a4, a2, 1 +; LMULMAX2-RV64-NEXT: and a4, a4, a7 +; LMULMAX2-RV64-NEXT: sub a2, a2, a4 +; LMULMAX2-RV64-NEXT: and a4, a2, a3 +; LMULMAX2-RV64-NEXT: srli a2, a2, 2 +; LMULMAX2-RV64-NEXT: and a2, a2, a3 +; LMULMAX2-RV64-NEXT: add a2, a4, a2 +; LMULMAX2-RV64-NEXT: srli a3, a2, 4 +; LMULMAX2-RV64-NEXT: add a2, a2, a3 +; LMULMAX2-RV64-NEXT: and a2, a2, a5 +; LMULMAX2-RV64-NEXT: mul a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sw a1, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle32.v v25, (sp) +; LMULMAX2-RV64-NEXT: vse32.v v25, (a0) +; LMULMAX2-RV64-NEXT: addi sp, sp, 16 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: cttz_v4i32: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -16 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v25, (a0) +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: lui a3, 349525 +; LMULMAX1-RV32-NEXT: addi a6, a3, 1365 +; LMULMAX1-RV32-NEXT: and a2, a2, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: lui a2, 209715 +; LMULMAX1-RV32-NEXT: addi a2, a2, 819 +; LMULMAX1-RV32-NEXT: and a4, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a4, a1 +; LMULMAX1-RV32-NEXT: srli a4, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a4 +; LMULMAX1-RV32-NEXT: lui a4, 61681 +; LMULMAX1-RV32-NEXT: addi a4, a4, -241 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: lui a5, 4112 +; LMULMAX1-RV32-NEXT: addi a5, a5, 257 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 0(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: addi a3, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a3, a1, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a3 +; LMULMAX1-RV32-NEXT: and a3, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a3, a1 +; LMULMAX1-RV32-NEXT: srli a3, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a3 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 12(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: addi a3, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a3, a1, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a3 +; LMULMAX1-RV32-NEXT: and a3, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a3, a1 +; LMULMAX1-RV32-NEXT: srli a3, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a3 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 8(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: addi a3, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a3, a1, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, a6 +; LMULMAX1-RV32-NEXT: sub a1, a1, a3 +; LMULMAX1-RV32-NEXT: and a3, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: add a1, a3, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 4(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v25, (sp) +; LMULMAX1-RV32-NEXT: vse32.v v25, (a0) +; LMULMAX1-RV32-NEXT: addi sp, sp, 16 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: cttz_v4i32: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -16 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle32.v v25, (a0) +; LMULMAX1-RV64-NEXT: addi a1, zero, 1 +; LMULMAX1-RV64-NEXT: vsetivli a2, 1, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: slli a6, a1, 32 +; LMULMAX1-RV64-NEXT: or a2, a2, a6 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a3, a2, a3 +; LMULMAX1-RV64-NEXT: srli a4, a3, 1 +; LMULMAX1-RV64-NEXT: lui a2, 21845 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a4, a3, a4 +; LMULMAX1-RV64-NEXT: lui a3, 13107 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: and a5, a4, a3 +; LMULMAX1-RV64-NEXT: srli a4, a4, 2 +; LMULMAX1-RV64-NEXT: and a4, a4, a3 +; LMULMAX1-RV64-NEXT: add a4, a5, a4 +; LMULMAX1-RV64-NEXT: srli a5, a4, 4 +; LMULMAX1-RV64-NEXT: add a4, a4, a5 +; LMULMAX1-RV64-NEXT: lui a5, 3855 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: and a4, a4, a5 +; LMULMAX1-RV64-NEXT: lui a1, 4112 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: mul a4, a4, a1 +; LMULMAX1-RV64-NEXT: srli a4, a4, 56 +; LMULMAX1-RV64-NEXT: sw a4, 12(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a4, v26 +; LMULMAX1-RV64-NEXT: or a4, a4, a6 +; LMULMAX1-RV64-NEXT: addi a2, a4, -1 +; LMULMAX1-RV64-NEXT: not a4, a4 +; LMULMAX1-RV64-NEXT: and a2, a4, a2 +; LMULMAX1-RV64-NEXT: srli a4, a2, 1 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a2, a2, a4 +; LMULMAX1-RV64-NEXT: and a4, a2, a3 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: add a2, a4, a2 +; LMULMAX1-RV64-NEXT: srli a4, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a4 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sw a2, 8(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a6 +; LMULMAX1-RV64-NEXT: addi a4, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: srli a4, a2, 1 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a2, a2, a4 +; LMULMAX1-RV64-NEXT: and a4, a2, a3 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: add a2, a4, a2 +; LMULMAX1-RV64-NEXT: srli a4, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a4 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sw a2, 4(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV64-NEXT: or a2, a2, a6 +; LMULMAX1-RV64-NEXT: addi a4, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: srli a4, a2, 1 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a2, a2, a4 +; LMULMAX1-RV64-NEXT: and a4, a2, a3 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: add a2, a4, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sw a1, 0(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle32.v v25, (sp) +; LMULMAX1-RV64-NEXT: vse32.v v25, (a0) +; LMULMAX1-RV64-NEXT: addi sp, sp, 16 +; LMULMAX1-RV64-NEXT: ret + %a = load <4 x i32>, <4 x i32>* %x + %b = load <4 x i32>, <4 x i32>* %y + %c = call <4 x i32> @llvm.cttz.v4i32(<4 x i32> %a, i1 false) + store <4 x i32> %c, <4 x i32>* %x + ret void +} +declare <4 x i32> @llvm.cttz.v4i32(<4 x i32>, i1) + +define void @cttz_v2i64(<2 x i64>* %x, <2 x i64>* %y) { +; LMULMAX2-RV32-LABEL: cttz_v2i64: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -16 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle64.v v25, (a0) +; LMULMAX2-RV32-NEXT: sw zero, 12(sp) +; LMULMAX2-RV32-NEXT: sw zero, 4(sp) +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v25 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a4, a1, 1365 +; LMULMAX2-RV32-NEXT: lui a1, 209715 +; LMULMAX2-RV32-NEXT: addi a3, a1, 819 +; LMULMAX2-RV32-NEXT: lui a1, 61681 +; LMULMAX2-RV32-NEXT: addi a7, a1, -241 +; LMULMAX2-RV32-NEXT: lui a1, 4112 +; LMULMAX2-RV32-NEXT: addi a2, a1, 257 +; LMULMAX2-RV32-NEXT: addi a6, zero, 32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vsrl.vx v26, v25, a6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: bnez a5, .LBB3_2 +; LMULMAX2-RV32-NEXT: # %bb.1: +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a5, a1, 32 +; LMULMAX2-RV32-NEXT: j .LBB3_3 +; LMULMAX2-RV32-NEXT: .LBB3_2: +; LMULMAX2-RV32-NEXT: addi a1, a5, -1 +; LMULMAX2-RV32-NEXT: not a5, a5 +; LMULMAX2-RV32-NEXT: and a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a5, a1, 24 +; LMULMAX2-RV32-NEXT: .LBB3_3: +; LMULMAX2-RV32-NEXT: sw a5, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v25 +; LMULMAX2-RV32-NEXT: vsrl.vx v25, v25, a6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV32-NEXT: bnez a5, .LBB3_5 +; LMULMAX2-RV32-NEXT: # %bb.4: +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a4, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a4 +; LMULMAX2-RV32-NEXT: and a4, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a4, a1 +; LMULMAX2-RV32-NEXT: srli a3, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, 32 +; LMULMAX2-RV32-NEXT: j .LBB3_6 +; LMULMAX2-RV32-NEXT: .LBB3_5: +; LMULMAX2-RV32-NEXT: addi a1, a5, -1 +; LMULMAX2-RV32-NEXT: not a5, a5 +; LMULMAX2-RV32-NEXT: and a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a4, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a4 +; LMULMAX2-RV32-NEXT: and a4, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a4, a1 +; LMULMAX2-RV32-NEXT: srli a3, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: .LBB3_6: +; LMULMAX2-RV32-NEXT: sw a1, 8(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v25, (sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV32-NEXT: vse64.v v25, (a0) +; LMULMAX2-RV32-NEXT: addi sp, sp, 16 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: cttz_v2i64: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -16 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX2-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle64.v v25, (a0) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: lui a3, 21845 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 1365 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a6, a3, 1365 +; LMULMAX2-RV64-NEXT: and a2, a2, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: lui a2, 13107 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: and a4, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a4, a1 +; LMULMAX2-RV64-NEXT: srli a4, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a4 +; LMULMAX2-RV64-NEXT: lui a4, 3855 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: lui a5, 4112 +; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sd a1, 8(sp) +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX2-RV64-NEXT: addi a3, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: srli a3, a1, 1 +; LMULMAX2-RV64-NEXT: and a3, a3, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a3 +; LMULMAX2-RV64-NEXT: and a3, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a3, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sd a1, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX2-RV64-NEXT: vle64.v v25, (sp) +; LMULMAX2-RV64-NEXT: vse64.v v25, (a0) +; LMULMAX2-RV64-NEXT: addi sp, sp, 16 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: cttz_v2i64: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -16 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle64.v v25, (a0) +; LMULMAX1-RV32-NEXT: sw zero, 12(sp) +; LMULMAX1-RV32-NEXT: sw zero, 4(sp) +; LMULMAX1-RV32-NEXT: vmv.x.s a5, v25 +; LMULMAX1-RV32-NEXT: lui a1, 349525 +; LMULMAX1-RV32-NEXT: addi a4, a1, 1365 +; LMULMAX1-RV32-NEXT: lui a1, 209715 +; LMULMAX1-RV32-NEXT: addi a3, a1, 819 +; LMULMAX1-RV32-NEXT: lui a1, 61681 +; LMULMAX1-RV32-NEXT: addi a7, a1, -241 +; LMULMAX1-RV32-NEXT: lui a1, 4112 +; LMULMAX1-RV32-NEXT: addi a2, a1, 257 +; LMULMAX1-RV32-NEXT: addi a6, zero, 32 +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vx v26, v25, a6 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: bnez a5, .LBB3_2 +; LMULMAX1-RV32-NEXT: # %bb.1: +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a4 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a7 +; LMULMAX1-RV32-NEXT: mul a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a5, a1, 32 +; LMULMAX1-RV32-NEXT: j .LBB3_3 +; LMULMAX1-RV32-NEXT: .LBB3_2: +; LMULMAX1-RV32-NEXT: addi a1, a5, -1 +; LMULMAX1-RV32-NEXT: not a5, a5 +; LMULMAX1-RV32-NEXT: and a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a5, a5, a4 +; LMULMAX1-RV32-NEXT: sub a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a5, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: and a1, a1, a7 +; LMULMAX1-RV32-NEXT: mul a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a5, a1, 24 +; LMULMAX1-RV32-NEXT: .LBB3_3: +; LMULMAX1-RV32-NEXT: sw a5, 0(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a5, v25 +; LMULMAX1-RV32-NEXT: vsrl.vx v25, v25, a6 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: bnez a5, .LBB3_5 +; LMULMAX1-RV32-NEXT: # %bb.4: +; LMULMAX1-RV32-NEXT: addi a5, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a4, a5, a4 +; LMULMAX1-RV32-NEXT: sub a1, a1, a4 +; LMULMAX1-RV32-NEXT: and a4, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a4, a1 +; LMULMAX1-RV32-NEXT: srli a3, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a3 +; LMULMAX1-RV32-NEXT: and a1, a1, a7 +; LMULMAX1-RV32-NEXT: mul a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, 32 +; LMULMAX1-RV32-NEXT: j .LBB3_6 +; LMULMAX1-RV32-NEXT: .LBB3_5: +; LMULMAX1-RV32-NEXT: addi a1, a5, -1 +; LMULMAX1-RV32-NEXT: not a5, a5 +; LMULMAX1-RV32-NEXT: and a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 1 +; LMULMAX1-RV32-NEXT: and a4, a5, a4 +; LMULMAX1-RV32-NEXT: sub a1, a1, a4 +; LMULMAX1-RV32-NEXT: and a4, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a4, a1 +; LMULMAX1-RV32-NEXT: srli a3, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a3 +; LMULMAX1-RV32-NEXT: and a1, a1, a7 +; LMULMAX1-RV32-NEXT: mul a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: .LBB3_6: +; LMULMAX1-RV32-NEXT: sw a1, 8(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v25, (sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vse64.v v25, (a0) +; LMULMAX1-RV32-NEXT: addi sp, sp, 16 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: cttz_v2i64: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -16 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 16 +; LMULMAX1-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle64.v v25, (a0) +; LMULMAX1-RV64-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: lui a3, 21845 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a6, a3, 1365 +; LMULMAX1-RV64-NEXT: and a2, a2, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: lui a2, 13107 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 819 +; LMULMAX1-RV64-NEXT: and a4, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a4, a1 +; LMULMAX1-RV64-NEXT: srli a4, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a4 +; LMULMAX1-RV64-NEXT: lui a4, 3855 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: lui a5, 4112 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sd a1, 8(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: addi a3, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a3, a1, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, a6 +; LMULMAX1-RV64-NEXT: sub a1, a1, a3 +; LMULMAX1-RV64-NEXT: and a3, a1, a2 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: add a1, a3, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sd a1, 0(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle64.v v25, (sp) +; LMULMAX1-RV64-NEXT: vse64.v v25, (a0) +; LMULMAX1-RV64-NEXT: addi sp, sp, 16 +; LMULMAX1-RV64-NEXT: ret + %a = load <2 x i64>, <2 x i64>* %x + %b = load <2 x i64>, <2 x i64>* %y + %c = call <2 x i64> @llvm.cttz.v2i64(<2 x i64> %a, i1 false) + store <2 x i64> %c, <2 x i64>* %x + ret void +} +declare <2 x i64> @llvm.cttz.v2i64(<2 x i64>, i1) + +define void @cttz_v32i8(<32 x i8>* %x, <32 x i8>* %y) { +; LMULMAX2-RV32-LABEL: cttz_v32i8: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: addi a6, zero, 32 +; LMULMAX2-RV32-NEXT: vsetvli a2, a6, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v26, (a0) +; LMULMAX2-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX2-RV32-NEXT: ori a2, a2, 256 +; LMULMAX2-RV32-NEXT: addi a3, a2, -1 +; LMULMAX2-RV32-NEXT: not a2, a2 +; LMULMAX2-RV32-NEXT: and a3, a2, a3 +; LMULMAX2-RV32-NEXT: srli a4, a3, 1 +; LMULMAX2-RV32-NEXT: lui a2, 349525 +; LMULMAX2-RV32-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV32-NEXT: and a4, a4, a7 +; LMULMAX2-RV32-NEXT: sub a4, a3, a4 +; LMULMAX2-RV32-NEXT: lui a3, 209715 +; LMULMAX2-RV32-NEXT: addi a3, a3, 819 +; LMULMAX2-RV32-NEXT: and a5, a4, a3 +; LMULMAX2-RV32-NEXT: srli a4, a4, 2 +; LMULMAX2-RV32-NEXT: and a4, a4, a3 +; LMULMAX2-RV32-NEXT: add a4, a5, a4 +; LMULMAX2-RV32-NEXT: srli a5, a4, 4 +; LMULMAX2-RV32-NEXT: add a5, a4, a5 +; LMULMAX2-RV32-NEXT: lui a4, 61681 +; LMULMAX2-RV32-NEXT: addi a4, a4, -241 +; LMULMAX2-RV32-NEXT: and a1, a5, a4 +; LMULMAX2-RV32-NEXT: lui a5, 4112 +; LMULMAX2-RV32-NEXT: addi a5, a5, 257 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 31(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 30(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 29(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 28(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 27(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 26(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 25(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 24(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 23(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 22(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 21(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 20(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 19(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 18(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 17(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 16(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 15(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 13(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 11(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 9(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 7(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 5(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 3(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 2(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: ori a1, a1, 256 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sb a1, 1(sp) +; LMULMAX2-RV32-NEXT: vsetvli a1, a6, e8,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV32-NEXT: vse8.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: cttz_v32i8: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: addi a6, zero, 32 +; LMULMAX2-RV64-NEXT: vsetvli a2, a6, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v26, (a0) +; LMULMAX2-RV64-NEXT: vsetivli a2, 1, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 31 +; LMULMAX2-RV64-NEXT: vmv.x.s a2, v28 +; LMULMAX2-RV64-NEXT: ori a2, a2, 256 +; LMULMAX2-RV64-NEXT: addi a3, a2, -1 +; LMULMAX2-RV64-NEXT: not a2, a2 +; LMULMAX2-RV64-NEXT: and a3, a2, a3 +; LMULMAX2-RV64-NEXT: srli a4, a3, 1 +; LMULMAX2-RV64-NEXT: lui a2, 21845 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV64-NEXT: and a4, a4, a7 +; LMULMAX2-RV64-NEXT: sub a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 13107 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a4, 2 +; LMULMAX2-RV64-NEXT: and a4, a4, a3 +; LMULMAX2-RV64-NEXT: add a4, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a4, 4 +; LMULMAX2-RV64-NEXT: add a5, a4, a5 +; LMULMAX2-RV64-NEXT: lui a4, 3855 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: and a1, a5, a4 +; LMULMAX2-RV64-NEXT: lui a5, 4112 +; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 31(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 30 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 30(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 29 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 29(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 28 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 28(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 27 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 27(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 26 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 26(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 25 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 25(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 24 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 23 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 23(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 22 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 22(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 21 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 21(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 20 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 20(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 19 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 19(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 18 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 18(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 17 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 17(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 16 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 15(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 13(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 11(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 9(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 7(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 5(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 3(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 2(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 1(sp) +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: ori a1, a1, 256 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sb a1, 0(sp) +; LMULMAX2-RV64-NEXT: vsetvli a1, a6, e8,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle8.v v26, (sp) +; LMULMAX2-RV64-NEXT: vse8.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: cttz_v32i8: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -32 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV32-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV32-NEXT: addi a6, a0, 16 +; LMULMAX1-RV32-NEXT: vle8.v v26, (a6) +; LMULMAX1-RV32-NEXT: vle8.v v25, (a0) +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: ori a2, a2, 256 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a3, a2, a3 +; LMULMAX1-RV32-NEXT: srli a4, a3, 1 +; LMULMAX1-RV32-NEXT: lui a2, 349525 +; LMULMAX1-RV32-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV32-NEXT: and a4, a4, a7 +; LMULMAX1-RV32-NEXT: sub a4, a3, a4 +; LMULMAX1-RV32-NEXT: lui a3, 209715 +; LMULMAX1-RV32-NEXT: addi a3, a3, 819 +; LMULMAX1-RV32-NEXT: and a5, a4, a3 +; LMULMAX1-RV32-NEXT: srli a4, a4, 2 +; LMULMAX1-RV32-NEXT: and a4, a4, a3 +; LMULMAX1-RV32-NEXT: add a4, a5, a4 +; LMULMAX1-RV32-NEXT: srli a5, a4, 4 +; LMULMAX1-RV32-NEXT: add a5, a4, a5 +; LMULMAX1-RV32-NEXT: lui a4, 61681 +; LMULMAX1-RV32-NEXT: addi a4, a4, -241 +; LMULMAX1-RV32-NEXT: and a1, a5, a4 +; LMULMAX1-RV32-NEXT: lui a5, 4112 +; LMULMAX1-RV32-NEXT: addi a5, a5, 257 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 16(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e8,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 15 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 31(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 14 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 30(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 13 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 29(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 12 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 28(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 11 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 27(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 10 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 26(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 9 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 25(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 8 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 24(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 7 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 23(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 22(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 21(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 20(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 19(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 18(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 17(sp) +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 0(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 15(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 14(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 13(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 12(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 11(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 10(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 9(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 8(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 7(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 6(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 5(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 4(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 3(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 2(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: ori a1, a1, 256 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sb a1, 1(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle8.v v25, (sp) +; LMULMAX1-RV32-NEXT: addi a1, sp, 16 +; LMULMAX1-RV32-NEXT: vle8.v v26, (a1) +; LMULMAX1-RV32-NEXT: vse8.v v25, (a0) +; LMULMAX1-RV32-NEXT: vse8.v v26, (a6) +; LMULMAX1-RV32-NEXT: addi sp, sp, 32 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: cttz_v32i8: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -32 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV64-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV64-NEXT: addi a6, a0, 16 +; LMULMAX1-RV64-NEXT: vle8.v v26, (a6) +; LMULMAX1-RV64-NEXT: vle8.v v25, (a0) +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: ori a2, a2, 256 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a3, a2, a3 +; LMULMAX1-RV64-NEXT: srli a4, a3, 1 +; LMULMAX1-RV64-NEXT: lui a2, 21845 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a4, a3, a4 +; LMULMAX1-RV64-NEXT: lui a3, 13107 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: and a5, a4, a3 +; LMULMAX1-RV64-NEXT: srli a4, a4, 2 +; LMULMAX1-RV64-NEXT: and a4, a4, a3 +; LMULMAX1-RV64-NEXT: add a4, a5, a4 +; LMULMAX1-RV64-NEXT: srli a5, a4, 4 +; LMULMAX1-RV64-NEXT: add a5, a4, a5 +; LMULMAX1-RV64-NEXT: lui a4, 3855 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 241 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, -241 +; LMULMAX1-RV64-NEXT: and a1, a5, a4 +; LMULMAX1-RV64-NEXT: lui a5, 4112 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: slli a5, a5, 16 +; LMULMAX1-RV64-NEXT: addi a5, a5, 257 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 16(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 1, e8,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 15 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 31(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 14 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 30(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 13 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 29(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 12 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 28(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 11 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 27(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 10 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 26(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 9 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 25(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 8 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 24(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 7 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 23(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 22(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 21(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 20(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 19(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 18(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 17(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 15 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 15(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 14 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 14(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 13 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 13(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 12 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 12(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 11 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 11(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 10 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 10(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 9 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 9(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 8 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 8(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 7(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 6(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 5(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 4(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 3(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 2(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 1(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV64-NEXT: ori a1, a1, 256 +; LMULMAX1-RV64-NEXT: addi a2, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a2 +; LMULMAX1-RV64-NEXT: srli a2, a1, 1 +; LMULMAX1-RV64-NEXT: and a2, a2, a7 +; LMULMAX1-RV64-NEXT: sub a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a2, a1, a3 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: add a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: mul a1, a1, a5 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sb a1, 0(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 16, e8,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle8.v v25, (sp) +; LMULMAX1-RV64-NEXT: addi a1, sp, 16 +; LMULMAX1-RV64-NEXT: vle8.v v26, (a1) +; LMULMAX1-RV64-NEXT: vse8.v v25, (a0) +; LMULMAX1-RV64-NEXT: vse8.v v26, (a6) +; LMULMAX1-RV64-NEXT: addi sp, sp, 32 +; LMULMAX1-RV64-NEXT: ret + %a = load <32 x i8>, <32 x i8>* %x + %b = load <32 x i8>, <32 x i8>* %y + %c = call <32 x i8> @llvm.cttz.v32i8(<32 x i8> %a, i1 false) + store <32 x i8> %c, <32 x i8>* %x + ret void +} +declare <32 x i8> @llvm.cttz.v32i8(<32 x i8>, i1) + +define void @cttz_v16i16(<16 x i16>* %x, <16 x i16>* %y) { +; LMULMAX2-RV32-LABEL: cttz_v16i16: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle16.v v26, (a0) +; LMULMAX2-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX2-RV32-NEXT: lui a6, 16 +; LMULMAX2-RV32-NEXT: or a2, a2, a6 +; LMULMAX2-RV32-NEXT: addi a3, a2, -1 +; LMULMAX2-RV32-NEXT: not a2, a2 +; LMULMAX2-RV32-NEXT: and a3, a2, a3 +; LMULMAX2-RV32-NEXT: srli a4, a3, 1 +; LMULMAX2-RV32-NEXT: lui a2, 349525 +; LMULMAX2-RV32-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV32-NEXT: and a4, a4, a7 +; LMULMAX2-RV32-NEXT: sub a4, a3, a4 +; LMULMAX2-RV32-NEXT: lui a3, 209715 +; LMULMAX2-RV32-NEXT: addi a3, a3, 819 +; LMULMAX2-RV32-NEXT: and a5, a4, a3 +; LMULMAX2-RV32-NEXT: srli a4, a4, 2 +; LMULMAX2-RV32-NEXT: and a4, a4, a3 +; LMULMAX2-RV32-NEXT: add a4, a5, a4 +; LMULMAX2-RV32-NEXT: srli a5, a4, 4 +; LMULMAX2-RV32-NEXT: add a5, a4, a5 +; LMULMAX2-RV32-NEXT: lui a4, 61681 +; LMULMAX2-RV32-NEXT: addi a4, a4, -241 +; LMULMAX2-RV32-NEXT: and a1, a5, a4 +; LMULMAX2-RV32-NEXT: lui a5, 4112 +; LMULMAX2-RV32-NEXT: addi a5, a5, 257 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e16,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 30(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 28(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 26(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 24(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 22(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 20(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 18(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 16(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 14(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 10(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 6(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 4(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: or a1, a1, a6 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a2, a1, 1 +; LMULMAX2-RV32-NEXT: and a2, a2, a7 +; LMULMAX2-RV32-NEXT: sub a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a2, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a2, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a4 +; LMULMAX2-RV32-NEXT: mul a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sh a1, 2(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle16.v v26, (sp) +; LMULMAX2-RV32-NEXT: vse16.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: cttz_v16i16: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle16.v v26, (a0) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e16,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 15 +; LMULMAX2-RV64-NEXT: vmv.x.s a2, v28 +; LMULMAX2-RV64-NEXT: lui a6, 16 +; LMULMAX2-RV64-NEXT: or a2, a2, a6 +; LMULMAX2-RV64-NEXT: addi a3, a2, -1 +; LMULMAX2-RV64-NEXT: not a2, a2 +; LMULMAX2-RV64-NEXT: and a3, a2, a3 +; LMULMAX2-RV64-NEXT: srli a4, a3, 1 +; LMULMAX2-RV64-NEXT: lui a2, 21845 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV64-NEXT: and a4, a4, a7 +; LMULMAX2-RV64-NEXT: sub a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 13107 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a4, 2 +; LMULMAX2-RV64-NEXT: and a4, a4, a3 +; LMULMAX2-RV64-NEXT: add a4, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a4, 4 +; LMULMAX2-RV64-NEXT: add a5, a4, a5 +; LMULMAX2-RV64-NEXT: lui a4, 3855 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: and a1, a5, a4 +; LMULMAX2-RV64-NEXT: lui a5, 4112 +; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 30(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 14 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 28(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 13 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 26(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 12 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 11 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 22(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 10 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 20(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 9 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 18(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 8 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 14(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 10(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 6(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 4(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 2(sp) +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sh a1, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 16, e16,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle16.v v26, (sp) +; LMULMAX2-RV64-NEXT: vse16.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: cttz_v16i16: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -32 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: addi a6, a0, 16 +; LMULMAX1-RV32-NEXT: vle16.v v26, (a6) +; LMULMAX1-RV32-NEXT: vle16.v v25, (a0) +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: lui a7, 16 +; LMULMAX1-RV32-NEXT: or a1, a1, a7 +; LMULMAX1-RV32-NEXT: addi a3, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a4, a1, 1 +; LMULMAX1-RV32-NEXT: lui a3, 349525 +; LMULMAX1-RV32-NEXT: addi t0, a3, 1365 +; LMULMAX1-RV32-NEXT: and a4, a4, t0 +; LMULMAX1-RV32-NEXT: sub a1, a1, a4 +; LMULMAX1-RV32-NEXT: lui a4, 209715 +; LMULMAX1-RV32-NEXT: addi a4, a4, 819 +; LMULMAX1-RV32-NEXT: and a5, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a5, a1 +; LMULMAX1-RV32-NEXT: srli a5, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a5 +; LMULMAX1-RV32-NEXT: lui a5, 61681 +; LMULMAX1-RV32-NEXT: addi a5, a5, -241 +; LMULMAX1-RV32-NEXT: and a2, a1, a5 +; LMULMAX1-RV32-NEXT: lui a1, 4112 +; LMULMAX1-RV32-NEXT: addi a1, a1, 257 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 16(sp) +; LMULMAX1-RV32-NEXT: vsetivli a2, 1, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 7 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 30(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 28(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 26(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 24(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 22(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 20(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 18(sp) +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 0(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 14(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 12(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 10(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 8(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 6(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a2, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a2, 24 +; LMULMAX1-RV32-NEXT: sh a2, 4(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV32-NEXT: or a2, a2, a7 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a2, a2, a3 +; LMULMAX1-RV32-NEXT: srli a3, a2, 1 +; LMULMAX1-RV32-NEXT: and a3, a3, t0 +; LMULMAX1-RV32-NEXT: sub a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a3, a2, a4 +; LMULMAX1-RV32-NEXT: srli a2, a2, 2 +; LMULMAX1-RV32-NEXT: and a2, a2, a4 +; LMULMAX1-RV32-NEXT: add a2, a3, a2 +; LMULMAX1-RV32-NEXT: srli a3, a2, 4 +; LMULMAX1-RV32-NEXT: add a2, a2, a3 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: mul a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sh a1, 2(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle16.v v25, (sp) +; LMULMAX1-RV32-NEXT: addi a1, sp, 16 +; LMULMAX1-RV32-NEXT: vle16.v v26, (a1) +; LMULMAX1-RV32-NEXT: vse16.v v25, (a0) +; LMULMAX1-RV32-NEXT: vse16.v v26, (a6) +; LMULMAX1-RV32-NEXT: addi sp, sp, 32 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: cttz_v16i16: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -32 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: addi a6, a0, 16 +; LMULMAX1-RV64-NEXT: vle16.v v26, (a6) +; LMULMAX1-RV64-NEXT: vle16.v v25, (a0) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: lui a7, 16 +; LMULMAX1-RV64-NEXT: or a1, a1, a7 +; LMULMAX1-RV64-NEXT: addi a3, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a4, a1, 1 +; LMULMAX1-RV64-NEXT: lui a3, 21845 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi t0, a3, 1365 +; LMULMAX1-RV64-NEXT: and a4, a4, t0 +; LMULMAX1-RV64-NEXT: sub a1, a1, a4 +; LMULMAX1-RV64-NEXT: lui a4, 13107 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 819 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 +; LMULMAX1-RV64-NEXT: and a5, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: lui a5, 3855 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: and a2, a1, a5 +; LMULMAX1-RV64-NEXT: lui a1, 4112 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 16(sp) +; LMULMAX1-RV64-NEXT: vsetivli a2, 1, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 7 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 30(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 6 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 28(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 5 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 26(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 4 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 24(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 22(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 20(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 18(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 7 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 14(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 6 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 12(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 5 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 10(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 4 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 8(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 6(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 4(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sh a2, 2(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sh a1, 0(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 8, e16,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle16.v v25, (sp) +; LMULMAX1-RV64-NEXT: addi a1, sp, 16 +; LMULMAX1-RV64-NEXT: vle16.v v26, (a1) +; LMULMAX1-RV64-NEXT: vse16.v v25, (a0) +; LMULMAX1-RV64-NEXT: vse16.v v26, (a6) +; LMULMAX1-RV64-NEXT: addi sp, sp, 32 +; LMULMAX1-RV64-NEXT: ret + %a = load <16 x i16>, <16 x i16>* %x + %b = load <16 x i16>, <16 x i16>* %y + %c = call <16 x i16> @llvm.cttz.v16i16(<16 x i16> %a, i1 false) + store <16 x i16> %c, <16 x i16>* %x + ret void +} +declare <16 x i16> @llvm.cttz.v16i16(<16 x i16>, i1) + +define void @cttz_v8i32(<8 x i32>* %x, <8 x i32>* %y) { +; LMULMAX2-RV32-LABEL: cttz_v8i32: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v26, (a0) +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: addi a2, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a2, a1, a2 +; LMULMAX2-RV32-NEXT: srli a3, a2, 1 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a6, a1, 1365 +; LMULMAX2-RV32-NEXT: and a3, a3, a6 +; LMULMAX2-RV32-NEXT: sub a3, a2, a3 +; LMULMAX2-RV32-NEXT: lui a2, 209715 +; LMULMAX2-RV32-NEXT: addi a2, a2, 819 +; LMULMAX2-RV32-NEXT: and a4, a3, a2 +; LMULMAX2-RV32-NEXT: srli a3, a3, 2 +; LMULMAX2-RV32-NEXT: and a3, a3, a2 +; LMULMAX2-RV32-NEXT: add a3, a4, a3 +; LMULMAX2-RV32-NEXT: srli a4, a3, 4 +; LMULMAX2-RV32-NEXT: add a4, a3, a4 +; LMULMAX2-RV32-NEXT: lui a3, 61681 +; LMULMAX2-RV32-NEXT: addi a3, a3, -241 +; LMULMAX2-RV32-NEXT: and a5, a4, a3 +; LMULMAX2-RV32-NEXT: lui a4, 4112 +; LMULMAX2-RV32-NEXT: addi a4, a4, 257 +; LMULMAX2-RV32-NEXT: mul a5, a5, a4 +; LMULMAX2-RV32-NEXT: srli a5, a5, 24 +; LMULMAX2-RV32-NEXT: sw a5, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a5, 1, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v28 +; LMULMAX2-RV32-NEXT: addi a1, a5, -1 +; LMULMAX2-RV32-NEXT: not a5, a5 +; LMULMAX2-RV32-NEXT: and a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 28(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 24(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 20(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 16(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 12(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 8(sp) +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a6 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a2 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a2, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: mul a1, a1, a4 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: sw a1, 4(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v26, (sp) +; LMULMAX2-RV32-NEXT: vse32.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: cttz_v8i32: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle32.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi a1, zero, 1 +; LMULMAX2-RV64-NEXT: vsetivli a2, 1, e32,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 7 +; LMULMAX2-RV64-NEXT: vmv.x.s a2, v28 +; LMULMAX2-RV64-NEXT: slli a6, a1, 32 +; LMULMAX2-RV64-NEXT: or a2, a2, a6 +; LMULMAX2-RV64-NEXT: addi a3, a2, -1 +; LMULMAX2-RV64-NEXT: not a2, a2 +; LMULMAX2-RV64-NEXT: and a3, a2, a3 +; LMULMAX2-RV64-NEXT: srli a4, a3, 1 +; LMULMAX2-RV64-NEXT: lui a2, 21845 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX2-RV64-NEXT: and a4, a4, a7 +; LMULMAX2-RV64-NEXT: sub a4, a3, a4 +; LMULMAX2-RV64-NEXT: lui a3, 13107 +; LMULMAX2-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: slli a3, a3, 12 +; LMULMAX2-RV64-NEXT: addi a3, a3, 819 +; LMULMAX2-RV64-NEXT: and a5, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a4, 2 +; LMULMAX2-RV64-NEXT: and a4, a4, a3 +; LMULMAX2-RV64-NEXT: add a4, a5, a4 +; LMULMAX2-RV64-NEXT: srli a5, a4, 4 +; LMULMAX2-RV64-NEXT: add a5, a4, a5 +; LMULMAX2-RV64-NEXT: lui a4, 3855 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: and a1, a5, a4 +; LMULMAX2-RV64-NEXT: lui a5, 4112 +; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sw a1, 28(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 6 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sw a1, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 5 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sw a1, 20(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 4 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sw a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sw a1, 12(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sw a1, 8(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sw a1, 4(sp) +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: or a1, a1, a6 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: srli a2, a1, 1 +; LMULMAX2-RV64-NEXT: and a2, a2, a7 +; LMULMAX2-RV64-NEXT: sub a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a2, a1, a3 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: add a1, a2, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sw a1, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle32.v v26, (sp) +; LMULMAX2-RV64-NEXT: vse32.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: cttz_v8i32: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -32 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: addi a6, a0, 16 +; LMULMAX1-RV32-NEXT: vle32.v v26, (a6) +; LMULMAX1-RV32-NEXT: vle32.v v25, (a0) +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: addi a3, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a3, a2, a3 +; LMULMAX1-RV32-NEXT: srli a4, a3, 1 +; LMULMAX1-RV32-NEXT: lui a2, 349525 +; LMULMAX1-RV32-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV32-NEXT: and a4, a4, a7 +; LMULMAX1-RV32-NEXT: sub a4, a3, a4 +; LMULMAX1-RV32-NEXT: lui a3, 209715 +; LMULMAX1-RV32-NEXT: addi a3, a3, 819 +; LMULMAX1-RV32-NEXT: and a5, a4, a3 +; LMULMAX1-RV32-NEXT: srli a4, a4, 2 +; LMULMAX1-RV32-NEXT: and a4, a4, a3 +; LMULMAX1-RV32-NEXT: add a4, a5, a4 +; LMULMAX1-RV32-NEXT: srli a5, a4, 4 +; LMULMAX1-RV32-NEXT: add a5, a4, a5 +; LMULMAX1-RV32-NEXT: lui a4, 61681 +; LMULMAX1-RV32-NEXT: addi a4, a4, -241 +; LMULMAX1-RV32-NEXT: and a1, a5, a4 +; LMULMAX1-RV32-NEXT: lui a5, 4112 +; LMULMAX1-RV32-NEXT: addi a5, a5, 257 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 16(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 28(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v27 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 24(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 20(sp) +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 0(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 12(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 8(sp) +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a7 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a3 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: mul a1, a1, a5 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: sw a1, 4(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v25, (sp) +; LMULMAX1-RV32-NEXT: addi a1, sp, 16 +; LMULMAX1-RV32-NEXT: vle32.v v26, (a1) +; LMULMAX1-RV32-NEXT: vse32.v v25, (a0) +; LMULMAX1-RV32-NEXT: vse32.v v26, (a6) +; LMULMAX1-RV32-NEXT: addi sp, sp, 32 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: cttz_v8i32: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -32 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: addi a6, a0, 16 +; LMULMAX1-RV64-NEXT: vle32.v v26, (a6) +; LMULMAX1-RV64-NEXT: vle32.v v25, (a0) +; LMULMAX1-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV64-NEXT: addi a2, zero, 1 +; LMULMAX1-RV64-NEXT: slli a7, a2, 32 +; LMULMAX1-RV64-NEXT: or a1, a1, a7 +; LMULMAX1-RV64-NEXT: addi a3, a1, -1 +; LMULMAX1-RV64-NEXT: not a1, a1 +; LMULMAX1-RV64-NEXT: and a1, a1, a3 +; LMULMAX1-RV64-NEXT: srli a4, a1, 1 +; LMULMAX1-RV64-NEXT: lui a3, 21845 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 1365 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi t0, a3, 1365 +; LMULMAX1-RV64-NEXT: and a4, a4, t0 +; LMULMAX1-RV64-NEXT: sub a1, a1, a4 +; LMULMAX1-RV64-NEXT: lui a4, 13107 +; LMULMAX1-RV64-NEXT: addiw a4, a4, 819 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 +; LMULMAX1-RV64-NEXT: slli a4, a4, 12 +; LMULMAX1-RV64-NEXT: addi a4, a4, 819 +; LMULMAX1-RV64-NEXT: and a5, a1, a4 +; LMULMAX1-RV64-NEXT: srli a1, a1, 2 +; LMULMAX1-RV64-NEXT: and a1, a1, a4 +; LMULMAX1-RV64-NEXT: add a1, a5, a1 +; LMULMAX1-RV64-NEXT: srli a5, a1, 4 +; LMULMAX1-RV64-NEXT: add a1, a1, a5 +; LMULMAX1-RV64-NEXT: lui a5, 3855 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: and a2, a1, a5 +; LMULMAX1-RV64-NEXT: lui a1, 4112 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sw a2, 16(sp) +; LMULMAX1-RV64-NEXT: vsetivli a2, 1, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sw a2, 28(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sw a2, 24(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sw a2, 20(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 3 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sw a2, 12(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 2 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sw a2, 8(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sw a2, 4(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV64-NEXT: or a2, a2, a7 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: srli a3, a2, 1 +; LMULMAX1-RV64-NEXT: and a3, a3, t0 +; LMULMAX1-RV64-NEXT: sub a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a3, a2, a4 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: add a2, a3, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sw a1, 0(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle32.v v25, (sp) +; LMULMAX1-RV64-NEXT: addi a1, sp, 16 +; LMULMAX1-RV64-NEXT: vle32.v v26, (a1) +; LMULMAX1-RV64-NEXT: vse32.v v25, (a0) +; LMULMAX1-RV64-NEXT: vse32.v v26, (a6) +; LMULMAX1-RV64-NEXT: addi sp, sp, 32 +; LMULMAX1-RV64-NEXT: ret + %a = load <8 x i32>, <8 x i32>* %x + %b = load <8 x i32>, <8 x i32>* %y + %c = call <8 x i32> @llvm.cttz.v8i32(<8 x i32> %a, i1 false) + store <8 x i32> %c, <8 x i32>* %x + ret void +} +declare <8 x i32> @llvm.cttz.v8i32(<8 x i32>, i1) + +define void @cttz_v4i64(<4 x i64>* %x, <4 x i64>* %y) { +; LMULMAX2-RV32-LABEL: cttz_v4i64: +; LMULMAX2-RV32: # %bb.0: +; LMULMAX2-RV32-NEXT: addi sp, sp, -64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV32-NEXT: sw ra, 60(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: sw s0, 56(sp) # 4-byte Folded Spill +; LMULMAX2-RV32-NEXT: .cfi_offset ra, -4 +; LMULMAX2-RV32-NEXT: .cfi_offset s0, -8 +; LMULMAX2-RV32-NEXT: addi s0, sp, 64 +; LMULMAX2-RV32-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV32-NEXT: andi sp, sp, -32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle64.v v26, (a0) +; LMULMAX2-RV32-NEXT: sw zero, 28(sp) +; LMULMAX2-RV32-NEXT: sw zero, 20(sp) +; LMULMAX2-RV32-NEXT: sw zero, 12(sp) +; LMULMAX2-RV32-NEXT: sw zero, 4(sp) +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v26 +; LMULMAX2-RV32-NEXT: lui a1, 349525 +; LMULMAX2-RV32-NEXT: addi a4, a1, 1365 +; LMULMAX2-RV32-NEXT: lui a1, 209715 +; LMULMAX2-RV32-NEXT: addi a3, a1, 819 +; LMULMAX2-RV32-NEXT: lui a1, 61681 +; LMULMAX2-RV32-NEXT: addi a7, a1, -241 +; LMULMAX2-RV32-NEXT: lui a1, 4112 +; LMULMAX2-RV32-NEXT: addi a2, a1, 257 +; LMULMAX2-RV32-NEXT: addi a6, zero, 32 +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vsrl.vx v28, v26, a6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: bnez a5, .LBB7_2 +; LMULMAX2-RV32-NEXT: # %bb.1: +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a5, a1, 32 +; LMULMAX2-RV32-NEXT: j .LBB7_3 +; LMULMAX2-RV32-NEXT: .LBB7_2: +; LMULMAX2-RV32-NEXT: addi a1, a5, -1 +; LMULMAX2-RV32-NEXT: not a5, a5 +; LMULMAX2-RV32-NEXT: and a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a5, a1, 24 +; LMULMAX2-RV32-NEXT: .LBB7_3: +; LMULMAX2-RV32-NEXT: sw a5, 0(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v28 +; LMULMAX2-RV32-NEXT: vsrl.vx v28, v28, a6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: bnez a5, .LBB7_5 +; LMULMAX2-RV32-NEXT: # %bb.4: +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a5, a1, 32 +; LMULMAX2-RV32-NEXT: j .LBB7_6 +; LMULMAX2-RV32-NEXT: .LBB7_5: +; LMULMAX2-RV32-NEXT: addi a1, a5, -1 +; LMULMAX2-RV32-NEXT: not a5, a5 +; LMULMAX2-RV32-NEXT: and a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a5, a1, 24 +; LMULMAX2-RV32-NEXT: .LBB7_6: +; LMULMAX2-RV32-NEXT: sw a5, 24(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v28 +; LMULMAX2-RV32-NEXT: vsrl.vx v28, v28, a6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV32-NEXT: bnez a5, .LBB7_8 +; LMULMAX2-RV32-NEXT: # %bb.7: +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a5, a1, 32 +; LMULMAX2-RV32-NEXT: j .LBB7_9 +; LMULMAX2-RV32-NEXT: .LBB7_8: +; LMULMAX2-RV32-NEXT: addi a1, a5, -1 +; LMULMAX2-RV32-NEXT: not a5, a5 +; LMULMAX2-RV32-NEXT: and a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a5, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a5, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a5 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a5, a1, 24 +; LMULMAX2-RV32-NEXT: .LBB7_9: +; LMULMAX2-RV32-NEXT: sw a5, 16(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 1, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX2-RV32-NEXT: vmv.x.s a5, v26 +; LMULMAX2-RV32-NEXT: vsrl.vx v26, v26, a6 +; LMULMAX2-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV32-NEXT: bnez a5, .LBB7_11 +; LMULMAX2-RV32-NEXT: # %bb.10: +; LMULMAX2-RV32-NEXT: addi a5, a1, -1 +; LMULMAX2-RV32-NEXT: not a1, a1 +; LMULMAX2-RV32-NEXT: and a1, a1, a5 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a4, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a4 +; LMULMAX2-RV32-NEXT: and a4, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a4, a1 +; LMULMAX2-RV32-NEXT: srli a3, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: addi a1, a1, 32 +; LMULMAX2-RV32-NEXT: j .LBB7_12 +; LMULMAX2-RV32-NEXT: .LBB7_11: +; LMULMAX2-RV32-NEXT: addi a1, a5, -1 +; LMULMAX2-RV32-NEXT: not a5, a5 +; LMULMAX2-RV32-NEXT: and a1, a5, a1 +; LMULMAX2-RV32-NEXT: srli a5, a1, 1 +; LMULMAX2-RV32-NEXT: and a4, a5, a4 +; LMULMAX2-RV32-NEXT: sub a1, a1, a4 +; LMULMAX2-RV32-NEXT: and a4, a1, a3 +; LMULMAX2-RV32-NEXT: srli a1, a1, 2 +; LMULMAX2-RV32-NEXT: and a1, a1, a3 +; LMULMAX2-RV32-NEXT: add a1, a4, a1 +; LMULMAX2-RV32-NEXT: srli a3, a1, 4 +; LMULMAX2-RV32-NEXT: add a1, a1, a3 +; LMULMAX2-RV32-NEXT: and a1, a1, a7 +; LMULMAX2-RV32-NEXT: mul a1, a1, a2 +; LMULMAX2-RV32-NEXT: srli a1, a1, 24 +; LMULMAX2-RV32-NEXT: .LBB7_12: +; LMULMAX2-RV32-NEXT: sw a1, 8(sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 8, e32,m2,ta,mu +; LMULMAX2-RV32-NEXT: vle32.v v26, (sp) +; LMULMAX2-RV32-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV32-NEXT: vse64.v v26, (a0) +; LMULMAX2-RV32-NEXT: addi sp, s0, -64 +; LMULMAX2-RV32-NEXT: lw s0, 56(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: lw ra, 60(sp) # 4-byte Folded Reload +; LMULMAX2-RV32-NEXT: addi sp, sp, 64 +; LMULMAX2-RV32-NEXT: ret +; +; LMULMAX2-RV64-LABEL: cttz_v4i64: +; LMULMAX2-RV64: # %bb.0: +; LMULMAX2-RV64-NEXT: addi sp, sp, -64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa_offset 64 +; LMULMAX2-RV64-NEXT: sd ra, 56(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: sd s0, 48(sp) # 8-byte Folded Spill +; LMULMAX2-RV64-NEXT: .cfi_offset ra, -8 +; LMULMAX2-RV64-NEXT: .cfi_offset s0, -16 +; LMULMAX2-RV64-NEXT: addi s0, sp, 64 +; LMULMAX2-RV64-NEXT: .cfi_def_cfa s0, 0 +; LMULMAX2-RV64-NEXT: andi sp, sp, -32 +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle64.v v26, (a0) +; LMULMAX2-RV64-NEXT: vsetivli a1, 1, e64,m2,ta,mu +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 3 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: addi a2, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a2, a1, a2 +; LMULMAX2-RV64-NEXT: srli a3, a2, 1 +; LMULMAX2-RV64-NEXT: lui a1, 21845 +; LMULMAX2-RV64-NEXT: addiw a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a1, a1, 1365 +; LMULMAX2-RV64-NEXT: slli a1, a1, 12 +; LMULMAX2-RV64-NEXT: addi a6, a1, 1365 +; LMULMAX2-RV64-NEXT: and a3, a3, a6 +; LMULMAX2-RV64-NEXT: sub a3, a2, a3 +; LMULMAX2-RV64-NEXT: lui a2, 13107 +; LMULMAX2-RV64-NEXT: addiw a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: slli a2, a2, 12 +; LMULMAX2-RV64-NEXT: addi a2, a2, 819 +; LMULMAX2-RV64-NEXT: and a4, a3, a2 +; LMULMAX2-RV64-NEXT: srli a3, a3, 2 +; LMULMAX2-RV64-NEXT: and a3, a3, a2 +; LMULMAX2-RV64-NEXT: add a3, a4, a3 +; LMULMAX2-RV64-NEXT: srli a4, a3, 4 +; LMULMAX2-RV64-NEXT: add a3, a3, a4 +; LMULMAX2-RV64-NEXT: lui a4, 3855 +; LMULMAX2-RV64-NEXT: addiw a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, 241 +; LMULMAX2-RV64-NEXT: slli a4, a4, 12 +; LMULMAX2-RV64-NEXT: addi a4, a4, -241 +; LMULMAX2-RV64-NEXT: and a3, a3, a4 +; LMULMAX2-RV64-NEXT: lui a5, 4112 +; LMULMAX2-RV64-NEXT: addiw a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: slli a5, a5, 16 +; LMULMAX2-RV64-NEXT: addi a5, a5, 257 +; LMULMAX2-RV64-NEXT: mul a3, a3, a5 +; LMULMAX2-RV64-NEXT: srli a3, a3, 56 +; LMULMAX2-RV64-NEXT: sd a3, 24(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 2 +; LMULMAX2-RV64-NEXT: vmv.x.s a3, v28 +; LMULMAX2-RV64-NEXT: addi a1, a3, -1 +; LMULMAX2-RV64-NEXT: not a3, a3 +; LMULMAX2-RV64-NEXT: and a1, a3, a1 +; LMULMAX2-RV64-NEXT: srli a3, a1, 1 +; LMULMAX2-RV64-NEXT: and a3, a3, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a3 +; LMULMAX2-RV64-NEXT: and a3, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a3, a1 +; LMULMAX2-RV64-NEXT: srli a3, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a3 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sd a1, 16(sp) +; LMULMAX2-RV64-NEXT: vslidedown.vi v28, v26, 1 +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v28 +; LMULMAX2-RV64-NEXT: addi a3, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: srli a3, a1, 1 +; LMULMAX2-RV64-NEXT: and a3, a3, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a3 +; LMULMAX2-RV64-NEXT: and a3, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a3, a1 +; LMULMAX2-RV64-NEXT: srli a3, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a3 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sd a1, 8(sp) +; LMULMAX2-RV64-NEXT: vmv.x.s a1, v26 +; LMULMAX2-RV64-NEXT: addi a3, a1, -1 +; LMULMAX2-RV64-NEXT: not a1, a1 +; LMULMAX2-RV64-NEXT: and a1, a1, a3 +; LMULMAX2-RV64-NEXT: srli a3, a1, 1 +; LMULMAX2-RV64-NEXT: and a3, a3, a6 +; LMULMAX2-RV64-NEXT: sub a1, a1, a3 +; LMULMAX2-RV64-NEXT: and a3, a1, a2 +; LMULMAX2-RV64-NEXT: srli a1, a1, 2 +; LMULMAX2-RV64-NEXT: and a1, a1, a2 +; LMULMAX2-RV64-NEXT: add a1, a3, a1 +; LMULMAX2-RV64-NEXT: srli a2, a1, 4 +; LMULMAX2-RV64-NEXT: add a1, a1, a2 +; LMULMAX2-RV64-NEXT: and a1, a1, a4 +; LMULMAX2-RV64-NEXT: mul a1, a1, a5 +; LMULMAX2-RV64-NEXT: srli a1, a1, 56 +; LMULMAX2-RV64-NEXT: sd a1, 0(sp) +; LMULMAX2-RV64-NEXT: vsetivli a1, 4, e64,m2,ta,mu +; LMULMAX2-RV64-NEXT: vle64.v v26, (sp) +; LMULMAX2-RV64-NEXT: vse64.v v26, (a0) +; LMULMAX2-RV64-NEXT: addi sp, s0, -64 +; LMULMAX2-RV64-NEXT: ld s0, 48(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: ld ra, 56(sp) # 8-byte Folded Reload +; LMULMAX2-RV64-NEXT: addi sp, sp, 64 +; LMULMAX2-RV64-NEXT: ret +; +; LMULMAX1-RV32-LABEL: cttz_v4i64: +; LMULMAX1-RV32: # %bb.0: +; LMULMAX1-RV32-NEXT: addi sp, sp, -32 +; LMULMAX1-RV32-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: addi a6, a0, 16 +; LMULMAX1-RV32-NEXT: vle64.v v26, (a6) +; LMULMAX1-RV32-NEXT: vle64.v v25, (a0) +; LMULMAX1-RV32-NEXT: sw zero, 28(sp) +; LMULMAX1-RV32-NEXT: sw zero, 20(sp) +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: lui a2, 349525 +; LMULMAX1-RV32-NEXT: addi a5, a2, 1365 +; LMULMAX1-RV32-NEXT: lui a2, 209715 +; LMULMAX1-RV32-NEXT: addi a4, a2, 819 +; LMULMAX1-RV32-NEXT: lui a2, 61681 +; LMULMAX1-RV32-NEXT: addi t0, a2, -241 +; LMULMAX1-RV32-NEXT: lui a2, 4112 +; LMULMAX1-RV32-NEXT: addi a3, a2, 257 +; LMULMAX1-RV32-NEXT: addi a7, zero, 32 +; LMULMAX1-RV32-NEXT: vsetivli a2, 1, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vx v27, v26, a7 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV32-NEXT: bnez a1, .LBB7_2 +; LMULMAX1-RV32-NEXT: # %bb.1: +; LMULMAX1-RV32-NEXT: addi a1, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, 32 +; LMULMAX1-RV32-NEXT: j .LBB7_3 +; LMULMAX1-RV32-NEXT: .LBB7_2: +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: .LBB7_3: +; LMULMAX1-RV32-NEXT: sw a1, 16(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v26, v26, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v26 +; LMULMAX1-RV32-NEXT: vsrl.vx v26, v26, a7 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: bnez a1, .LBB7_5 +; LMULMAX1-RV32-NEXT: # %bb.4: +; LMULMAX1-RV32-NEXT: addi a1, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, 32 +; LMULMAX1-RV32-NEXT: j .LBB7_6 +; LMULMAX1-RV32-NEXT: .LBB7_5: +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: .LBB7_6: +; LMULMAX1-RV32-NEXT: sw a1, 24(sp) +; LMULMAX1-RV32-NEXT: sw zero, 12(sp) +; LMULMAX1-RV32-NEXT: sw zero, 4(sp) +; LMULMAX1-RV32-NEXT: vsetvli zero, zero, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: vsetivli a2, 1, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vsrl.vx v26, v25, a7 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV32-NEXT: bnez a1, .LBB7_8 +; LMULMAX1-RV32-NEXT: # %bb.7: +; LMULMAX1-RV32-NEXT: addi a1, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, 32 +; LMULMAX1-RV32-NEXT: j .LBB7_9 +; LMULMAX1-RV32-NEXT: .LBB7_8: +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: .LBB7_9: +; LMULMAX1-RV32-NEXT: sw a1, 0(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 1, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vslidedown.vi v25, v25, 1 +; LMULMAX1-RV32-NEXT: vmv.x.s a1, v25 +; LMULMAX1-RV32-NEXT: vsrl.vx v25, v25, a7 +; LMULMAX1-RV32-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV32-NEXT: bnez a1, .LBB7_11 +; LMULMAX1-RV32-NEXT: # %bb.10: +; LMULMAX1-RV32-NEXT: addi a1, a2, -1 +; LMULMAX1-RV32-NEXT: not a2, a2 +; LMULMAX1-RV32-NEXT: and a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: addi a1, a1, 32 +; LMULMAX1-RV32-NEXT: j .LBB7_12 +; LMULMAX1-RV32-NEXT: .LBB7_11: +; LMULMAX1-RV32-NEXT: addi a2, a1, -1 +; LMULMAX1-RV32-NEXT: not a1, a1 +; LMULMAX1-RV32-NEXT: and a1, a1, a2 +; LMULMAX1-RV32-NEXT: srli a2, a1, 1 +; LMULMAX1-RV32-NEXT: and a2, a2, a5 +; LMULMAX1-RV32-NEXT: sub a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a2, a1, a4 +; LMULMAX1-RV32-NEXT: srli a1, a1, 2 +; LMULMAX1-RV32-NEXT: and a1, a1, a4 +; LMULMAX1-RV32-NEXT: add a1, a2, a1 +; LMULMAX1-RV32-NEXT: srli a2, a1, 4 +; LMULMAX1-RV32-NEXT: add a1, a1, a2 +; LMULMAX1-RV32-NEXT: and a1, a1, t0 +; LMULMAX1-RV32-NEXT: mul a1, a1, a3 +; LMULMAX1-RV32-NEXT: srli a1, a1, 24 +; LMULMAX1-RV32-NEXT: .LBB7_12: +; LMULMAX1-RV32-NEXT: sw a1, 8(sp) +; LMULMAX1-RV32-NEXT: vsetivli a1, 4, e32,m1,ta,mu +; LMULMAX1-RV32-NEXT: vle32.v v25, (sp) +; LMULMAX1-RV32-NEXT: addi a1, sp, 16 +; LMULMAX1-RV32-NEXT: vle32.v v26, (a1) +; LMULMAX1-RV32-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV32-NEXT: vse64.v v25, (a0) +; LMULMAX1-RV32-NEXT: vse64.v v26, (a6) +; LMULMAX1-RV32-NEXT: addi sp, sp, 32 +; LMULMAX1-RV32-NEXT: ret +; +; LMULMAX1-RV64-LABEL: cttz_v4i64: +; LMULMAX1-RV64: # %bb.0: +; LMULMAX1-RV64-NEXT: addi sp, sp, -32 +; LMULMAX1-RV64-NEXT: .cfi_def_cfa_offset 32 +; LMULMAX1-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: addi a6, a0, 16 +; LMULMAX1-RV64-NEXT: vle64.v v26, (a6) +; LMULMAX1-RV64-NEXT: vle64.v v25, (a0) +; LMULMAX1-RV64-NEXT: vsetivli a2, 1, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: vslidedown.vi v27, v26, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v27 +; LMULMAX1-RV64-NEXT: addi a3, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a3, a2, a3 +; LMULMAX1-RV64-NEXT: srli a4, a3, 1 +; LMULMAX1-RV64-NEXT: lui a2, 21845 +; LMULMAX1-RV64-NEXT: addiw a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a2, a2, 1365 +; LMULMAX1-RV64-NEXT: slli a2, a2, 12 +; LMULMAX1-RV64-NEXT: addi a7, a2, 1365 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a4, a3, a4 +; LMULMAX1-RV64-NEXT: lui a3, 13107 +; LMULMAX1-RV64-NEXT: addiw a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: slli a3, a3, 12 +; LMULMAX1-RV64-NEXT: addi a3, a3, 819 +; LMULMAX1-RV64-NEXT: and a5, a4, a3 +; LMULMAX1-RV64-NEXT: srli a4, a4, 2 +; LMULMAX1-RV64-NEXT: and a4, a4, a3 +; LMULMAX1-RV64-NEXT: add a4, a5, a4 +; LMULMAX1-RV64-NEXT: srli a5, a4, 4 +; LMULMAX1-RV64-NEXT: add a4, a4, a5 +; LMULMAX1-RV64-NEXT: lui a5, 3855 +; LMULMAX1-RV64-NEXT: addiw a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, 241 +; LMULMAX1-RV64-NEXT: slli a5, a5, 12 +; LMULMAX1-RV64-NEXT: addi a5, a5, -241 +; LMULMAX1-RV64-NEXT: and a4, a4, a5 +; LMULMAX1-RV64-NEXT: lui a1, 4112 +; LMULMAX1-RV64-NEXT: addiw a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: slli a1, a1, 16 +; LMULMAX1-RV64-NEXT: addi a1, a1, 257 +; LMULMAX1-RV64-NEXT: mul a4, a4, a1 +; LMULMAX1-RV64-NEXT: srli a4, a4, 56 +; LMULMAX1-RV64-NEXT: sd a4, 24(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a4, v26 +; LMULMAX1-RV64-NEXT: addi a2, a4, -1 +; LMULMAX1-RV64-NEXT: not a4, a4 +; LMULMAX1-RV64-NEXT: and a2, a4, a2 +; LMULMAX1-RV64-NEXT: srli a4, a2, 1 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a2, a2, a4 +; LMULMAX1-RV64-NEXT: and a4, a2, a3 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: add a2, a4, a2 +; LMULMAX1-RV64-NEXT: srli a4, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a4 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sd a2, 16(sp) +; LMULMAX1-RV64-NEXT: vslidedown.vi v26, v25, 1 +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v26 +; LMULMAX1-RV64-NEXT: addi a4, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: srli a4, a2, 1 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a2, a2, a4 +; LMULMAX1-RV64-NEXT: and a4, a2, a3 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: add a2, a4, a2 +; LMULMAX1-RV64-NEXT: srli a4, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a4 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a2, a2, a1 +; LMULMAX1-RV64-NEXT: srli a2, a2, 56 +; LMULMAX1-RV64-NEXT: sd a2, 8(sp) +; LMULMAX1-RV64-NEXT: vmv.x.s a2, v25 +; LMULMAX1-RV64-NEXT: addi a4, a2, -1 +; LMULMAX1-RV64-NEXT: not a2, a2 +; LMULMAX1-RV64-NEXT: and a2, a2, a4 +; LMULMAX1-RV64-NEXT: srli a4, a2, 1 +; LMULMAX1-RV64-NEXT: and a4, a4, a7 +; LMULMAX1-RV64-NEXT: sub a2, a2, a4 +; LMULMAX1-RV64-NEXT: and a4, a2, a3 +; LMULMAX1-RV64-NEXT: srli a2, a2, 2 +; LMULMAX1-RV64-NEXT: and a2, a2, a3 +; LMULMAX1-RV64-NEXT: add a2, a4, a2 +; LMULMAX1-RV64-NEXT: srli a3, a2, 4 +; LMULMAX1-RV64-NEXT: add a2, a2, a3 +; LMULMAX1-RV64-NEXT: and a2, a2, a5 +; LMULMAX1-RV64-NEXT: mul a1, a2, a1 +; LMULMAX1-RV64-NEXT: srli a1, a1, 56 +; LMULMAX1-RV64-NEXT: sd a1, 0(sp) +; LMULMAX1-RV64-NEXT: vsetivli a1, 2, e64,m1,ta,mu +; LMULMAX1-RV64-NEXT: vle64.v v25, (sp) +; LMULMAX1-RV64-NEXT: addi a1, sp, 16 +; LMULMAX1-RV64-NEXT: vle64.v v26, (a1) +; LMULMAX1-RV64-NEXT: vse64.v v25, (a0) +; LMULMAX1-RV64-NEXT: vse64.v v26, (a6) +; LMULMAX1-RV64-NEXT: addi sp, sp, 32 +; LMULMAX1-RV64-NEXT: ret + %a = load <4 x i64>, <4 x i64>* %x + %b = load <4 x i64>, <4 x i64>* %y + %c = call <4 x i64> @llvm.cttz.v4i64(<4 x i64> %a, i1 false) + store <4 x i64> %c, <4 x i64>* %x + ret void +} +declare <4 x i64> @llvm.cttz.v4i64(<4 x i64>, i1)