38 #define BRCM_PCIE_CAP_REGS				0x00ac
41 #define PCIE_RC_CFG_VENDOR_VENDOR_SPECIFIC_REG1				0x0188
42 #define  PCIE_RC_CFG_VENDOR_VENDOR_SPECIFIC_REG1_ENDIAN_MODE_BAR2_MASK	0xc
43 #define  PCIE_RC_CFG_VENDOR_SPCIFIC_REG1_LITTLE_ENDIAN			0x0
45 #define PCIE_RC_CFG_PRIV1_ID_VAL3			0x043c
46 #define  PCIE_RC_CFG_PRIV1_ID_VAL3_CLASS_CODE_MASK	0xffffff
48 #define PCIE_RC_CFG_PRIV1_LINK_CAPABILITY			0x04dc
49 #define  PCIE_RC_CFG_PRIV1_LINK_CAPABILITY_ASPM_SUPPORT_MASK	0xc00
51 #define PCIE_RC_CFG_PRIV1_ROOT_CAP			0x4f8
52 #define  PCIE_RC_CFG_PRIV1_ROOT_CAP_L1SS_MODE_MASK	0xf8
54 #define PCIE_RC_DL_MDIO_ADDR				0x1100
55 #define PCIE_RC_DL_MDIO_WR_DATA				0x1104
56 #define PCIE_RC_DL_MDIO_RD_DATA				0x1108
58 #define PCIE_MISC_MISC_CTRL				0x4008
59 #define  PCIE_MISC_MISC_CTRL_PCIE_RCB_64B_MODE_MASK	0x80
60 #define  PCIE_MISC_MISC_CTRL_PCIE_RCB_MPS_MODE_MASK	0x400
61 #define  PCIE_MISC_MISC_CTRL_SCB_ACCESS_EN_MASK		0x1000
62 #define  PCIE_MISC_MISC_CTRL_CFG_READ_UR_MODE_MASK	0x2000
63 #define  PCIE_MISC_MISC_CTRL_MAX_BURST_SIZE_MASK	0x300000
65 #define  PCIE_MISC_MISC_CTRL_SCB0_SIZE_MASK		0xf8000000
66 #define  PCIE_MISC_MISC_CTRL_SCB1_SIZE_MASK		0x07c00000
67 #define  PCIE_MISC_MISC_CTRL_SCB2_SIZE_MASK		0x0000001f
70 #define PCIE_MISC_CPU_2_PCIE_MEM_WIN0_LO		0x400c
74 #define PCIE_MISC_CPU_2_PCIE_MEM_WIN0_HI		0x4010
78 #define PCIE_MISC_RC_BAR1_CONFIG_LO			0x402c
79 #define  PCIE_MISC_RC_BAR1_CONFIG_LO_SIZE_MASK		0x1f
81 #define PCIE_MISC_RC_BAR2_CONFIG_LO			0x4034
82 #define  PCIE_MISC_RC_BAR2_CONFIG_LO_SIZE_MASK		0x1f
83 #define PCIE_MISC_RC_BAR2_CONFIG_HI			0x4038
85 #define PCIE_MISC_RC_BAR3_CONFIG_LO			0x403c
86 #define  PCIE_MISC_RC_BAR3_CONFIG_LO_SIZE_MASK		0x1f
88 #define PCIE_MISC_MSI_BAR_CONFIG_LO			0x4044
89 #define PCIE_MISC_MSI_BAR_CONFIG_HI			0x4048
91 #define PCIE_MISC_MSI_DATA_CONFIG			0x404c
92 #define  PCIE_MISC_MSI_DATA_CONFIG_VAL_32		0xffe06540
93 #define  PCIE_MISC_MSI_DATA_CONFIG_VAL_8		0xfff86540
95 #define PCIE_MISC_PCIE_CTRL				0x4064
96 #define  PCIE_MISC_PCIE_CTRL_PCIE_L23_REQUEST_MASK	0x1
97 #define PCIE_MISC_PCIE_CTRL_PCIE_PERSTB_MASK		0x4
99 #define PCIE_MISC_PCIE_STATUS				0x4068
100 #define  PCIE_MISC_PCIE_STATUS_PCIE_PORT_MASK		0x80
101 #define  PCIE_MISC_PCIE_STATUS_PCIE_DL_ACTIVE_MASK	0x20
102 #define  PCIE_MISC_PCIE_STATUS_PCIE_PHYLINKUP_MASK	0x10
103 #define  PCIE_MISC_PCIE_STATUS_PCIE_LINK_IN_L23_MASK	0x40
105 #define PCIE_MISC_REVISION				0x406c
106 #define  BRCM_PCIE_HW_REV_33				0x0303
107 #define  BRCM_PCIE_HW_REV_3_20				0x0320
109 #define PCIE_MISC_CPU_2_PCIE_MEM_WIN0_BASE_LIMIT		0x4070
110 #define  PCIE_MISC_CPU_2_PCIE_MEM_WIN0_BASE_LIMIT_LIMIT_MASK	0xfff00000
111 #define  PCIE_MISC_CPU_2_PCIE_MEM_WIN0_BASE_LIMIT_BASE_MASK	0xfff0
115 #define PCIE_MISC_CPU_2_PCIE_MEM_WIN0_BASE_HI			0x4080
116 #define  PCIE_MISC_CPU_2_PCIE_MEM_WIN0_BASE_HI_BASE_MASK	0xff
120 #define PCIE_MISC_CPU_2_PCIE_MEM_WIN0_LIMIT_HI			0x4084
121 #define  PCIE_MISC_CPU_2_PCIE_MEM_WIN0_LIMIT_HI_LIMIT_MASK	0xff
125 #define PCIE_MISC_HARD_PCIE_HARD_DEBUG					0x4204
126 #define  PCIE_MISC_HARD_PCIE_HARD_DEBUG_CLKREQ_DEBUG_ENABLE_MASK	0x2
127 #define  PCIE_MISC_HARD_PCIE_HARD_DEBUG_L1SS_ENABLE_MASK		0x200000
128 #define  PCIE_MISC_HARD_PCIE_HARD_DEBUG_SERDES_IDDQ_MASK		0x08000000
129 #define  PCIE_BMIPS_MISC_HARD_PCIE_HARD_DEBUG_SERDES_IDDQ_MASK		0x00800000
134 #define PCIE_INTR2_CPU_BASE		0x4300
135 #define PCIE_MSI_INTR2_BASE		0x4500
137 #define  MSI_INT_STATUS			0x0
138 #define  MSI_INT_CLR			0x8
139 #define  MSI_INT_MASK_SET		0x10
140 #define  MSI_INT_MASK_CLR		0x14
142 #define PCIE_EXT_CFG_DATA				0x8000
143 #define PCIE_EXT_CFG_INDEX				0x9000
145 #define  PCIE_RGR1_SW_INIT_1_PERST_MASK			0x1
146 #define  PCIE_RGR1_SW_INIT_1_PERST_SHIFT		0x0
148 #define RGR1_SW_INIT_1_INIT_GENERIC_MASK		0x2
149 #define RGR1_SW_INIT_1_INIT_GENERIC_SHIFT		0x1
150 #define RGR1_SW_INIT_1_INIT_7278_MASK			0x1
151 #define RGR1_SW_INIT_1_INIT_7278_SHIFT			0x0
154 #define BRCM_NUM_PCIE_OUT_WINS		0x4
157 #define BRCM_INT_PCI_MSI_SHIFT		0
158 #define BRCM_INT_PCI_MSI_MASK		GENMASK(BRCM_INT_PCI_MSI_NR - 1, 0)
163 #define BRCM_MSI_TARGET_ADDR_LT_4GB	0x0fffffffcULL
164 #define BRCM_MSI_TARGET_ADDR_GT_4GB	0xffffffffcULL
167 #define MDIO_PORT0			0x0
168 #define MDIO_DATA_MASK			0x7fffffff
169 #define MDIO_PORT_MASK			0xf0000
170 #define MDIO_REGAD_MASK			0xffff
171 #define MDIO_CMD_MASK			0xfff00000
172 #define MDIO_CMD_READ			0x1
173 #define MDIO_CMD_WRITE			0x0
174 #define MDIO_DATA_DONE_MASK		0x80000000
175 #define MDIO_RD_DONE(x)			(((x) & MDIO_DATA_DONE_MASK) ? 1 : 0)
176 #define MDIO_WT_DONE(x)			(((x) & MDIO_DATA_DONE_MASK) ? 0 : 1)
177 #define SSC_REGS_ADDR			0x1100
178 #define SET_ADDR_OFFSET			0x1f
179 #define SSC_CNTL_OFFSET			0x2
180 #define SSC_CNTL_OVRD_EN_MASK		0x8000
181 #define SSC_CNTL_OVRD_VAL_MASK		0x4000
182 #define SSC_STATUS_OFFSET		0x1
183 #define SSC_STATUS_SSC_MASK		0x400
184 #define SSC_STATUS_PLL_LOCK_MASK	0x800
192 #define PCIE_DVT_PMU_PCIE_PHY_CTRL				0xc700
193 #define  PCIE_DVT_PMU_PCIE_PHY_CTRL_DAST_NFLDS			0x3
194 #define  PCIE_DVT_PMU_PCIE_PHY_CTRL_DAST_DIG_RESET_MASK		0x4
195 #define  PCIE_DVT_PMU_PCIE_PHY_CTRL_DAST_DIG_RESET_SHIFT	0x2
196 #define  PCIE_DVT_PMU_PCIE_PHY_CTRL_DAST_RESET_MASK		0x2
197 #define  PCIE_DVT_PMU_PCIE_PHY_CTRL_DAST_RESET_SHIFT		0x1
198 #define  PCIE_DVT_PMU_PCIE_PHY_CTRL_DAST_PWRDN_MASK		0x1
199 #define  PCIE_DVT_PMU_PCIE_PHY_CTRL_DAST_PWRDN_SHIFT		0x0
292 		return (log2_in - 12) + 0x1c;  in brcm_pcie_encode_ibar_size()
297 	return 0;  in brcm_pcie_encode_ibar_size()
302 	u32 pkt = 0;  in brcm_pcie_mdio_form_pkt()
356 	if (ret < 0)  in brcm_pcie_set_ssc()
361 	if (ret < 0)  in brcm_pcie_set_ssc()
368 	if (ret < 0)  in brcm_pcie_set_ssc()
374 	if (ret < 0)  in brcm_pcie_set_ssc()
380 	return ssc && pll ? 0 : -EIO;  in brcm_pcie_set_ssc()
392 	lnkctl2 = (lnkctl2 & ~0xf) | gen;  in brcm_pcie_set_gen()
484 	msg->data = (0xffff & PCIE_MISC_MSI_DATA_CONFIG_VAL_32) | data->hwirq;  in brcm_msi_compose_msi_msg()
537 	if (hwirq < 0)  in brcm_irq_domain_alloc()
540 	for (i = 0; i < nr_irqs; i++)  in brcm_irq_domain_alloc()
544 	return 0;  in brcm_irq_domain_alloc()
581 	return 0;  in brcm_allocate_domains()
609 	 * The 0 bit of PCIE_MISC_MSI_BAR_CONFIG_LO is repurposed to MSI  in brcm_msi_set_regs()
612 	writel(lower_32_bits(msi->target_addr) | 0x1,  in brcm_msi_set_regs()
628 	if (irq <= 0) {  in brcm_pcie_enable_msi()
658 		msi->legacy_shift = 0;  in brcm_pcie_enable_msi()
670 	return 0;  in brcm_pcie_enable_msi()
707 	idx = PCIE_ECAM_OFFSET(bus->number, devfn, 0);  in brcm_pcie_map_bus()
768 	/* Perst bit has moved and assert value is 0 */  in brcm_pcie_perst_set_7278()
790 	u64 lowest_pcie_addr = ~(u64)0;  in brcm_pcie_get_rc_bar2_size_and_offset()
791 	int ret, i = 0;  in brcm_pcie_get_rc_bar2_size_and_offset()
792 	u64 size = 0;  in brcm_pcie_get_rc_bar2_size_and_offset()
802 	if (lowest_pcie_addr == ~(u64)0) {  in brcm_pcie_get_rc_bar2_size_and_offset()
810 	if (ret <= 0) {  in brcm_pcie_get_rc_bar2_size_and_offset()
813 		pcie->memc_size[0] = 1ULL << fls64(size - 1);  in brcm_pcie_get_rc_bar2_size_and_offset()
819 	for (i = 0, size = 0; i < pcie->num_memc; i++)  in brcm_pcie_get_rc_bar2_size_and_offset()
856 	 *   region at location 0 (since we have to allow some space for  in brcm_pcie_get_rc_bar2_size_and_offset()
862 		dev_err(dev, "Invalid rc_bar2_offset/size: size 0x%llx, off 0x%llx\n",  in brcm_pcie_get_rc_bar2_size_and_offset()
867 	return 0;  in brcm_pcie_get_rc_bar2_size_and_offset()
877 	int num_out_wins = 0;  in brcm_pcie_setup()
890 	pcie->bridge_sw_init_set(pcie, 0);  in brcm_pcie_setup()
903 	 * is encoded as 0=128, 1=256, 2=512, 3=Rsvd, for BCM7278 it  in brcm_pcie_setup()
904 	 * is encoded as 0=Rsvd, 1=128, 2=256, 3=512.  in brcm_pcie_setup()
907 		burst = 0x1; /* 256 bytes */  in brcm_pcie_setup()
909 		burst = 0x0; /* 128 bytes */  in brcm_pcie_setup()
911 		burst = 0x3; /* 512 bytes */  in brcm_pcie_setup()
913 		burst = 0x2; /* 512 bytes */  in brcm_pcie_setup()
940 	for (memc = 0; memc < pcie->num_memc; memc++) {  in brcm_pcie_setup()
943 		if (memc == 0)  in brcm_pcie_setup()
944 			u32p_replace_bits(&tmp, scb_size_val, SCB_SIZE_MASK(0));  in brcm_pcie_setup()
993 	u32p_replace_bits(&tmp, 0x060400,  in brcm_pcie_setup()
1016 			for (j = 0; j < nwins; j++, start += SZ_128M)  in brcm_pcie_setup()
1034 	return 0;  in brcm_pcie_setup()
1069 	if (strcmp(mode, "no-l1ss") == 0) {  in brcm_config_clkreq()
1088 	} else if (strcmp(mode, "default") == 0) {  in brcm_config_clkreq()
1105 		if (strcmp(mode, "safe") != 0)  in brcm_config_clkreq()
1123 	pcie->perst_set(pcie, 0);  in brcm_pcie_start_link()
1127 	 * sections 2.2, PCIe r5.0, 6.6.1.  in brcm_pcie_start_link()
1136 	for (i = 0; i < 100 && !brcm_pcie_link_up(pcie); i += 5)  in brcm_pcie_start_link()
1151 		if (ret == 0)  in brcm_pcie_start_link()
1164 	return 0;  in brcm_pcie_start_link()
1183 		for (i = 0; i < ARRAY_SIZE(supplies); i++)  in alloc_subdev_regulators()
1198 		return 0;  in brcm_pcie_add_bus()
1225 	return 0;  in brcm_pcie_add_bus()
1258 	for (i = 0; i < 15 && !l23; i++) {  in brcm_pcie_enter_l23()
1279 	const int beg = start ? 0 : PCIE_DVT_PMU_PCIE_PHY_CTRL_DAST_NFLDS - 1;  in brcm_phy_cntl()
1281 	u32 tmp, combined_mask = 0;  in brcm_phy_cntl()
1287 		val = start ? BIT_MASK(shifts[i]) : 0;  in brcm_phy_cntl()
1296 	val = start ? combined_mask : 0;  in brcm_phy_cntl()
1298 	ret = (tmp & combined_mask) == val ? 0 : -EIO;  in brcm_phy_cntl()
1307 	return pcie->rescal ? brcm_phy_cntl(pcie, 1) : 0;  in brcm_phy_start()
1312 	return pcie->rescal ? brcm_phy_cntl(pcie, 0) : 0;  in brcm_phy_stop()
1327 	u32p_replace_bits(&tmp, 0, PCIE_MISC_PCIE_CTRL_PCIE_L23_REQUEST_MASK);  in brcm_pcie_turn_off()
1392 	return 0;  in brcm_pcie_suspend_noirq()
1416 	pcie->bridge_sw_init_set(pcie, 0);  in brcm_pcie_resume_noirq()
1418 	/* SERDES_IDDQ = 0 */  in brcm_pcie_resume_noirq()
1420 	u32p_replace_bits(&tmp, 0, PCIE_MISC_HARD_PCIE_HARD_DEBUG_SERDES_IDDQ_MASK);  in brcm_pcie_resume_noirq()
1456 	return 0;  in brcm_pcie_resume_noirq()
1490 	[RGR1_SW_INIT_1] = 0x9210,
1491 	[EXT_CFG_INDEX]  = 0x9000,
1492 	[EXT_CFG_DATA]   = 0x9004,
1496 	[RGR1_SW_INIT_1] = 0x8010,
1497 	[EXT_CFG_INDEX]  = 0x8300,
1498 	[EXT_CFG_DATA]   = 0x8304,
1530 	[RGR1_SW_INIT_1] = 0xc010,
1531 	[EXT_CFG_INDEX] = 0x9000,
1532 	[EXT_CFG_DATA] = 0x9004,
1603 	pcie->base = devm_platform_ioremap_resource(pdev, 0);  in brcm_pcie_probe()
1612 	pcie->gen = (ret < 0) ? 0 : ret;  in brcm_pcie_probe()
1654 	msi_np = of_parse_phandle(pcie->np, "msi-parent", 0);  in brcm_pcie_probe()
1677 	return 0;  in brcm_pcie_probe()