3  * PCIe host controller driver for Rockchip SoCs.
5  * Copyright (C) 2021 Rockchip Electronics Co., Ltd.
75 static int rockchip_pcie_readl_apb(struct rockchip_pcie *rockchip, u32 reg)  in rockchip_pcie_readl_apb()  argument
77 	return readl_relaxed(rockchip->apb_base + reg);  in rockchip_pcie_readl_apb()
80 static void rockchip_pcie_writel_apb(struct rockchip_pcie *rockchip, u32 val,  in rockchip_pcie_writel_apb()  argument
83 	writel_relaxed(val, rockchip->apb_base + reg);  in rockchip_pcie_writel_apb()
89 	struct rockchip_pcie *rockchip = irq_desc_get_handler_data(desc);  in rockchip_pcie_intx_handler()  local
94 	reg = rockchip_pcie_readl_apb(rockchip, PCIE_CLIENT_INTR_STATUS_LEGACY);  in rockchip_pcie_intx_handler()
97 		generic_handle_domain_irq(rockchip->irq_domain, hwirq);  in rockchip_pcie_intx_handler()
136 static int rockchip_pcie_init_irq_domain(struct rockchip_pcie *rockchip)  in rockchip_pcie_init_irq_domain()  argument
138 	struct device *dev = rockchip->pci.dev;  in rockchip_pcie_init_irq_domain()
147 	rockchip->irq_domain = irq_domain_add_linear(intc, PCI_NUM_INTX,  in rockchip_pcie_init_irq_domain()
148 						    &intx_domain_ops, rockchip);  in rockchip_pcie_init_irq_domain()
150 	if (!rockchip->irq_domain) {  in rockchip_pcie_init_irq_domain()
158 static u32 rockchip_pcie_get_ltssm(struct rockchip_pcie *rockchip)  in rockchip_pcie_get_ltssm()  argument
160 	return rockchip_pcie_readl_apb(rockchip, PCIE_CLIENT_LTSSM_STATUS);  in rockchip_pcie_get_ltssm()
163 static void rockchip_pcie_enable_ltssm(struct rockchip_pcie *rockchip)  in rockchip_pcie_enable_ltssm()  argument
165 	rockchip_pcie_writel_apb(rockchip, PCIE_CLIENT_ENABLE_LTSSM,  in rockchip_pcie_enable_ltssm()
169 static void rockchip_pcie_disable_ltssm(struct rockchip_pcie *rockchip)  in rockchip_pcie_disable_ltssm()  argument
171 	rockchip_pcie_writel_apb(rockchip, PCIE_CLIENT_DISABLE_LTSSM,  in rockchip_pcie_disable_ltssm()
177 	struct rockchip_pcie *rockchip = to_rockchip_pcie(pci);  in rockchip_pcie_link_up()  local
178 	u32 val = rockchip_pcie_get_ltssm(rockchip);  in rockchip_pcie_link_up()
189 	struct rockchip_pcie *rockchip = to_rockchip_pcie(pci);  in rockchip_pcie_start_link()  local
192 	gpiod_set_value_cansleep(rockchip->rst_gpio, 0);  in rockchip_pcie_start_link()
194 	rockchip_pcie_enable_ltssm(rockchip);  in rockchip_pcie_start_link()
206 	gpiod_set_value_cansleep(rockchip->rst_gpio, 1);  in rockchip_pcie_start_link()
213 	struct rockchip_pcie *rockchip = to_rockchip_pcie(pci);  in rockchip_pcie_stop_link()  local
215 	rockchip_pcie_disable_ltssm(rockchip);  in rockchip_pcie_stop_link()
221 	struct rockchip_pcie *rockchip = to_rockchip_pcie(pci);  in rockchip_pcie_host_init()  local
222 	struct device *dev = rockchip->pci.dev;  in rockchip_pcie_host_init()
229 	ret = rockchip_pcie_init_irq_domain(rockchip);  in rockchip_pcie_host_init()
234 					 rockchip);  in rockchip_pcie_host_init()
258 	if (!of_device_is_compatible(dev->of_node, "rockchip,rk3588-pcie-ep"))  in rockchip_pcie_ep_hide_broken_ats_cap_rk3588()
338 	struct rockchip_pcie *rockchip = to_rockchip_pcie(pci);  in rockchip_pcie_get_features()  local
340 	return rockchip->data->epc_features;  in rockchip_pcie_get_features()
350 static int rockchip_pcie_clk_init(struct rockchip_pcie *rockchip)  in rockchip_pcie_clk_init()  argument
352 	struct device *dev = rockchip->pci.dev;  in rockchip_pcie_clk_init()
355 	ret = devm_clk_bulk_get_all(dev, &rockchip->clks);  in rockchip_pcie_clk_init()
359 	rockchip->clk_cnt = ret;  in rockchip_pcie_clk_init()
361 	ret = clk_bulk_prepare_enable(rockchip->clk_cnt, rockchip->clks);  in rockchip_pcie_clk_init()
369 				      struct rockchip_pcie *rockchip)  in rockchip_pcie_resource_get()  argument
371 	rockchip->apb_base = devm_platform_ioremap_resource_byname(pdev, "apb");  in rockchip_pcie_resource_get()
372 	if (IS_ERR(rockchip->apb_base))  in rockchip_pcie_resource_get()
373 		return dev_err_probe(&pdev->dev, PTR_ERR(rockchip->apb_base),  in rockchip_pcie_resource_get()
376 	rockchip->rst_gpio = devm_gpiod_get_optional(&pdev->dev, "reset",  in rockchip_pcie_resource_get()
378 	if (IS_ERR(rockchip->rst_gpio))  in rockchip_pcie_resource_get()
379 		return dev_err_probe(&pdev->dev, PTR_ERR(rockchip->rst_gpio),  in rockchip_pcie_resource_get()
382 	rockchip->rst = devm_reset_control_array_get_exclusive(&pdev->dev);  in rockchip_pcie_resource_get()
383 	if (IS_ERR(rockchip->rst))  in rockchip_pcie_resource_get()
384 		return dev_err_probe(&pdev->dev, PTR_ERR(rockchip->rst),  in rockchip_pcie_resource_get()
390 static int rockchip_pcie_phy_init(struct rockchip_pcie *rockchip)  in rockchip_pcie_phy_init()  argument
392 	struct device *dev = rockchip->pci.dev;  in rockchip_pcie_phy_init()
395 	rockchip->phy = devm_phy_get(dev, "pcie-phy");  in rockchip_pcie_phy_init()
396 	if (IS_ERR(rockchip->phy))  in rockchip_pcie_phy_init()
397 		return dev_err_probe(dev, PTR_ERR(rockchip->phy),  in rockchip_pcie_phy_init()
400 	ret = phy_init(rockchip->phy);  in rockchip_pcie_phy_init()
404 	ret = phy_power_on(rockchip->phy);  in rockchip_pcie_phy_init()
406 		phy_exit(rockchip->phy);  in rockchip_pcie_phy_init()
411 static void rockchip_pcie_phy_deinit(struct rockchip_pcie *rockchip)  in rockchip_pcie_phy_deinit()  argument
413 	phy_exit(rockchip->phy);  in rockchip_pcie_phy_deinit()
414 	phy_power_off(rockchip->phy);  in rockchip_pcie_phy_deinit()
425 	struct rockchip_pcie *rockchip = arg;  in rockchip_pcie_rc_sys_irq_thread()  local
426 	struct dw_pcie *pci = &rockchip->pci;  in rockchip_pcie_rc_sys_irq_thread()
431 	reg = rockchip_pcie_readl_apb(rockchip, PCIE_CLIENT_INTR_STATUS_MISC);  in rockchip_pcie_rc_sys_irq_thread()
432 	rockchip_pcie_writel_apb(rockchip, reg, PCIE_CLIENT_INTR_STATUS_MISC);  in rockchip_pcie_rc_sys_irq_thread()
435 	dev_dbg(dev, "LTSSM_STATUS: %#x\n", rockchip_pcie_get_ltssm(rockchip));  in rockchip_pcie_rc_sys_irq_thread()
438 		val = rockchip_pcie_get_ltssm(rockchip);  in rockchip_pcie_rc_sys_irq_thread()
453 	struct rockchip_pcie *rockchip = arg;  in rockchip_pcie_ep_sys_irq_thread()  local
454 	struct dw_pcie *pci = &rockchip->pci;  in rockchip_pcie_ep_sys_irq_thread()
458 	reg = rockchip_pcie_readl_apb(rockchip, PCIE_CLIENT_INTR_STATUS_MISC);  in rockchip_pcie_ep_sys_irq_thread()
459 	rockchip_pcie_writel_apb(rockchip, reg, PCIE_CLIENT_INTR_STATUS_MISC);  in rockchip_pcie_ep_sys_irq_thread()
462 	dev_dbg(dev, "LTSSM_STATUS: %#x\n", rockchip_pcie_get_ltssm(rockchip));  in rockchip_pcie_ep_sys_irq_thread()
470 		val = rockchip_pcie_get_ltssm(rockchip);  in rockchip_pcie_ep_sys_irq_thread()
481 				      struct rockchip_pcie *rockchip)  in rockchip_pcie_configure_rc()  argument
497 					IRQF_ONESHOT, "pcie-sys-rc", rockchip);  in rockchip_pcie_configure_rc()
505 	rockchip_pcie_writel_apb(rockchip, val, PCIE_CLIENT_HOT_RESET_CTRL);  in rockchip_pcie_configure_rc()
507 	rockchip_pcie_writel_apb(rockchip, PCIE_CLIENT_RC_MODE,  in rockchip_pcie_configure_rc()
510 	pp = &rockchip->pci.pp;  in rockchip_pcie_configure_rc()
522 	rockchip_pcie_writel_apb(rockchip, val, PCIE_CLIENT_INTR_MASK_MISC);  in rockchip_pcie_configure_rc()
528 				      struct rockchip_pcie *rockchip)  in rockchip_pcie_configure_ep()  argument
543 					IRQF_ONESHOT, "pcie-sys-ep", rockchip);  in rockchip_pcie_configure_ep()
551 	rockchip_pcie_writel_apb(rockchip, val, PCIE_CLIENT_HOT_RESET_CTRL);  in rockchip_pcie_configure_ep()
553 	rockchip_pcie_writel_apb(rockchip, PCIE_CLIENT_EP_MODE,  in rockchip_pcie_configure_ep()
556 	rockchip->pci.ep.ops = &rockchip_pcie_ep_ops;  in rockchip_pcie_configure_ep()
557 	rockchip->pci.ep.page_size = SZ_64K;  in rockchip_pcie_configure_ep()
561 	ret = dw_pcie_ep_init(&rockchip->pci.ep);  in rockchip_pcie_configure_ep()
567 	ret = dw_pcie_ep_init_registers(&rockchip->pci.ep);  in rockchip_pcie_configure_ep()
570 		dw_pcie_ep_deinit(&rockchip->pci.ep);  in rockchip_pcie_configure_ep()
574 	pci_epc_init_notify(rockchip->pci.ep.epc);  in rockchip_pcie_configure_ep()
578 	rockchip_pcie_writel_apb(rockchip, val, PCIE_CLIENT_INTR_MASK_MISC);  in rockchip_pcie_configure_ep()
586 	struct rockchip_pcie *rockchip;  in rockchip_pcie_probe()  local
594 	rockchip = devm_kzalloc(dev, sizeof(*rockchip), GFP_KERNEL);  in rockchip_pcie_probe()
595 	if (!rockchip)  in rockchip_pcie_probe()
598 	platform_set_drvdata(pdev, rockchip);  in rockchip_pcie_probe()
600 	rockchip->pci.dev = dev;  in rockchip_pcie_probe()
601 	rockchip->pci.ops = &dw_pcie_ops;  in rockchip_pcie_probe()
602 	rockchip->data = data;  in rockchip_pcie_probe()
604 	ret = rockchip_pcie_resource_get(pdev, rockchip);  in rockchip_pcie_probe()
608 	ret = reset_control_assert(rockchip->rst);  in rockchip_pcie_probe()
613 	rockchip->vpcie3v3 = devm_regulator_get_optional(dev, "vpcie3v3");  in rockchip_pcie_probe()
614 	if (IS_ERR(rockchip->vpcie3v3)) {  in rockchip_pcie_probe()
615 		if (PTR_ERR(rockchip->vpcie3v3) != -ENODEV)  in rockchip_pcie_probe()
616 			return dev_err_probe(dev, PTR_ERR(rockchip->vpcie3v3),  in rockchip_pcie_probe()
618 		rockchip->vpcie3v3 = NULL;  in rockchip_pcie_probe()
620 		ret = regulator_enable(rockchip->vpcie3v3);  in rockchip_pcie_probe()
626 	ret = rockchip_pcie_phy_init(rockchip);  in rockchip_pcie_probe()
630 	ret = reset_control_deassert(rockchip->rst);  in rockchip_pcie_probe()
634 	ret = rockchip_pcie_clk_init(rockchip);  in rockchip_pcie_probe()
640 		ret = rockchip_pcie_configure_rc(pdev, rockchip);  in rockchip_pcie_probe()
645 		ret = rockchip_pcie_configure_ep(pdev, rockchip);  in rockchip_pcie_probe()
658 	clk_bulk_disable_unprepare(rockchip->clk_cnt, rockchip->clks);  in rockchip_pcie_probe()
660 	rockchip_pcie_phy_deinit(rockchip);  in rockchip_pcie_probe()
662 	if (rockchip->vpcie3v3)  in rockchip_pcie_probe()
663 		regulator_disable(rockchip->vpcie3v3);  in rockchip_pcie_probe()
684 		.compatible = "rockchip,rk3568-pcie",
688 		.compatible = "rockchip,rk3568-pcie-ep",
692 		.compatible = "rockchip,rk3588-pcie-ep",
700 		.name	= "rockchip-dw-pcie",