1 // SPDX-License-Identifier: GPL-2.0
3  * Qualcomm PCIe Endpoint controller driver
18 #include <linux/phy/pcie.h>
27 #include "pcie-designware.h"
143 #define to_pcie_ep(x)				dev_get_drvdata((x)->dev)
153  * struct qcom_pcie_ep - Qualcomm PCIe Endpoint Controller
154  * @pci: Designware PCIe controller struct
155  * @parf: Qualcomm PCIe specific PARF register base
156  * @elbi: Designware PCIe specific ELBI register base
160  * @core_reset: PCIe Endpoint core reset
164  * @debugfs: PCIe Endpoint Debugfs directory
165  * @icc_mem: Handle to an interconnect path between PCIe and MEM
166  * @clks: PCIe clocks
167  * @num_clks: PCIe clocks count
170  * @link_status: PCIe Link status
171  * @global_irq: Qualcomm PCIe specific Global IRQ
204 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_core_reset()
205 	struct device *dev = pci->dev;  in qcom_pcie_ep_core_reset()
208 	ret = reset_control_assert(pcie_ep->core_reset);  in qcom_pcie_ep_core_reset()
216 	ret = reset_control_deassert(pcie_ep->core_reset);  in qcom_pcie_ep_core_reset()
218 		dev_err(dev, "Cannot de-assert core reset\n");  in qcom_pcie_ep_core_reset()
234 	if (pcie_ep->perst_map) {  in qcom_pcie_ep_configure_tcsr()
235 		regmap_write(pcie_ep->perst_map, pcie_ep->perst_en, 0);  in qcom_pcie_ep_configure_tcsr()
236 		regmap_write(pcie_ep->perst_map, pcie_ep->perst_sep_en, 0);  in qcom_pcie_ep_configure_tcsr()
245 	reg = readl_relaxed(pcie_ep->elbi + ELBI_SYS_STTS);  in qcom_pcie_dw_link_up()
254 	enable_irq(pcie_ep->perst_irq);  in qcom_pcie_dw_start_link()
263 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_dw_stop_link()
272 	writel(1, pcie_ep->elbi + ELBI_CS2_ENABLE);  in qcom_pcie_dw_write_dbi2()
274 	ret = dw_pcie_write(pci->dbi_base2 + reg, size, val);  in qcom_pcie_dw_write_dbi2()
276 		dev_err(pci->dev, "Failed to write DBI2 register (0x%x): %d\n", reg, ret);  in qcom_pcie_dw_write_dbi2()
278 	writel(0, pcie_ep->elbi + ELBI_CS2_ENABLE);  in qcom_pcie_dw_write_dbi2()
283 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_icc_update()
288 	if (!pcie_ep->icc_mem)  in qcom_pcie_ep_icc_update()
292 	status = readw(pci->dbi_base + offset + PCI_EXP_LNKSTA);  in qcom_pcie_ep_icc_update()
297 	ret = icc_set_bw(pcie_ep->icc_mem, 0, width * QCOM_PCIE_LINK_SPEED_TO_BW(speed));  in qcom_pcie_ep_icc_update()
299 		dev_err(pci->dev, "failed to set interconnect bandwidth: %d\n",  in qcom_pcie_ep_icc_update()
305 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_enable_resources()
308 	ret = clk_bulk_prepare_enable(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_enable_resources()
316 	ret = phy_init(pcie_ep->phy);  in qcom_pcie_enable_resources()
320 	ret = phy_set_mode_ext(pcie_ep->phy, PHY_MODE_PCIE, PHY_MODE_PCIE_EP);  in qcom_pcie_enable_resources()
324 	ret = phy_power_on(pcie_ep->phy);  in qcom_pcie_enable_resources()
332 	 * Set an initial peak bandwidth corresponding to single-lane Gen 1  in qcom_pcie_enable_resources()
333 	 * for the pcie-mem path.  in qcom_pcie_enable_resources()
335 	ret = icc_set_bw(pcie_ep->icc_mem, 0, QCOM_PCIE_LINK_SPEED_TO_BW(1));  in qcom_pcie_enable_resources()
337 		dev_err(pci->dev, "failed to set interconnect bandwidth: %d\n",  in qcom_pcie_enable_resources()
345 	phy_power_off(pcie_ep->phy);  in qcom_pcie_enable_resources()
347 	phy_exit(pcie_ep->phy);  in qcom_pcie_enable_resources()
349 	clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_enable_resources()
356 	icc_set_bw(pcie_ep->icc_mem, 0, 0);  in qcom_pcie_disable_resources()
357 	phy_power_off(pcie_ep->phy);  in qcom_pcie_disable_resources()
358 	phy_exit(pcie_ep->phy);  in qcom_pcie_disable_resources()
359 	clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_disable_resources()
365 	struct device *dev = pci->dev;  in qcom_pcie_perst_deassert()
376 	gpiod_set_value_cansleep(pcie_ep->wake, 1);  in qcom_pcie_perst_deassert()
378 	gpiod_set_value_cansleep(pcie_ep->wake, 0);  in qcom_pcie_perst_deassert()
383 	val = readl_relaxed(pcie_ep->parf + PARF_BDF_TO_SID_CFG);  in qcom_pcie_perst_deassert()
385 	writel_relaxed(val, pcie_ep->parf + PARF_BDF_TO_SID_CFG);  in qcom_pcie_perst_deassert()
388 	val = readl_relaxed(pcie_ep->parf + PARF_DEBUG_INT_EN);  in qcom_pcie_perst_deassert()
392 	writel_relaxed(val, pcie_ep->parf + PARF_DEBUG_INT_EN);  in qcom_pcie_perst_deassert()
394 	/* Configure PCIe to endpoint mode */  in qcom_pcie_perst_deassert()
395 	writel_relaxed(PARF_DEVICE_TYPE_EP, pcie_ep->parf + PARF_DEVICE_TYPE);  in qcom_pcie_perst_deassert()
398 	val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_perst_deassert()
400 	writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_perst_deassert()
403 	val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES);  in qcom_pcie_perst_deassert()
405 	writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES);  in qcom_pcie_perst_deassert()
408 	val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT);  in qcom_pcie_perst_deassert()
410 	writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT);  in qcom_pcie_perst_deassert()
413 	val = readl_relaxed(pcie_ep->parf + PARF_Q2A_FLUSH);  in qcom_pcie_perst_deassert()
415 	writel_relaxed(val, pcie_ep->parf + PARF_Q2A_FLUSH);  in qcom_pcie_perst_deassert()
423 	val = readl_relaxed(pcie_ep->parf + PARF_SYS_CTRL);  in qcom_pcie_perst_deassert()
428 	writel_relaxed(val, pcie_ep->parf + PARF_SYS_CTRL);  in qcom_pcie_perst_deassert()
431 	val = readl_relaxed(pcie_ep->parf + PARF_DB_CTRL);  in qcom_pcie_perst_deassert()
435 	writel_relaxed(val, pcie_ep->parf + PARF_DB_CTRL);  in qcom_pcie_perst_deassert()
438 	val = readl_relaxed(pcie_ep->parf + PARF_CFG_BITS);  in qcom_pcie_perst_deassert()
440 	writel_relaxed(val, pcie_ep->parf + PARF_CFG_BITS);  in qcom_pcie_perst_deassert()
444 	/* Set the L0s Exit Latency to 2us-4us = 0x6 */  in qcom_pcie_perst_deassert()
451 	/* Set the L1 Exit Latency to be 32us-64 us = 0x6 */  in qcom_pcie_perst_deassert()
460 	writel_relaxed(0, pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_perst_deassert()
464 	writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_perst_deassert()
466 	ret = dw_pcie_ep_init_complete(&pcie_ep->pci.ep);  in qcom_pcie_perst_deassert()
476 	writel_relaxed(pcie_ep->mmio_res->start,  in qcom_pcie_perst_deassert()
477 		       pcie_ep->parf + PARF_MHI_BASE_ADDR_LOWER);  in qcom_pcie_perst_deassert()
478 	writel_relaxed(0, pcie_ep->parf + PARF_MHI_BASE_ADDR_UPPER);  in qcom_pcie_perst_deassert()
481 	val = readl_relaxed(pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL);  in qcom_pcie_perst_deassert()
483 	writel_relaxed(val, pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL);  in qcom_pcie_perst_deassert()
485 	dw_pcie_ep_init_notify(&pcie_ep->pci.ep);  in qcom_pcie_perst_deassert()
488 	val = readl_relaxed(pcie_ep->parf + PARF_LTSSM);  in qcom_pcie_perst_deassert()
490 	writel_relaxed(val, pcie_ep->parf + PARF_LTSSM);  in qcom_pcie_perst_deassert()
503 	struct device *dev = pci->dev;  in qcom_pcie_perst_assert()
505 	if (pcie_ep->link_status == QCOM_PCIE_EP_LINK_DISABLED) {  in qcom_pcie_perst_assert()
511 	pcie_ep->link_status = QCOM_PCIE_EP_LINK_DISABLED;  in qcom_pcie_perst_assert()
525 	struct device *dev = &pdev->dev;  in qcom_pcie_ep_get_io_resources()
526 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_get_io_resources()
531 	pcie_ep->parf = devm_platform_ioremap_resource_byname(pdev, "parf");  in qcom_pcie_ep_get_io_resources()
532 	if (IS_ERR(pcie_ep->parf))  in qcom_pcie_ep_get_io_resources()
533 		return PTR_ERR(pcie_ep->parf);  in qcom_pcie_ep_get_io_resources()
536 	pci->dbi_base = devm_pci_remap_cfg_resource(dev, res);  in qcom_pcie_ep_get_io_resources()
537 	if (IS_ERR(pci->dbi_base))  in qcom_pcie_ep_get_io_resources()
538 		return PTR_ERR(pci->dbi_base);  in qcom_pcie_ep_get_io_resources()
539 	pci->dbi_base2 = pci->dbi_base;  in qcom_pcie_ep_get_io_resources()
542 	pcie_ep->elbi = devm_pci_remap_cfg_resource(dev, res);  in qcom_pcie_ep_get_io_resources()
543 	if (IS_ERR(pcie_ep->elbi))  in qcom_pcie_ep_get_io_resources()
544 		return PTR_ERR(pcie_ep->elbi);  in qcom_pcie_ep_get_io_resources()
546 	pcie_ep->mmio_res = platform_get_resource_byname(pdev, IORESOURCE_MEM,  in qcom_pcie_ep_get_io_resources()
548 	if (!pcie_ep->mmio_res) {  in qcom_pcie_ep_get_io_resources()
550 		return -EINVAL;  in qcom_pcie_ep_get_io_resources()
553 	pcie_ep->mmio = devm_pci_remap_cfg_resource(dev, pcie_ep->mmio_res);  in qcom_pcie_ep_get_io_resources()
554 	if (IS_ERR(pcie_ep->mmio))  in qcom_pcie_ep_get_io_resources()
555 		return PTR_ERR(pcie_ep->mmio);  in qcom_pcie_ep_get_io_resources()
557 	syscon = of_parse_phandle(dev->of_node, "qcom,perst-regs", 0);  in qcom_pcie_ep_get_io_resources()
563 	pcie_ep->perst_map = syscon_node_to_regmap(syscon);  in qcom_pcie_ep_get_io_resources()
565 	if (IS_ERR(pcie_ep->perst_map))  in qcom_pcie_ep_get_io_resources()
566 		return PTR_ERR(pcie_ep->perst_map);  in qcom_pcie_ep_get_io_resources()
568 	ret = of_property_read_u32_index(dev->of_node, "qcom,perst-regs",  in qcom_pcie_ep_get_io_resources()
569 					 1, &pcie_ep->perst_en);  in qcom_pcie_ep_get_io_resources()
575 	ret = of_property_read_u32_index(dev->of_node, "qcom,perst-regs",  in qcom_pcie_ep_get_io_resources()
576 					 2, &pcie_ep->perst_sep_en);  in qcom_pcie_ep_get_io_resources()
588 	struct device *dev = &pdev->dev;  in qcom_pcie_ep_get_resources()
597 	pcie_ep->num_clks = devm_clk_bulk_get_all(dev, &pcie_ep->clks);  in qcom_pcie_ep_get_resources()
598 	if (pcie_ep->num_clks < 0) {  in qcom_pcie_ep_get_resources()
600 		return pcie_ep->num_clks;  in qcom_pcie_ep_get_resources()
603 	pcie_ep->core_reset = devm_reset_control_get_exclusive(dev, "core");  in qcom_pcie_ep_get_resources()
604 	if (IS_ERR(pcie_ep->core_reset))  in qcom_pcie_ep_get_resources()
605 		return PTR_ERR(pcie_ep->core_reset);  in qcom_pcie_ep_get_resources()
607 	pcie_ep->reset = devm_gpiod_get(dev, "reset", GPIOD_IN);  in qcom_pcie_ep_get_resources()
608 	if (IS_ERR(pcie_ep->reset))  in qcom_pcie_ep_get_resources()
609 		return PTR_ERR(pcie_ep->reset);  in qcom_pcie_ep_get_resources()
611 	pcie_ep->wake = devm_gpiod_get_optional(dev, "wake", GPIOD_OUT_LOW);  in qcom_pcie_ep_get_resources()
612 	if (IS_ERR(pcie_ep->wake))  in qcom_pcie_ep_get_resources()
613 		return PTR_ERR(pcie_ep->wake);  in qcom_pcie_ep_get_resources()
615 	pcie_ep->phy = devm_phy_optional_get(dev, "pciephy");  in qcom_pcie_ep_get_resources()
616 	if (IS_ERR(pcie_ep->phy))  in qcom_pcie_ep_get_resources()
617 		ret = PTR_ERR(pcie_ep->phy);  in qcom_pcie_ep_get_resources()
619 	pcie_ep->icc_mem = devm_of_icc_get(dev, "pcie-mem");  in qcom_pcie_ep_get_resources()
620 	if (IS_ERR(pcie_ep->icc_mem))  in qcom_pcie_ep_get_resources()
621 		ret = PTR_ERR(pcie_ep->icc_mem);  in qcom_pcie_ep_get_resources()
626 /* TODO: Notify clients about PCIe state change */
630 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_global_irq_thread()
631 	struct device *dev = pci->dev;  in qcom_pcie_ep_global_irq_thread()
632 	u32 status = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_STATUS);  in qcom_pcie_ep_global_irq_thread()
633 	u32 mask = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_ep_global_irq_thread()
636 	writel_relaxed(status, pcie_ep->parf + PARF_INT_ALL_CLEAR);  in qcom_pcie_ep_global_irq_thread()
641 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_DOWN;  in qcom_pcie_ep_global_irq_thread()
642 		pci_epc_linkdown(pci->ep.epc);  in qcom_pcie_ep_global_irq_thread()
645 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_ENABLED;  in qcom_pcie_ep_global_irq_thread()
647 		pci_epc_bme_notify(pci->ep.epc);  in qcom_pcie_ep_global_irq_thread()
649 		dev_dbg(dev, "Received PM Turn-off event! Entering L23\n");  in qcom_pcie_ep_global_irq_thread()
650 		val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
652 		writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
658 			val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
660 			writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
664 		dw_pcie_ep_linkup(&pci->ep);  in qcom_pcie_ep_global_irq_thread()
665 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_UP;  in qcom_pcie_ep_global_irq_thread()
676 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_perst_irq_thread()
677 	struct device *dev = pci->dev;  in qcom_pcie_ep_perst_irq_thread()
680 	perst = gpiod_get_value(pcie_ep->reset);  in qcom_pcie_ep_perst_irq_thread()
682 		dev_dbg(dev, "PERST asserted by host. Shutting down the PCIe link!\n");  in qcom_pcie_ep_perst_irq_thread()
685 		dev_dbg(dev, "PERST de-asserted by host. Starting link training!\n");  in qcom_pcie_ep_perst_irq_thread()
689 	irq_set_irq_type(gpiod_to_irq(pcie_ep->reset),  in qcom_pcie_ep_perst_irq_thread()
700 	pcie_ep->global_irq = platform_get_irq_byname(pdev, "global");  in qcom_pcie_ep_enable_irq_resources()
701 	if (pcie_ep->global_irq < 0)  in qcom_pcie_ep_enable_irq_resources()
702 		return pcie_ep->global_irq;  in qcom_pcie_ep_enable_irq_resources()
704 	ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->global_irq, NULL,  in qcom_pcie_ep_enable_irq_resources()
709 		dev_err(&pdev->dev, "Failed to request Global IRQ\n");  in qcom_pcie_ep_enable_irq_resources()
713 	pcie_ep->perst_irq = gpiod_to_irq(pcie_ep->reset);  in qcom_pcie_ep_enable_irq_resources()
714 	irq_set_status_flags(pcie_ep->perst_irq, IRQ_NOAUTOEN);  in qcom_pcie_ep_enable_irq_resources()
715 	ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->perst_irq, NULL,  in qcom_pcie_ep_enable_irq_resources()
720 		dev_err(&pdev->dev, "Failed to request PERST IRQ\n");  in qcom_pcie_ep_enable_irq_resources()
721 		disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_enable_irq_resources()
728 static int qcom_pcie_ep_raise_irq(struct dw_pcie_ep *ep, u8 func_no,  in qcom_pcie_ep_raise_irq()  argument
731 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in qcom_pcie_ep_raise_irq()
735 		return dw_pcie_ep_raise_intx_irq(ep, func_no);  in qcom_pcie_ep_raise_irq()
737 		return dw_pcie_ep_raise_msi_irq(ep, func_no, interrupt_num);  in qcom_pcie_ep_raise_irq()
739 		dev_err(pci->dev, "Unknown IRQ type\n");  in qcom_pcie_ep_raise_irq()
740 		return -EINVAL;  in qcom_pcie_ep_raise_irq()
747 				     dev_get_drvdata(s->private);  in qcom_pcie_ep_link_transition_count()
750 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L0S));  in qcom_pcie_ep_link_transition_count()
753 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L1));  in qcom_pcie_ep_link_transition_count()
756 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L1));  in qcom_pcie_ep_link_transition_count()
759 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L2));  in qcom_pcie_ep_link_transition_count()
762 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L2));  in qcom_pcie_ep_link_transition_count()
769 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_init_debugfs()
771 	debugfs_create_devm_seqfile(pci->dev, "link_transition_count", pcie_ep->debugfs,  in qcom_pcie_ep_init_debugfs()
789 static void qcom_pcie_ep_init(struct dw_pcie_ep *ep)  in qcom_pcie_ep_init()  argument
791 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in qcom_pcie_ep_init()
806 	struct device *dev = &pdev->dev;  in qcom_pcie_ep_probe()
813 		return -ENOMEM;  in qcom_pcie_ep_probe()
815 	pcie_ep->pci.dev = dev;  in qcom_pcie_ep_probe()
816 	pcie_ep->pci.ops = &pci_ops;  in qcom_pcie_ep_probe()
817 	pcie_ep->pci.ep.ops = &pci_ep_ops;  in qcom_pcie_ep_probe()
818 	pcie_ep->pci.edma.nr_irqs = 1;  in qcom_pcie_ep_probe()
831 	ret = dw_pcie_ep_init(&pcie_ep->pci.ep);  in qcom_pcie_ep_probe()
841 	name = devm_kasprintf(dev, GFP_KERNEL, "%pOFP", dev->of_node);  in qcom_pcie_ep_probe()
843 		ret = -ENOMEM;  in qcom_pcie_ep_probe()
847 	pcie_ep->debugfs = debugfs_create_dir(name, NULL);  in qcom_pcie_ep_probe()
853 	disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_probe()
854 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_ep_probe()
866 	disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_remove()
867 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_ep_remove()
869 	debugfs_remove_recursive(pcie_ep->debugfs);  in qcom_pcie_ep_remove()
871 	if (pcie_ep->link_status == QCOM_PCIE_EP_LINK_DISABLED)  in qcom_pcie_ep_remove()
878 	{ .compatible = "qcom,sdx55-pcie-ep", },
879 	{ .compatible = "qcom,sm8450-pcie-ep", },
888 		.name = "qcom-pcie-ep",
896 MODULE_DESCRIPTION("Qualcomm PCIe Endpoint controller driver");