15 #include <linux/pci-epc.h>
16 #include <linux/pci-epf.h>
47 static void __dw_pcie_ep_reset_bar(struct dw_pcie *pci, u8 func_no,  in __dw_pcie_ep_reset_bar()  argument
50 	struct dw_pcie_ep *ep = &pci->ep;  in __dw_pcie_ep_reset_bar()
54 	dw_pcie_dbi_ro_wr_en(pci);  in __dw_pcie_ep_reset_bar()
61 	dw_pcie_dbi_ro_wr_dis(pci);  in __dw_pcie_ep_reset_bar()
64 void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar)  in dw_pcie_ep_reset_bar()  argument
68 	funcs = pci->ep.epc->max_functions;  in dw_pcie_ep_reset_bar()
71 		__dw_pcie_ep_reset_bar(pci, func_no, bar, 0);  in dw_pcie_ep_reset_bar()
112 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_write_header()  local
114 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_write_header()
128 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_write_header()
138 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_inbound_atu()  local
141 		free_win = find_first_zero_bit(ep->ib_window_map, pci->num_ib_windows);  in dw_pcie_ep_inbound_atu()
145 	if (free_win >= pci->num_ib_windows) {  in dw_pcie_ep_inbound_atu()
146 		dev_err(pci->dev, "No free inbound window\n");  in dw_pcie_ep_inbound_atu()
150 	ret = dw_pcie_prog_ep_inbound_atu(pci, func_no, free_win, type,  in dw_pcie_ep_inbound_atu()
153 		dev_err(pci->dev, "Failed to program IB window\n");  in dw_pcie_ep_inbound_atu()
167 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_outbound_atu()  local
171 	free_win = find_first_zero_bit(ep->ob_window_map, pci->num_ob_windows);  in dw_pcie_ep_outbound_atu()
172 	if (free_win >= pci->num_ob_windows) {  in dw_pcie_ep_outbound_atu()
173 		dev_err(pci->dev, "No free outbound window\n");  in dw_pcie_ep_outbound_atu()
177 	ret = dw_pcie_prog_ep_outbound_atu(pci, func_no, free_win, PCIE_ATU_TYPE_MEM,  in dw_pcie_ep_outbound_atu()
192 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_clear_bar()  local
196 	__dw_pcie_ep_reset_bar(pci, func_no, bar, epf_bar->flags);  in dw_pcie_ep_clear_bar()
198 	dw_pcie_disable_atu(pci, PCIE_ATU_REGION_DIR_IB, atu_index);  in dw_pcie_ep_clear_bar()
208 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_set_bar()  local
229 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_set_bar()
240 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_set_bar()
249 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_find_index()  local
251 	for (index = 0; index < pci->num_ob_windows; index++) {  in dw_pcie_find_index()
267 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_unmap_addr()  local
273 	dw_pcie_disable_atu(pci, PCIE_ATU_REGION_DIR_OB, atu_index);  in dw_pcie_ep_unmap_addr()
282 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_map_addr()  local
286 		dev_err(pci->dev, "Failed to enable address\n");  in dw_pcie_ep_map_addr()
317 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_set_msi()  local
329 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_set_msi()
331 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_set_msi()
360 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_set_msix()  local
368 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_set_msix()
374 	dw_pcie_writew_dbi(pci, reg, val);  in dw_pcie_ep_set_msix()
384 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_set_msix()
403 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_stop()  local
405 	dw_pcie_stop_link(pci);  in dw_pcie_ep_stop()
411 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_start()  local
413 	return dw_pcie_start_link(pci);  in dw_pcie_ep_start()
445 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_raise_intx_irq()  local
446 	struct device *dev = pci->dev;  in dw_pcie_ep_raise_intx_irq()
470 	/* Raise MSI per the PCI Local Bus Specification Revision 3.0, 6.8.1. */  in dw_pcie_ep_raise_msi_irq()
506 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_raise_msix_irq_doorbell()  local
517 	dw_pcie_writel_dbi(pci, PCIE_MSIX_DOORBELL, msg_data);  in dw_pcie_ep_raise_msix_irq_doorbell()
525 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_raise_msix_irq()  local
551 		dev_dbg(pci->dev, "MSI-X entry ctrl set\n");  in dw_pcie_ep_raise_msix_irq()
571 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_exit()  local
574 	dw_pcie_edma_remove(pci);  in dw_pcie_ep_exit()
586 static unsigned int dw_pcie_ep_find_ext_capability(struct dw_pcie *pci, int cap)  in dw_pcie_ep_find_ext_capability()  argument
592 		header = dw_pcie_readl_dbi(pci, pos);  in dw_pcie_ep_find_ext_capability()
606 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_init_complete()  local
613 	hdr_type = dw_pcie_readb_dbi(pci, PCI_HEADER_TYPE) &  in dw_pcie_ep_init_complete()
616 		dev_err(pci->dev,  in dw_pcie_ep_init_complete()
622 	offset = dw_pcie_ep_find_ext_capability(pci, PCI_EXT_CAP_ID_REBAR);  in dw_pcie_ep_init_complete()
623 	ptm_cap_base = dw_pcie_ep_find_ext_capability(pci, PCI_EXT_CAP_ID_PTM);  in dw_pcie_ep_init_complete()
625 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_init_complete()
628 		reg = dw_pcie_readl_dbi(pci, offset + PCI_REBAR_CTRL);  in dw_pcie_ep_init_complete()
633 			dw_pcie_writel_dbi(pci, offset + PCI_REBAR_CAP, 0x0);  in dw_pcie_ep_init_complete()
641 		dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_init_complete()
642 		reg = dw_pcie_readl_dbi(pci, ptm_cap_base + PCI_PTM_CAP);  in dw_pcie_ep_init_complete()
644 		dw_pcie_writel_dbi(pci, ptm_cap_base + PCI_PTM_CAP, reg);  in dw_pcie_ep_init_complete()
646 		reg = dw_pcie_readl_dbi(pci, ptm_cap_base + PCI_PTM_CAP);  in dw_pcie_ep_init_complete()
648 		dw_pcie_writel_dbi(pci, ptm_cap_base + PCI_PTM_CAP, reg);  in dw_pcie_ep_init_complete()
649 		dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_init_complete()
652 	dw_pcie_setup(pci);  in dw_pcie_ep_init_complete()
653 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_init_complete()
666 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_init()  local
667 	struct device *dev = pci->dev;  in dw_pcie_ep_init()
675 	ret = dw_pcie_get_resources(pci);  in dw_pcie_ep_init()
689 	dw_pcie_version_detect(pci);  in dw_pcie_ep_init()
691 	dw_pcie_iatu_detect(pci);  in dw_pcie_ep_init()
693 	ep->ib_window_map = devm_bitmap_zalloc(dev, pci->num_ib_windows,  in dw_pcie_ep_init()
698 	ep->ob_window_map = devm_bitmap_zalloc(dev, pci->num_ob_windows,  in dw_pcie_ep_init()
703 	addr = devm_kcalloc(dev, pci->num_ob_windows, sizeof(phys_addr_t),  in dw_pcie_ep_init()
754 	ret = dw_pcie_edma_detect(pci);  in dw_pcie_ep_init()
771 	dw_pcie_edma_remove(pci);  in dw_pcie_ep_init()