42 static uint8_t qvirtio_pci_config_readb(QVirtioDevice *d, uint64_t off)  in qvirtio_pci_config_readb()  argument
44     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_config_readb()
55 static uint16_t qvirtio_pci_config_readw(QVirtioDevice *d, uint64_t off)  in qvirtio_pci_config_readw()  argument
57     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_config_readw()
61     if (qvirtio_is_big_endian(d)) {  in qvirtio_pci_config_readw()
67 static uint32_t qvirtio_pci_config_readl(QVirtioDevice *d, uint64_t off)  in qvirtio_pci_config_readl()  argument
69     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_config_readl()
73     if (qvirtio_is_big_endian(d)) {  in qvirtio_pci_config_readl()
79 static uint64_t qvirtio_pci_config_readq(QVirtioDevice *d, uint64_t off)  in qvirtio_pci_config_readq()  argument
81     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_config_readq()
85     if (qvirtio_is_big_endian(d)) {  in qvirtio_pci_config_readq()
92 static uint64_t qvirtio_pci_get_features(QVirtioDevice *d)  in qvirtio_pci_get_features()  argument
94     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_get_features()
98 static void qvirtio_pci_set_features(QVirtioDevice *d, uint64_t features)  in qvirtio_pci_set_features()  argument
100     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_set_features()
104 static uint64_t qvirtio_pci_get_guest_features(QVirtioDevice *d)  in qvirtio_pci_get_guest_features()  argument
106     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_get_guest_features()
110 static uint8_t qvirtio_pci_get_status(QVirtioDevice *d)  in qvirtio_pci_get_status()  argument
112     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_get_status()
116 static void qvirtio_pci_set_status(QVirtioDevice *d, uint8_t status)  in qvirtio_pci_set_status()  argument
118     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_set_status()
122 static bool qvirtio_pci_get_queue_isr_status(QVirtioDevice *d, QVirtQueue *vq)  in qvirtio_pci_get_queue_isr_status()  argument
124     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_get_queue_isr_status()
147 static bool qvirtio_pci_get_config_isr_status(QVirtioDevice *d)  in qvirtio_pci_get_config_isr_status()  argument
149     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_get_config_isr_status()
171 static void qvirtio_pci_wait_config_isr_status(QVirtioDevice *d,  in qvirtio_pci_wait_config_isr_status()  argument
176     while (!qvirtio_pci_get_config_isr_status(d)) {  in qvirtio_pci_wait_config_isr_status()
181 static void qvirtio_pci_queue_select(QVirtioDevice *d, uint16_t index)  in qvirtio_pci_queue_select()  argument
183     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_queue_select()
187 static uint16_t qvirtio_pci_get_queue_size(QVirtioDevice *d)  in qvirtio_pci_get_queue_size()  argument
189     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_get_queue_size()
193 static void qvirtio_pci_set_queue_address(QVirtioDevice *d, QVirtQueue *vq)  in qvirtio_pci_set_queue_address()  argument
195     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_set_queue_address()
201 QVirtQueue *qvirtio_pci_virtqueue_setup_common(QVirtioDevice *d,  in qvirtio_pci_virtqueue_setup_common()  argument
208     QVirtioPCIDevice *qvpcidev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_virtqueue_setup_common()
211     feat = d->bus->get_guest_features(d);  in qvirtio_pci_virtqueue_setup_common()
213     d->bus->queue_select(d, index);  in qvirtio_pci_virtqueue_setup_common()
214     vqpci->vq.vdev = d;  in qvirtio_pci_virtqueue_setup_common()
216     vqpci->vq.size = d->bus->get_queue_size(d);  in qvirtio_pci_virtqueue_setup_common()
236     d->bus->set_queue_address(d, &vqpci->vq);  in qvirtio_pci_virtqueue_setup_common()
250 static void qvirtio_pci_virtqueue_kick(QVirtioDevice *d, QVirtQueue *vq)  in qvirtio_pci_virtqueue_kick()  argument
252     QVirtioPCIDevice *dev = container_of(d, QVirtioPCIDevice, vdev);  in qvirtio_pci_virtqueue_kick()
276 static void qvirtio_pci_set_config_vector(QVirtioPCIDevice *d, uint16_t entry)  in qvirtio_pci_set_config_vector()  argument
280     qpci_io_writew(d->pdev, d->bar, VIRTIO_MSI_CONFIG_VECTOR, entry);  in qvirtio_pci_set_config_vector()
281     vector = qpci_io_readw(d->pdev, d->bar, VIRTIO_MSI_CONFIG_VECTOR);  in qvirtio_pci_set_config_vector()
285 static void qvirtio_pci_set_queue_vector(QVirtioPCIDevice *d, uint16_t vq_idx,  in qvirtio_pci_set_queue_vector()  argument
290     qvirtio_pci_queue_select(&d->vdev, vq_idx);  in qvirtio_pci_set_queue_vector()
291     qpci_io_writew(d->pdev, d->bar, VIRTIO_MSI_QUEUE_VECTOR, entry);  in qvirtio_pci_set_queue_vector()
292     vector = qpci_io_readw(d->pdev, d->bar, VIRTIO_MSI_QUEUE_VECTOR);  in qvirtio_pci_set_queue_vector()
301 void qvirtio_pci_device_enable(QVirtioPCIDevice *d)  in qvirtio_pci_device_enable()  argument
303     qpci_device_enable(d->pdev);  in qvirtio_pci_device_enable()
304     d->bar = qpci_iomap(d->pdev, d->bar_idx, NULL);  in qvirtio_pci_device_enable()
307 void qvirtio_pci_device_disable(QVirtioPCIDevice *d)  in qvirtio_pci_device_disable()  argument
309     qpci_iounmap(d->pdev, d->bar);  in qvirtio_pci_device_disable()
312 void qvirtqueue_pci_msix_setup(QVirtioPCIDevice *d, QVirtQueuePCI *vqpci,  in qvirtqueue_pci_msix_setup()  argument
318     g_assert(d->pdev->msix_enabled);  in qvirtqueue_pci_msix_setup()
319     off = d->pdev->msix_table_off + (entry * 16);  in qvirtqueue_pci_msix_setup()
322     g_assert_cmpint(entry, <, qpci_msix_table_size(d->pdev));  in qvirtqueue_pci_msix_setup()
326     qpci_io_writel(d->pdev, d->pdev->msix_table_bar,  in qvirtqueue_pci_msix_setup()
328     qpci_io_writel(d->pdev, d->pdev->msix_table_bar,  in qvirtqueue_pci_msix_setup()
331     qpci_io_writel(d->pdev, d->pdev->msix_table_bar,  in qvirtqueue_pci_msix_setup()
334     control = qpci_io_readl(d->pdev, d->pdev->msix_table_bar,  in qvirtqueue_pci_msix_setup()
336     qpci_io_writel(d->pdev, d->pdev->msix_table_bar,  in qvirtqueue_pci_msix_setup()
340     d->msix_ops->set_queue_vector(d, vqpci->vq.index, entry);  in qvirtqueue_pci_msix_setup()
343 void qvirtio_pci_set_msix_configuration_vector(QVirtioPCIDevice *d,  in qvirtio_pci_set_msix_configuration_vector()  argument
349     g_assert(d->pdev->msix_enabled);  in qvirtio_pci_set_msix_configuration_vector()
350     off = d->pdev->msix_table_off + (entry * 16);  in qvirtio_pci_set_msix_configuration_vector()
353     g_assert_cmpint(entry, <, qpci_msix_table_size(d->pdev));  in qvirtio_pci_set_msix_configuration_vector()
354     d->config_msix_entry = entry;  in qvirtio_pci_set_msix_configuration_vector()
356     d->config_msix_data = 0x12345678;  in qvirtio_pci_set_msix_configuration_vector()
357     d->config_msix_addr = guest_alloc(alloc, 4);  in qvirtio_pci_set_msix_configuration_vector()
359     qpci_io_writel(d->pdev, d->pdev->msix_table_bar,  in qvirtio_pci_set_msix_configuration_vector()
360                    off + PCI_MSIX_ENTRY_LOWER_ADDR, d->config_msix_addr & ~0UL);  in qvirtio_pci_set_msix_configuration_vector()
361     qpci_io_writel(d->pdev, d->pdev->msix_table_bar,  in qvirtio_pci_set_msix_configuration_vector()
363                    (d->config_msix_addr >> 32) & ~0UL);  in qvirtio_pci_set_msix_configuration_vector()
364     qpci_io_writel(d->pdev, d->pdev->msix_table_bar,  in qvirtio_pci_set_msix_configuration_vector()
365                    off + PCI_MSIX_ENTRY_DATA, d->config_msix_data);  in qvirtio_pci_set_msix_configuration_vector()
367     control = qpci_io_readl(d->pdev, d->pdev->msix_table_bar,  in qvirtio_pci_set_msix_configuration_vector()
369     qpci_io_writel(d->pdev, d->pdev->msix_table_bar,  in qvirtio_pci_set_msix_configuration_vector()
373     d->msix_ops->set_config_vector(d, entry);  in qvirtio_pci_set_msix_configuration_vector()