xref: /qemu/hw/vfio/helpers.c (revision 89a8a2e9c4ab4d71020a6e8722066b6c2dc92904)
11e09f52fSYi Liu /*
21e09f52fSYi Liu  * low level and IOMMU backend agnostic helpers used by VFIO devices,
31e09f52fSYi Liu  * related to regions, interrupts, capabilities
41e09f52fSYi Liu  *
51e09f52fSYi Liu  * Copyright Red Hat, Inc. 2012
61e09f52fSYi Liu  *
71e09f52fSYi Liu  * Authors:
81e09f52fSYi Liu  *  Alex Williamson <alex.williamson@redhat.com>
91e09f52fSYi Liu  *
101e09f52fSYi Liu  * This work is licensed under the terms of the GNU GPL, version 2.  See
111e09f52fSYi Liu  * the COPYING file in the top-level directory.
121e09f52fSYi Liu  *
131e09f52fSYi Liu  * Based on qemu-kvm device-assignment:
141e09f52fSYi Liu  *  Adapted for KVM by Qumranet.
151e09f52fSYi Liu  *  Copyright (c) 2007, Neocleus, Alex Novik (alex@neocleus.com)
161e09f52fSYi Liu  *  Copyright (c) 2007, Neocleus, Guy Zana (guy@neocleus.com)
171e09f52fSYi Liu  *  Copyright (C) 2008, Qumranet, Amit Shah (amit.shah@qumranet.com)
181e09f52fSYi Liu  *  Copyright (C) 2008, Red Hat, Amit Shah (amit.shah@redhat.com)
191e09f52fSYi Liu  *  Copyright (C) 2008, IBM, Muli Ben-Yehuda (muli@il.ibm.com)
201e09f52fSYi Liu  */
211e09f52fSYi Liu 
221e09f52fSYi Liu #include "qemu/osdep.h"
231e09f52fSYi Liu #include <sys/ioctl.h>
241e09f52fSYi Liu 
251e09f52fSYi Liu #include "hw/vfio/vfio-common.h"
261e09f52fSYi Liu #include "hw/hw.h"
271e09f52fSYi Liu #include "trace.h"
281e09f52fSYi Liu #include "qapi/error.h"
291e09f52fSYi Liu #include "qemu/error-report.h"
30da3e04b2SZhenzhong Duan #include "monitor/monitor.h"
311e09f52fSYi Liu 
321e09f52fSYi Liu /*
331e09f52fSYi Liu  * Common VFIO interrupt disable
341e09f52fSYi Liu  */
351e09f52fSYi Liu void vfio_disable_irqindex(VFIODevice *vbasedev, int index)
361e09f52fSYi Liu {
371e09f52fSYi Liu     struct vfio_irq_set irq_set = {
381e09f52fSYi Liu         .argsz = sizeof(irq_set),
391e09f52fSYi Liu         .flags = VFIO_IRQ_SET_DATA_NONE | VFIO_IRQ_SET_ACTION_TRIGGER,
401e09f52fSYi Liu         .index = index,
411e09f52fSYi Liu         .start = 0,
421e09f52fSYi Liu         .count = 0,
431e09f52fSYi Liu     };
441e09f52fSYi Liu 
451e09f52fSYi Liu     ioctl(vbasedev->fd, VFIO_DEVICE_SET_IRQS, &irq_set);
461e09f52fSYi Liu }
471e09f52fSYi Liu 
481e09f52fSYi Liu void vfio_unmask_single_irqindex(VFIODevice *vbasedev, int index)
491e09f52fSYi Liu {
501e09f52fSYi Liu     struct vfio_irq_set irq_set = {
511e09f52fSYi Liu         .argsz = sizeof(irq_set),
521e09f52fSYi Liu         .flags = VFIO_IRQ_SET_DATA_NONE | VFIO_IRQ_SET_ACTION_UNMASK,
531e09f52fSYi Liu         .index = index,
541e09f52fSYi Liu         .start = 0,
551e09f52fSYi Liu         .count = 1,
561e09f52fSYi Liu     };
571e09f52fSYi Liu 
581e09f52fSYi Liu     ioctl(vbasedev->fd, VFIO_DEVICE_SET_IRQS, &irq_set);
591e09f52fSYi Liu }
601e09f52fSYi Liu 
611e09f52fSYi Liu void vfio_mask_single_irqindex(VFIODevice *vbasedev, int index)
621e09f52fSYi Liu {
631e09f52fSYi Liu     struct vfio_irq_set irq_set = {
641e09f52fSYi Liu         .argsz = sizeof(irq_set),
651e09f52fSYi Liu         .flags = VFIO_IRQ_SET_DATA_NONE | VFIO_IRQ_SET_ACTION_MASK,
661e09f52fSYi Liu         .index = index,
671e09f52fSYi Liu         .start = 0,
681e09f52fSYi Liu         .count = 1,
691e09f52fSYi Liu     };
701e09f52fSYi Liu 
711e09f52fSYi Liu     ioctl(vbasedev->fd, VFIO_DEVICE_SET_IRQS, &irq_set);
721e09f52fSYi Liu }
731e09f52fSYi Liu 
741e09f52fSYi Liu static inline const char *action_to_str(int action)
751e09f52fSYi Liu {
761e09f52fSYi Liu     switch (action) {
771e09f52fSYi Liu     case VFIO_IRQ_SET_ACTION_MASK:
781e09f52fSYi Liu         return "MASK";
791e09f52fSYi Liu     case VFIO_IRQ_SET_ACTION_UNMASK:
801e09f52fSYi Liu         return "UNMASK";
811e09f52fSYi Liu     case VFIO_IRQ_SET_ACTION_TRIGGER:
821e09f52fSYi Liu         return "TRIGGER";
831e09f52fSYi Liu     default:
841e09f52fSYi Liu         return "UNKNOWN ACTION";
851e09f52fSYi Liu     }
861e09f52fSYi Liu }
871e09f52fSYi Liu 
881e09f52fSYi Liu static const char *index_to_str(VFIODevice *vbasedev, int index)
891e09f52fSYi Liu {
901e09f52fSYi Liu     if (vbasedev->type != VFIO_DEVICE_TYPE_PCI) {
911e09f52fSYi Liu         return NULL;
921e09f52fSYi Liu     }
931e09f52fSYi Liu 
941e09f52fSYi Liu     switch (index) {
951e09f52fSYi Liu     case VFIO_PCI_INTX_IRQ_INDEX:
961e09f52fSYi Liu         return "INTX";
971e09f52fSYi Liu     case VFIO_PCI_MSI_IRQ_INDEX:
981e09f52fSYi Liu         return "MSI";
991e09f52fSYi Liu     case VFIO_PCI_MSIX_IRQ_INDEX:
1001e09f52fSYi Liu         return "MSIX";
1011e09f52fSYi Liu     case VFIO_PCI_ERR_IRQ_INDEX:
1021e09f52fSYi Liu         return "ERR";
1031e09f52fSYi Liu     case VFIO_PCI_REQ_IRQ_INDEX:
1041e09f52fSYi Liu         return "REQ";
1051e09f52fSYi Liu     default:
1061e09f52fSYi Liu         return NULL;
1071e09f52fSYi Liu     }
1081e09f52fSYi Liu }
1091e09f52fSYi Liu 
1101e09f52fSYi Liu int vfio_set_irq_signaling(VFIODevice *vbasedev, int index, int subindex,
1111e09f52fSYi Liu                            int action, int fd, Error **errp)
1121e09f52fSYi Liu {
113*89a8a2e9SZhao Liu     ERRP_GUARD();
1141e09f52fSYi Liu     struct vfio_irq_set *irq_set;
1151e09f52fSYi Liu     int argsz, ret = 0;
1161e09f52fSYi Liu     const char *name;
1171e09f52fSYi Liu     int32_t *pfd;
1181e09f52fSYi Liu 
1191e09f52fSYi Liu     argsz = sizeof(*irq_set) + sizeof(*pfd);
1201e09f52fSYi Liu 
1211e09f52fSYi Liu     irq_set = g_malloc0(argsz);
1221e09f52fSYi Liu     irq_set->argsz = argsz;
1231e09f52fSYi Liu     irq_set->flags = VFIO_IRQ_SET_DATA_EVENTFD | action;
1241e09f52fSYi Liu     irq_set->index = index;
1251e09f52fSYi Liu     irq_set->start = subindex;
1261e09f52fSYi Liu     irq_set->count = 1;
1271e09f52fSYi Liu     pfd = (int32_t *)&irq_set->data;
1281e09f52fSYi Liu     *pfd = fd;
1291e09f52fSYi Liu 
1301e09f52fSYi Liu     if (ioctl(vbasedev->fd, VFIO_DEVICE_SET_IRQS, irq_set)) {
1311e09f52fSYi Liu         ret = -errno;
1321e09f52fSYi Liu     }
1331e09f52fSYi Liu     g_free(irq_set);
1341e09f52fSYi Liu 
1351e09f52fSYi Liu     if (!ret) {
1361e09f52fSYi Liu         return 0;
1371e09f52fSYi Liu     }
1381e09f52fSYi Liu 
1391e09f52fSYi Liu     error_setg_errno(errp, -ret, "VFIO_DEVICE_SET_IRQS failure");
1401e09f52fSYi Liu 
1411e09f52fSYi Liu     name = index_to_str(vbasedev, index);
1421e09f52fSYi Liu     if (name) {
1431e09f52fSYi Liu         error_prepend(errp, "%s-%d: ", name, subindex);
1441e09f52fSYi Liu     } else {
1451e09f52fSYi Liu         error_prepend(errp, "index %d-%d: ", index, subindex);
1461e09f52fSYi Liu     }
1471e09f52fSYi Liu     error_prepend(errp,
1481e09f52fSYi Liu                   "Failed to %s %s eventfd signaling for interrupt ",
1491e09f52fSYi Liu                   fd < 0 ? "tear down" : "set up", action_to_str(action));
1501e09f52fSYi Liu     return ret;
1511e09f52fSYi Liu }
1521e09f52fSYi Liu 
1531e09f52fSYi Liu /*
1541e09f52fSYi Liu  * IO Port/MMIO - Beware of the endians, VFIO is always little endian
1551e09f52fSYi Liu  */
1561e09f52fSYi Liu void vfio_region_write(void *opaque, hwaddr addr,
1571e09f52fSYi Liu                        uint64_t data, unsigned size)
1581e09f52fSYi Liu {
1591e09f52fSYi Liu     VFIORegion *region = opaque;
1601e09f52fSYi Liu     VFIODevice *vbasedev = region->vbasedev;
1611e09f52fSYi Liu     union {
1621e09f52fSYi Liu         uint8_t byte;
1631e09f52fSYi Liu         uint16_t word;
1641e09f52fSYi Liu         uint32_t dword;
1651e09f52fSYi Liu         uint64_t qword;
1661e09f52fSYi Liu     } buf;
1671e09f52fSYi Liu 
1681e09f52fSYi Liu     switch (size) {
1691e09f52fSYi Liu     case 1:
1701e09f52fSYi Liu         buf.byte = data;
1711e09f52fSYi Liu         break;
1721e09f52fSYi Liu     case 2:
1731e09f52fSYi Liu         buf.word = cpu_to_le16(data);
1741e09f52fSYi Liu         break;
1751e09f52fSYi Liu     case 4:
1761e09f52fSYi Liu         buf.dword = cpu_to_le32(data);
1771e09f52fSYi Liu         break;
1781e09f52fSYi Liu     case 8:
1791e09f52fSYi Liu         buf.qword = cpu_to_le64(data);
1801e09f52fSYi Liu         break;
1811e09f52fSYi Liu     default:
1821e09f52fSYi Liu         hw_error("vfio: unsupported write size, %u bytes", size);
1831e09f52fSYi Liu         break;
1841e09f52fSYi Liu     }
1851e09f52fSYi Liu 
1861e09f52fSYi Liu     if (pwrite(vbasedev->fd, &buf, size, region->fd_offset + addr) != size) {
1871e09f52fSYi Liu         error_report("%s(%s:region%d+0x%"HWADDR_PRIx", 0x%"PRIx64
1881e09f52fSYi Liu                      ",%d) failed: %m",
1891e09f52fSYi Liu                      __func__, vbasedev->name, region->nr,
1901e09f52fSYi Liu                      addr, data, size);
1911e09f52fSYi Liu     }
1921e09f52fSYi Liu 
1931e09f52fSYi Liu     trace_vfio_region_write(vbasedev->name, region->nr, addr, data, size);
1941e09f52fSYi Liu 
1951e09f52fSYi Liu     /*
1961e09f52fSYi Liu      * A read or write to a BAR always signals an INTx EOI.  This will
1971e09f52fSYi Liu      * do nothing if not pending (including not in INTx mode).  We assume
1981e09f52fSYi Liu      * that a BAR access is in response to an interrupt and that BAR
1991e09f52fSYi Liu      * accesses will service the interrupt.  Unfortunately, we don't know
2001e09f52fSYi Liu      * which access will service the interrupt, so we're potentially
2011e09f52fSYi Liu      * getting quite a few host interrupts per guest interrupt.
2021e09f52fSYi Liu      */
2031e09f52fSYi Liu     vbasedev->ops->vfio_eoi(vbasedev);
2041e09f52fSYi Liu }
2051e09f52fSYi Liu 
2061e09f52fSYi Liu uint64_t vfio_region_read(void *opaque,
2071e09f52fSYi Liu                           hwaddr addr, unsigned size)
2081e09f52fSYi Liu {
2091e09f52fSYi Liu     VFIORegion *region = opaque;
2101e09f52fSYi Liu     VFIODevice *vbasedev = region->vbasedev;
2111e09f52fSYi Liu     union {
2121e09f52fSYi Liu         uint8_t byte;
2131e09f52fSYi Liu         uint16_t word;
2141e09f52fSYi Liu         uint32_t dword;
2151e09f52fSYi Liu         uint64_t qword;
2161e09f52fSYi Liu     } buf;
2171e09f52fSYi Liu     uint64_t data = 0;
2181e09f52fSYi Liu 
2191e09f52fSYi Liu     if (pread(vbasedev->fd, &buf, size, region->fd_offset + addr) != size) {
2201e09f52fSYi Liu         error_report("%s(%s:region%d+0x%"HWADDR_PRIx", %d) failed: %m",
2211e09f52fSYi Liu                      __func__, vbasedev->name, region->nr,
2221e09f52fSYi Liu                      addr, size);
2231e09f52fSYi Liu         return (uint64_t)-1;
2241e09f52fSYi Liu     }
2251e09f52fSYi Liu     switch (size) {
2261e09f52fSYi Liu     case 1:
2271e09f52fSYi Liu         data = buf.byte;
2281e09f52fSYi Liu         break;
2291e09f52fSYi Liu     case 2:
2301e09f52fSYi Liu         data = le16_to_cpu(buf.word);
2311e09f52fSYi Liu         break;
2321e09f52fSYi Liu     case 4:
2331e09f52fSYi Liu         data = le32_to_cpu(buf.dword);
2341e09f52fSYi Liu         break;
2351e09f52fSYi Liu     case 8:
2361e09f52fSYi Liu         data = le64_to_cpu(buf.qword);
2371e09f52fSYi Liu         break;
2381e09f52fSYi Liu     default:
2391e09f52fSYi Liu         hw_error("vfio: unsupported read size, %u bytes", size);
2401e09f52fSYi Liu         break;
2411e09f52fSYi Liu     }
2421e09f52fSYi Liu 
2431e09f52fSYi Liu     trace_vfio_region_read(vbasedev->name, region->nr, addr, size, data);
2441e09f52fSYi Liu 
2451e09f52fSYi Liu     /* Same as write above */
2461e09f52fSYi Liu     vbasedev->ops->vfio_eoi(vbasedev);
2471e09f52fSYi Liu 
2481e09f52fSYi Liu     return data;
2491e09f52fSYi Liu }
2501e09f52fSYi Liu 
2511e09f52fSYi Liu const MemoryRegionOps vfio_region_ops = {
2521e09f52fSYi Liu     .read = vfio_region_read,
2531e09f52fSYi Liu     .write = vfio_region_write,
2541e09f52fSYi Liu     .endianness = DEVICE_LITTLE_ENDIAN,
2551e09f52fSYi Liu     .valid = {
2561e09f52fSYi Liu         .min_access_size = 1,
2571e09f52fSYi Liu         .max_access_size = 8,
2581e09f52fSYi Liu     },
2591e09f52fSYi Liu     .impl = {
2601e09f52fSYi Liu         .min_access_size = 1,
2611e09f52fSYi Liu         .max_access_size = 8,
2621e09f52fSYi Liu     },
2631e09f52fSYi Liu };
2641e09f52fSYi Liu 
2651e09f52fSYi Liu int vfio_bitmap_alloc(VFIOBitmap *vbmap, hwaddr size)
2661e09f52fSYi Liu {
2671e09f52fSYi Liu     vbmap->pages = REAL_HOST_PAGE_ALIGN(size) / qemu_real_host_page_size();
2681e09f52fSYi Liu     vbmap->size = ROUND_UP(vbmap->pages, sizeof(__u64) * BITS_PER_BYTE) /
2691e09f52fSYi Liu                                          BITS_PER_BYTE;
2701e09f52fSYi Liu     vbmap->bitmap = g_try_malloc0(vbmap->size);
2711e09f52fSYi Liu     if (!vbmap->bitmap) {
2721e09f52fSYi Liu         return -ENOMEM;
2731e09f52fSYi Liu     }
2741e09f52fSYi Liu 
2751e09f52fSYi Liu     return 0;
2761e09f52fSYi Liu }
2771e09f52fSYi Liu 
2781e09f52fSYi Liu struct vfio_info_cap_header *
2791e09f52fSYi Liu vfio_get_cap(void *ptr, uint32_t cap_offset, uint16_t id)
2801e09f52fSYi Liu {
2811e09f52fSYi Liu     struct vfio_info_cap_header *hdr;
2821e09f52fSYi Liu 
2831e09f52fSYi Liu     for (hdr = ptr + cap_offset; hdr != ptr; hdr = ptr + hdr->next) {
2841e09f52fSYi Liu         if (hdr->id == id) {
2851e09f52fSYi Liu             return hdr;
2861e09f52fSYi Liu         }
2871e09f52fSYi Liu     }
2881e09f52fSYi Liu 
2891e09f52fSYi Liu     return NULL;
2901e09f52fSYi Liu }
2911e09f52fSYi Liu 
2921e09f52fSYi Liu struct vfio_info_cap_header *
2931e09f52fSYi Liu vfio_get_region_info_cap(struct vfio_region_info *info, uint16_t id)
2941e09f52fSYi Liu {
2951e09f52fSYi Liu     if (!(info->flags & VFIO_REGION_INFO_FLAG_CAPS)) {
2961e09f52fSYi Liu         return NULL;
2971e09f52fSYi Liu     }
2981e09f52fSYi Liu 
2991e09f52fSYi Liu     return vfio_get_cap((void *)info, info->cap_offset, id);
3001e09f52fSYi Liu }
3011e09f52fSYi Liu 
3021e09f52fSYi Liu struct vfio_info_cap_header *
3031e09f52fSYi Liu vfio_get_device_info_cap(struct vfio_device_info *info, uint16_t id)
3041e09f52fSYi Liu {
3051e09f52fSYi Liu     if (!(info->flags & VFIO_DEVICE_FLAGS_CAPS)) {
3061e09f52fSYi Liu         return NULL;
3071e09f52fSYi Liu     }
3081e09f52fSYi Liu 
3091e09f52fSYi Liu     return vfio_get_cap((void *)info, info->cap_offset, id);
3101e09f52fSYi Liu }
3111e09f52fSYi Liu 
3121e09f52fSYi Liu static int vfio_setup_region_sparse_mmaps(VFIORegion *region,
3131e09f52fSYi Liu                                           struct vfio_region_info *info)
3141e09f52fSYi Liu {
3151e09f52fSYi Liu     struct vfio_info_cap_header *hdr;
3161e09f52fSYi Liu     struct vfio_region_info_cap_sparse_mmap *sparse;
3171e09f52fSYi Liu     int i, j;
3181e09f52fSYi Liu 
3191e09f52fSYi Liu     hdr = vfio_get_region_info_cap(info, VFIO_REGION_INFO_CAP_SPARSE_MMAP);
3201e09f52fSYi Liu     if (!hdr) {
3211e09f52fSYi Liu         return -ENODEV;
3221e09f52fSYi Liu     }
3231e09f52fSYi Liu 
3241e09f52fSYi Liu     sparse = container_of(hdr, struct vfio_region_info_cap_sparse_mmap, header);
3251e09f52fSYi Liu 
3261e09f52fSYi Liu     trace_vfio_region_sparse_mmap_header(region->vbasedev->name,
3271e09f52fSYi Liu                                          region->nr, sparse->nr_areas);
3281e09f52fSYi Liu 
3291e09f52fSYi Liu     region->mmaps = g_new0(VFIOMmap, sparse->nr_areas);
3301e09f52fSYi Liu 
3311e09f52fSYi Liu     for (i = 0, j = 0; i < sparse->nr_areas; i++) {
3321e09f52fSYi Liu         if (sparse->areas[i].size) {
3331e09f52fSYi Liu             trace_vfio_region_sparse_mmap_entry(i, sparse->areas[i].offset,
3341e09f52fSYi Liu                                             sparse->areas[i].offset +
3351e09f52fSYi Liu                                             sparse->areas[i].size - 1);
3361e09f52fSYi Liu             region->mmaps[j].offset = sparse->areas[i].offset;
3371e09f52fSYi Liu             region->mmaps[j].size = sparse->areas[i].size;
3381e09f52fSYi Liu             j++;
3391e09f52fSYi Liu         }
3401e09f52fSYi Liu     }
3411e09f52fSYi Liu 
3421e09f52fSYi Liu     region->nr_mmaps = j;
3431e09f52fSYi Liu     region->mmaps = g_realloc(region->mmaps, j * sizeof(VFIOMmap));
3441e09f52fSYi Liu 
3451e09f52fSYi Liu     return 0;
3461e09f52fSYi Liu }
3471e09f52fSYi Liu 
3481e09f52fSYi Liu int vfio_region_setup(Object *obj, VFIODevice *vbasedev, VFIORegion *region,
3491e09f52fSYi Liu                       int index, const char *name)
3501e09f52fSYi Liu {
3511e09f52fSYi Liu     struct vfio_region_info *info;
3521e09f52fSYi Liu     int ret;
3531e09f52fSYi Liu 
3541e09f52fSYi Liu     ret = vfio_get_region_info(vbasedev, index, &info);
3551e09f52fSYi Liu     if (ret) {
3561e09f52fSYi Liu         return ret;
3571e09f52fSYi Liu     }
3581e09f52fSYi Liu 
3591e09f52fSYi Liu     region->vbasedev = vbasedev;
3601e09f52fSYi Liu     region->flags = info->flags;
3611e09f52fSYi Liu     region->size = info->size;
3621e09f52fSYi Liu     region->fd_offset = info->offset;
3631e09f52fSYi Liu     region->nr = index;
3641e09f52fSYi Liu 
3651e09f52fSYi Liu     if (region->size) {
3661e09f52fSYi Liu         region->mem = g_new0(MemoryRegion, 1);
3671e09f52fSYi Liu         memory_region_init_io(region->mem, obj, &vfio_region_ops,
3681e09f52fSYi Liu                               region, name, region->size);
3691e09f52fSYi Liu 
3701e09f52fSYi Liu         if (!vbasedev->no_mmap &&
3711e09f52fSYi Liu             region->flags & VFIO_REGION_INFO_FLAG_MMAP) {
3721e09f52fSYi Liu 
3731e09f52fSYi Liu             ret = vfio_setup_region_sparse_mmaps(region, info);
3741e09f52fSYi Liu 
3751e09f52fSYi Liu             if (ret) {
3761e09f52fSYi Liu                 region->nr_mmaps = 1;
3771e09f52fSYi Liu                 region->mmaps = g_new0(VFIOMmap, region->nr_mmaps);
3781e09f52fSYi Liu                 region->mmaps[0].offset = 0;
3791e09f52fSYi Liu                 region->mmaps[0].size = region->size;
3801e09f52fSYi Liu             }
3811e09f52fSYi Liu         }
3821e09f52fSYi Liu     }
3831e09f52fSYi Liu 
3841e09f52fSYi Liu     g_free(info);
3851e09f52fSYi Liu 
3861e09f52fSYi Liu     trace_vfio_region_setup(vbasedev->name, index, name,
3871e09f52fSYi Liu                             region->flags, region->fd_offset, region->size);
3881e09f52fSYi Liu     return 0;
3891e09f52fSYi Liu }
3901e09f52fSYi Liu 
3911e09f52fSYi Liu static void vfio_subregion_unmap(VFIORegion *region, int index)
3921e09f52fSYi Liu {
3931e09f52fSYi Liu     trace_vfio_region_unmap(memory_region_name(&region->mmaps[index].mem),
3941e09f52fSYi Liu                             region->mmaps[index].offset,
3951e09f52fSYi Liu                             region->mmaps[index].offset +
3961e09f52fSYi Liu                             region->mmaps[index].size - 1);
3971e09f52fSYi Liu     memory_region_del_subregion(region->mem, &region->mmaps[index].mem);
3981e09f52fSYi Liu     munmap(region->mmaps[index].mmap, region->mmaps[index].size);
3991e09f52fSYi Liu     object_unparent(OBJECT(&region->mmaps[index].mem));
4001e09f52fSYi Liu     region->mmaps[index].mmap = NULL;
4011e09f52fSYi Liu }
4021e09f52fSYi Liu 
4031e09f52fSYi Liu int vfio_region_mmap(VFIORegion *region)
4041e09f52fSYi Liu {
4051e09f52fSYi Liu     int i, prot = 0;
4061e09f52fSYi Liu     char *name;
4071e09f52fSYi Liu 
4081e09f52fSYi Liu     if (!region->mem) {
4091e09f52fSYi Liu         return 0;
4101e09f52fSYi Liu     }
4111e09f52fSYi Liu 
4121e09f52fSYi Liu     prot |= region->flags & VFIO_REGION_INFO_FLAG_READ ? PROT_READ : 0;
4131e09f52fSYi Liu     prot |= region->flags & VFIO_REGION_INFO_FLAG_WRITE ? PROT_WRITE : 0;
4141e09f52fSYi Liu 
4151e09f52fSYi Liu     for (i = 0; i < region->nr_mmaps; i++) {
4161e09f52fSYi Liu         region->mmaps[i].mmap = mmap(NULL, region->mmaps[i].size, prot,
4171e09f52fSYi Liu                                      MAP_SHARED, region->vbasedev->fd,
4181e09f52fSYi Liu                                      region->fd_offset +
4191e09f52fSYi Liu                                      region->mmaps[i].offset);
4201e09f52fSYi Liu         if (region->mmaps[i].mmap == MAP_FAILED) {
4211e09f52fSYi Liu             int ret = -errno;
4221e09f52fSYi Liu 
4231e09f52fSYi Liu             trace_vfio_region_mmap_fault(memory_region_name(region->mem), i,
4241e09f52fSYi Liu                                          region->fd_offset +
4251e09f52fSYi Liu                                          region->mmaps[i].offset,
4261e09f52fSYi Liu                                          region->fd_offset +
4271e09f52fSYi Liu                                          region->mmaps[i].offset +
4281e09f52fSYi Liu                                          region->mmaps[i].size - 1, ret);
4291e09f52fSYi Liu 
4301e09f52fSYi Liu             region->mmaps[i].mmap = NULL;
4311e09f52fSYi Liu 
4321e09f52fSYi Liu             for (i--; i >= 0; i--) {
4331e09f52fSYi Liu                 vfio_subregion_unmap(region, i);
4341e09f52fSYi Liu             }
4351e09f52fSYi Liu 
4361e09f52fSYi Liu             return ret;
4371e09f52fSYi Liu         }
4381e09f52fSYi Liu 
4391e09f52fSYi Liu         name = g_strdup_printf("%s mmaps[%d]",
4401e09f52fSYi Liu                                memory_region_name(region->mem), i);
4411e09f52fSYi Liu         memory_region_init_ram_device_ptr(&region->mmaps[i].mem,
4421e09f52fSYi Liu                                           memory_region_owner(region->mem),
4431e09f52fSYi Liu                                           name, region->mmaps[i].size,
4441e09f52fSYi Liu                                           region->mmaps[i].mmap);
4451e09f52fSYi Liu         g_free(name);
4461e09f52fSYi Liu         memory_region_add_subregion(region->mem, region->mmaps[i].offset,
4471e09f52fSYi Liu                                     &region->mmaps[i].mem);
4481e09f52fSYi Liu 
4491e09f52fSYi Liu         trace_vfio_region_mmap(memory_region_name(&region->mmaps[i].mem),
4501e09f52fSYi Liu                                region->mmaps[i].offset,
4511e09f52fSYi Liu                                region->mmaps[i].offset +
4521e09f52fSYi Liu                                region->mmaps[i].size - 1);
4531e09f52fSYi Liu     }
4541e09f52fSYi Liu 
4551e09f52fSYi Liu     return 0;
4561e09f52fSYi Liu }
4571e09f52fSYi Liu 
4581e09f52fSYi Liu void vfio_region_unmap(VFIORegion *region)
4591e09f52fSYi Liu {
4601e09f52fSYi Liu     int i;
4611e09f52fSYi Liu 
4621e09f52fSYi Liu     if (!region->mem) {
4631e09f52fSYi Liu         return;
4641e09f52fSYi Liu     }
4651e09f52fSYi Liu 
4661e09f52fSYi Liu     for (i = 0; i < region->nr_mmaps; i++) {
4671e09f52fSYi Liu         if (region->mmaps[i].mmap) {
4681e09f52fSYi Liu             vfio_subregion_unmap(region, i);
4691e09f52fSYi Liu         }
4701e09f52fSYi Liu     }
4711e09f52fSYi Liu }
4721e09f52fSYi Liu 
4731e09f52fSYi Liu void vfio_region_exit(VFIORegion *region)
4741e09f52fSYi Liu {
4751e09f52fSYi Liu     int i;
4761e09f52fSYi Liu 
4771e09f52fSYi Liu     if (!region->mem) {
4781e09f52fSYi Liu         return;
4791e09f52fSYi Liu     }
4801e09f52fSYi Liu 
4811e09f52fSYi Liu     for (i = 0; i < region->nr_mmaps; i++) {
4821e09f52fSYi Liu         if (region->mmaps[i].mmap) {
4831e09f52fSYi Liu             memory_region_del_subregion(region->mem, &region->mmaps[i].mem);
4841e09f52fSYi Liu         }
4851e09f52fSYi Liu     }
4861e09f52fSYi Liu 
4871e09f52fSYi Liu     trace_vfio_region_exit(region->vbasedev->name, region->nr);
4881e09f52fSYi Liu }
4891e09f52fSYi Liu 
4901e09f52fSYi Liu void vfio_region_finalize(VFIORegion *region)
4911e09f52fSYi Liu {
4921e09f52fSYi Liu     int i;
4931e09f52fSYi Liu 
4941e09f52fSYi Liu     if (!region->mem) {
4951e09f52fSYi Liu         return;
4961e09f52fSYi Liu     }
4971e09f52fSYi Liu 
4981e09f52fSYi Liu     for (i = 0; i < region->nr_mmaps; i++) {
4991e09f52fSYi Liu         if (region->mmaps[i].mmap) {
5001e09f52fSYi Liu             munmap(region->mmaps[i].mmap, region->mmaps[i].size);
5011e09f52fSYi Liu             object_unparent(OBJECT(&region->mmaps[i].mem));
5021e09f52fSYi Liu         }
5031e09f52fSYi Liu     }
5041e09f52fSYi Liu 
5051e09f52fSYi Liu     object_unparent(OBJECT(region->mem));
5061e09f52fSYi Liu 
5071e09f52fSYi Liu     g_free(region->mem);
5081e09f52fSYi Liu     g_free(region->mmaps);
5091e09f52fSYi Liu 
5101e09f52fSYi Liu     trace_vfio_region_finalize(region->vbasedev->name, region->nr);
5111e09f52fSYi Liu 
5121e09f52fSYi Liu     region->mem = NULL;
5131e09f52fSYi Liu     region->mmaps = NULL;
5141e09f52fSYi Liu     region->nr_mmaps = 0;
5151e09f52fSYi Liu     region->size = 0;
5161e09f52fSYi Liu     region->flags = 0;
5171e09f52fSYi Liu     region->nr = 0;
5181e09f52fSYi Liu }
5191e09f52fSYi Liu 
5201e09f52fSYi Liu void vfio_region_mmaps_set_enabled(VFIORegion *region, bool enabled)
5211e09f52fSYi Liu {
5221e09f52fSYi Liu     int i;
5231e09f52fSYi Liu 
5241e09f52fSYi Liu     if (!region->mem) {
5251e09f52fSYi Liu         return;
5261e09f52fSYi Liu     }
5271e09f52fSYi Liu 
5281e09f52fSYi Liu     for (i = 0; i < region->nr_mmaps; i++) {
5291e09f52fSYi Liu         if (region->mmaps[i].mmap) {
5301e09f52fSYi Liu             memory_region_set_enabled(&region->mmaps[i].mem, enabled);
5311e09f52fSYi Liu         }
5321e09f52fSYi Liu     }
5331e09f52fSYi Liu 
5341e09f52fSYi Liu     trace_vfio_region_mmaps_set_enabled(memory_region_name(region->mem),
5351e09f52fSYi Liu                                         enabled);
5361e09f52fSYi Liu }
5371e09f52fSYi Liu 
5381e09f52fSYi Liu int vfio_get_region_info(VFIODevice *vbasedev, int index,
5391e09f52fSYi Liu                          struct vfio_region_info **info)
5401e09f52fSYi Liu {
5411e09f52fSYi Liu     size_t argsz = sizeof(struct vfio_region_info);
5421e09f52fSYi Liu 
5431e09f52fSYi Liu     *info = g_malloc0(argsz);
5441e09f52fSYi Liu 
5451e09f52fSYi Liu     (*info)->index = index;
5461e09f52fSYi Liu retry:
5471e09f52fSYi Liu     (*info)->argsz = argsz;
5481e09f52fSYi Liu 
5491e09f52fSYi Liu     if (ioctl(vbasedev->fd, VFIO_DEVICE_GET_REGION_INFO, *info)) {
5501e09f52fSYi Liu         g_free(*info);
5511e09f52fSYi Liu         *info = NULL;
5521e09f52fSYi Liu         return -errno;
5531e09f52fSYi Liu     }
5541e09f52fSYi Liu 
5551e09f52fSYi Liu     if ((*info)->argsz > argsz) {
5561e09f52fSYi Liu         argsz = (*info)->argsz;
5571e09f52fSYi Liu         *info = g_realloc(*info, argsz);
5581e09f52fSYi Liu 
5591e09f52fSYi Liu         goto retry;
5601e09f52fSYi Liu     }
5611e09f52fSYi Liu 
5621e09f52fSYi Liu     return 0;
5631e09f52fSYi Liu }
5641e09f52fSYi Liu 
5651e09f52fSYi Liu int vfio_get_dev_region_info(VFIODevice *vbasedev, uint32_t type,
5661e09f52fSYi Liu                              uint32_t subtype, struct vfio_region_info **info)
5671e09f52fSYi Liu {
5681e09f52fSYi Liu     int i;
5691e09f52fSYi Liu 
5701e09f52fSYi Liu     for (i = 0; i < vbasedev->num_regions; i++) {
5711e09f52fSYi Liu         struct vfio_info_cap_header *hdr;
5721e09f52fSYi Liu         struct vfio_region_info_cap_type *cap_type;
5731e09f52fSYi Liu 
5741e09f52fSYi Liu         if (vfio_get_region_info(vbasedev, i, info)) {
5751e09f52fSYi Liu             continue;
5761e09f52fSYi Liu         }
5771e09f52fSYi Liu 
5781e09f52fSYi Liu         hdr = vfio_get_region_info_cap(*info, VFIO_REGION_INFO_CAP_TYPE);
5791e09f52fSYi Liu         if (!hdr) {
5801e09f52fSYi Liu             g_free(*info);
5811e09f52fSYi Liu             continue;
5821e09f52fSYi Liu         }
5831e09f52fSYi Liu 
5841e09f52fSYi Liu         cap_type = container_of(hdr, struct vfio_region_info_cap_type, header);
5851e09f52fSYi Liu 
5861e09f52fSYi Liu         trace_vfio_get_dev_region(vbasedev->name, i,
5871e09f52fSYi Liu                                   cap_type->type, cap_type->subtype);
5881e09f52fSYi Liu 
5891e09f52fSYi Liu         if (cap_type->type == type && cap_type->subtype == subtype) {
5901e09f52fSYi Liu             return 0;
5911e09f52fSYi Liu         }
5921e09f52fSYi Liu 
5931e09f52fSYi Liu         g_free(*info);
5941e09f52fSYi Liu     }
5951e09f52fSYi Liu 
5961e09f52fSYi Liu     *info = NULL;
5971e09f52fSYi Liu     return -ENODEV;
5981e09f52fSYi Liu }
5991e09f52fSYi Liu 
6001e09f52fSYi Liu bool vfio_has_region_cap(VFIODevice *vbasedev, int region, uint16_t cap_type)
6011e09f52fSYi Liu {
6021e09f52fSYi Liu     struct vfio_region_info *info = NULL;
6031e09f52fSYi Liu     bool ret = false;
6041e09f52fSYi Liu 
6051e09f52fSYi Liu     if (!vfio_get_region_info(vbasedev, region, &info)) {
6061e09f52fSYi Liu         if (vfio_get_region_info_cap(info, cap_type)) {
6071e09f52fSYi Liu             ret = true;
6081e09f52fSYi Liu         }
6091e09f52fSYi Liu         g_free(info);
6101e09f52fSYi Liu     }
6111e09f52fSYi Liu 
6121e09f52fSYi Liu     return ret;
6131e09f52fSYi Liu }
614da3e04b2SZhenzhong Duan 
615da3e04b2SZhenzhong Duan int vfio_device_get_name(VFIODevice *vbasedev, Error **errp)
616da3e04b2SZhenzhong Duan {
617*89a8a2e9SZhao Liu     ERRP_GUARD();
618da3e04b2SZhenzhong Duan     struct stat st;
619da3e04b2SZhenzhong Duan 
620da3e04b2SZhenzhong Duan     if (vbasedev->fd < 0) {
621da3e04b2SZhenzhong Duan         if (stat(vbasedev->sysfsdev, &st) < 0) {
622da3e04b2SZhenzhong Duan             error_setg_errno(errp, errno, "no such host device");
623da3e04b2SZhenzhong Duan             error_prepend(errp, VFIO_MSG_PREFIX, vbasedev->sysfsdev);
624da3e04b2SZhenzhong Duan             return -errno;
625da3e04b2SZhenzhong Duan         }
626da3e04b2SZhenzhong Duan         /* User may specify a name, e.g: VFIO platform device */
627da3e04b2SZhenzhong Duan         if (!vbasedev->name) {
628da3e04b2SZhenzhong Duan             vbasedev->name = g_path_get_basename(vbasedev->sysfsdev);
629da3e04b2SZhenzhong Duan         }
630da3e04b2SZhenzhong Duan     } else {
631da3e04b2SZhenzhong Duan         if (!vbasedev->iommufd) {
632da3e04b2SZhenzhong Duan             error_setg(errp, "Use FD passing only with iommufd backend");
633da3e04b2SZhenzhong Duan             return -EINVAL;
634da3e04b2SZhenzhong Duan         }
635da3e04b2SZhenzhong Duan         /*
636da3e04b2SZhenzhong Duan          * Give a name with fd so any function printing out vbasedev->name
637da3e04b2SZhenzhong Duan          * will not break.
638da3e04b2SZhenzhong Duan          */
639da3e04b2SZhenzhong Duan         if (!vbasedev->name) {
640da3e04b2SZhenzhong Duan             vbasedev->name = g_strdup_printf("VFIO_FD%d", vbasedev->fd);
641da3e04b2SZhenzhong Duan         }
642da3e04b2SZhenzhong Duan     }
643da3e04b2SZhenzhong Duan 
644da3e04b2SZhenzhong Duan     return 0;
645da3e04b2SZhenzhong Duan }
646da3e04b2SZhenzhong Duan 
647da3e04b2SZhenzhong Duan void vfio_device_set_fd(VFIODevice *vbasedev, const char *str, Error **errp)
648da3e04b2SZhenzhong Duan {
649*89a8a2e9SZhao Liu     ERRP_GUARD();
650da3e04b2SZhenzhong Duan     int fd = monitor_fd_param(monitor_cur(), str, errp);
651da3e04b2SZhenzhong Duan 
652da3e04b2SZhenzhong Duan     if (fd < 0) {
653da3e04b2SZhenzhong Duan         error_prepend(errp, "Could not parse remote object fd %s:", str);
654da3e04b2SZhenzhong Duan         return;
655da3e04b2SZhenzhong Duan     }
656da3e04b2SZhenzhong Duan     vbasedev->fd = fd;
657da3e04b2SZhenzhong Duan }
6586106a329SZhenzhong Duan 
6596106a329SZhenzhong Duan void vfio_device_init(VFIODevice *vbasedev, int type, VFIODeviceOps *ops,
6606106a329SZhenzhong Duan                       DeviceState *dev, bool ram_discard)
6616106a329SZhenzhong Duan {
6626106a329SZhenzhong Duan     vbasedev->type = type;
6636106a329SZhenzhong Duan     vbasedev->ops = ops;
6646106a329SZhenzhong Duan     vbasedev->dev = dev;
6656106a329SZhenzhong Duan     vbasedev->fd = -1;
6666106a329SZhenzhong Duan 
6676106a329SZhenzhong Duan     vbasedev->ram_block_discard_allowed = ram_discard;
6686106a329SZhenzhong Duan }
669