| /linux/include/net/ |
| H A D | netmem.h | 166 typedef unsigned long __bitwise netmem_ref; typedef
168 static inline bool netmem_is_net_iov(const netmem_ref netmem) in netmem_is_net_iov()
184 static inline struct page *__netmem_to_page(netmem_ref netmem) in __netmem_to_page()
189 static inline struct page *netmem_to_page(netmem_ref netmem) in netmem_to_page()
197 static inline struct net_iov *netmem_to_net_iov(netmem_ref netmem) in netmem_to_net_iov()
207 static inline netmem_ref net_iov_to_netmem(struct net_iov *niov) in net_iov_to_netmem()
209 return (__force netmem_ref)((unsigned long)niov | NET_IOV); in net_iov_to_netmem()
213 const struct page * : (__force const netmem_ref)(p), \
214 struct page * : (__force netmem_ref)(p)))
222 static inline netmem_ref virt_to_netmem(const void *data) in virt_to_netmem()
[all …]
|
| H A D | xdp.h | 205 void xdp_return_frag(netmem_ref netmem, const struct xdp_buff *xdp);
226 static inline bool __xdp_buff_add_frag(struct xdp_buff *xdp, netmem_ref netmem, in __xdp_buff_add_frag()
280 static inline bool xdp_buff_add_frag(struct xdp_buff *xdp, netmem_ref netmem, in xdp_buff_add_frag()
322 netmem_ref q[XDP_BULK_QUEUE_SIZE];
448 void __xdp_return(netmem_ref netmem, enum xdp_mem_type mem_type,
|
| /linux/net/core/ |
| H A D | netmem_priv.h | 6 static inline unsigned long netmem_get_pp_magic(netmem_ref netmem) in netmem_get_pp_magic()
11 static inline void netmem_or_pp_magic(netmem_ref netmem, unsigned long pp_magic) in netmem_or_pp_magic()
16 static inline void netmem_clear_pp_magic(netmem_ref netmem) in netmem_clear_pp_magic()
23 static inline bool netmem_is_pp(netmem_ref netmem) in netmem_is_pp()
28 static inline void netmem_set_pp(netmem_ref netmem, struct page_pool *pool) in netmem_set_pp()
33 static inline void netmem_set_dma_addr(netmem_ref netmem, in netmem_set_dma_addr()
39 static inline unsigned long netmem_get_dma_index(netmem_ref netmem) in netmem_get_dma_index()
51 static inline void netmem_set_dma_index(netmem_ref netmem, in netmem_set_dma_index()
|
| H A D | page_pool.c | 376 static void page_pool_return_netmem(struct page_pool *pool, netmem_ref netmem);
378 static noinline netmem_ref page_pool_refill_alloc_cache(struct page_pool *pool) in page_pool_refill_alloc_cache()
381 netmem_ref netmem; in page_pool_refill_alloc_cache()
402 netmem = (__force netmem_ref)__ptr_ring_consume(r); in page_pool_refill_alloc_cache()
431 static netmem_ref __page_pool_get_cached(struct page_pool *pool) in __page_pool_get_cached()
433 netmem_ref netmem; in __page_pool_get_cached()
448 netmem_ref netmem, in __page_pool_dma_sync_for_device()
462 netmem_ref netmem, in page_pool_dma_sync_for_device()
476 netmem_ref netmem, gfp_t gfp) in page_pool_register_dma_index()
501 netmem_ref netmem) in page_pool_release_dma_index()
[all …]
|
| H A D | page_pool_priv.h | 19 page_pool_set_dma_addr_netmem(netmem_ref netmem, dma_addr_t addr) in page_pool_set_dma_addr_netmem()
41 void page_pool_set_pp_info(struct page_pool *pool, netmem_ref netmem);
42 void page_pool_clear_pp_info(netmem_ref netmem);
47 netmem_ref netmem) in page_pool_set_pp_info()
50 static inline void page_pool_clear_pp_info(netmem_ref netmem) in page_pool_clear_pp_info()
|
| H A D | mp_dmabuf_devmem.h | 16 netmem_ref mp_dmabuf_devmem_alloc_netmems(struct page_pool *pool, gfp_t gfp);
20 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem);
27 static inline netmem_ref
38 mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
|
| H A D | devmem.c | 452 netmem_ref mp_dmabuf_devmem_alloc_netmems(struct page_pool *pool, gfp_t gfp) in mp_dmabuf_devmem_alloc_netmems()
456 netmem_ref netmem; in mp_dmabuf_devmem_alloc_netmems()
478 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
|
| H A D | xdp.c | 433 void __xdp_return(netmem_ref netmem, enum xdp_mem_type mem_type, in __xdp_return()
543 void xdp_return_frag(netmem_ref netmem, const struct xdp_buff *xdp) in xdp_return_frag()
|
| /linux/include/net/page_pool/ |
| H A D | helpers.h | 118 static inline netmem_ref page_pool_alloc_netmem(struct page_pool *pool, in page_pool_alloc_netmem()
123 netmem_ref netmem; in page_pool_alloc_netmem()
147 static inline netmem_ref page_pool_dev_alloc_netmem(struct page_pool *pool, in page_pool_dev_alloc_netmem()
156 static inline netmem_ref page_pool_dev_alloc_netmems(struct page_pool *pool) in page_pool_dev_alloc_netmems()
237 static inline void page_pool_fragment_netmem(netmem_ref netmem, long nr) in page_pool_fragment_netmem()
265 static inline long page_pool_unref_netmem(netmem_ref netmem, long nr) in page_pool_unref_netmem()
315 static inline void page_pool_ref_netmem(netmem_ref netmem) in page_pool_ref_netmem()
325 static inline bool page_pool_unref_and_test(netmem_ref netmem) in page_pool_unref_and_test()
332 netmem_ref netmem, in page_pool_put_netmem()
370 netmem_ref netmem, in page_pool_put_full_netmem()
[all …]
|
| H A D | types.h | 58 netmem_ref cache[PP_ALLOC_CACHE_SIZE];
94 void (*init_callback)(netmem_ref netmem, void *arg);
183 netmem_ref frag_page;
256 netmem_ref page_pool_alloc_netmems(struct page_pool *pool, gfp_t gfp);
259 netmem_ref page_pool_alloc_frag_netmem(struct page_pool *pool,
275 void page_pool_put_netmem_bulk(netmem_ref *data, u32 count);
287 static inline void page_pool_put_netmem_bulk(netmem_ref *data, u32 count) in page_pool_put_netmem_bulk()
292 void page_pool_put_unrefed_netmem(struct page_pool *pool, netmem_ref netmem,
|
| H A D | memory_provider.h | 13 netmem_ref (*alloc_netmems)(struct page_pool *pool, gfp_t gfp);
14 bool (*release_netmem)(struct page_pool *pool, netmem_ref netmem);
46 netmem_ref netmem) in net_mp_netmem_place_in_cache()
|
| /linux/include/linux/ |
| H A D | skbuff_ref.h | 35 bool napi_pp_put_page(netmem_ref netmem);
37 static __always_inline void skb_page_unref(netmem_ref netmem, bool recycle) in skb_page_unref()
|
| H A D | skbuff.h | 362 netmem_ref netmem;
2551 netmem_ref netmem, int off, in skb_frag_fill_netmem_desc()
2567 int i, netmem_ref netmem, in __skb_fill_netmem_desc_noacc()
2609 netmem_ref netmem, int off, int size) in __skb_fill_netmem_desc()
2638 netmem_ref netmem, int off, int size) in skb_fill_netmem_desc()
2685 void skb_add_rx_frag_netmem(struct sk_buff *skb, int i, netmem_ref netmem,
3703 * Return: the &netmem_ref associated with @frag.
3705 static inline netmem_ref skb_frag_netmem(const skb_frag_t *frag) in skb_frag_netmem()
3954 netmem_ref netmem, int off) in skb_can_coalesce_netmem()
|
| /linux/include/net/libeth/ |
| H A D | rx.h | 45 netmem_ref netmem;
118 void libeth_rx_recycle_slow(netmem_ref netmem);
134 netmem_ref netmem = fqe->netmem; in libeth_rx_sync_for_cpu()
|
| H A D | xdp.h | 721 netmem_ref netmem; in libeth_xdp_tx_fill_buf()
1225 netmem_ref netmem = virt_to_netmem(data); in libeth_xdp_return_va()
1234 netmem_ref netmem = skb_frag_netmem(&sinfo->frags[i]); in libeth_xdp_return_frags()
|
| /linux/include/trace/events/ |
| H A D | page_pool.h | 45 netmem_ref netmem, u32 release),
71 netmem_ref netmem, u32 hold),
|
| /linux/io_uring/ |
| H A D | zcrx.c | 596 netmem_ref netmem = net_iov_to_netmem(niov); in io_zcrx_return_niov()
965 netmem_ref netmem; in io_zcrx_ring_refill()
995 netmem_ref netmem = net_iov_to_netmem(niov); in io_zcrx_refill_slow()
1004 static netmem_ref io_pp_zc_alloc_netmems(struct page_pool *pp, gfp_t gfp) in io_pp_zc_alloc_netmems()
1023 static bool io_pp_zc_release_netmem(struct page_pool *pp, netmem_ref netmem) in io_pp_zc_release_netmem()
1102 static unsigned zcrx_parse_rq(netmem_ref *netmem_array, unsigned nr, in zcrx_parse_rq()
1124 static void zcrx_return_buffers(netmem_ref *netmems, unsigned nr) in zcrx_return_buffers()
1129 netmem_ref netmem = netmems[i]; in zcrx_return_buffers()
1144 netmem_ref netmems[ZCRX_FLUSH_BATCH]; in zcrx_flush_rq()
|
| /linux/drivers/net/ethernet/intel/libeth/ |
| H A D | xdp.c | 265 netmem_ref netmem = fqe->netmem; in libeth_xdp_buff_add_frag()
315 static void libeth_xdp_put_netmem_bulk(netmem_ref netmem, in libeth_xdp_put_netmem_bulk()
|
| H A D | rx.c | 222 void __cold libeth_rx_recycle_slow(netmem_ref netmem) in libeth_rx_recycle_slow()
|
| /linux/drivers/net/ethernet/google/gve/ |
| H A D | gve_buffer_mgmt_dqo.c | 214 netmem_ref netmem = buf_state->page_info.netmem; in gve_free_to_page_pool()
226 netmem_ref netmem; in gve_alloc_from_page_pool()
|
| /linux/drivers/net/ethernet/broadcom/bnge/ |
| H A D | bnge_netdev.h | 121 netmem_ref netmem;
|
| H A D | bnge_netdev.c | 366 netmem_ref netmem = rx_agg_buf->netmem; in bnge_free_one_agg_ring_bufs()
1043 static netmem_ref __bnge_alloc_rx_netmem(struct bnge_net *bn, in __bnge_alloc_rx_netmem()
1049 netmem_ref netmem; in __bnge_alloc_rx_netmem()
1153 netmem_ref netmem; in bnge_alloc_rx_netmem()
|
| H A D | bnge_txrx.c | 86 netmem_ref netmem; in bnge_reuse_rx_agg_bufs()
184 netmem_ref netmem; in __bnge_rx_agg_netmems()
|
| /linux/drivers/net/ethernet/mellanox/mlx5/core/ |
| H A D | en_rx.c | 280 netmem_ref netmem = page_pool_dev_alloc_netmems(pp); in mlx5e_page_alloc_fragmented()
299 netmem_ref netmem = frag_page->netmem; in mlx5e_page_release_fragmented()
503 netmem_ref netmem = frag_page->netmem; in mlx5e_add_skb_shared_info_frag()
534 netmem_ref netmem = frag_page->netmem; in mlx5e_add_skb_frag()
551 netmem_ref netmem, dma_addr_t addr, in mlx5e_copy_skb_header()
|
| /linux/drivers/net/ethernet/mellanox/mlx5/core/en/ |
| H A D | txrx.h | 331 mlx5e_dma_push_netmem(struct mlx5e_txqsq *sq, netmem_ref netmem, in mlx5e_dma_push_netmem()
|