| /linux-6.15/include/net/ |
| D | netmem.h | 89 static inline bool netmem_is_net_iov(const netmem_ref netmem) in netmem_is_net_iov()
105 static inline struct page *__netmem_to_page(netmem_ref netmem) in __netmem_to_page()
113 static inline struct page *netmem_to_page(netmem_ref netmem) in netmem_to_page()
121 static inline struct net_iov *netmem_to_net_iov(netmem_ref netmem) in netmem_to_net_iov()
152 static inline int netmem_ref_count(netmem_ref netmem) in netmem_ref_count()
163 static inline unsigned long netmem_pfn_trace(netmem_ref netmem) in netmem_pfn_trace()
171 static inline struct net_iov *__netmem_clear_lsb(netmem_ref netmem) in __netmem_clear_lsb()
187 static inline struct page_pool *__netmem_get_pp(netmem_ref netmem) in __netmem_get_pp()
192 static inline struct page_pool *netmem_get_pp(netmem_ref netmem) in netmem_get_pp()
197 static inline atomic_long_t *netmem_get_pp_ref_count_ref(netmem_ref netmem) in netmem_get_pp_ref_count_ref()
[all …]
|
| D | xdp.h | 190 static inline bool __xdp_buff_add_frag(struct xdp_buff *xdp, netmem_ref netmem, in __xdp_buff_add_frag()
244 static inline bool xdp_buff_add_frag(struct xdp_buff *xdp, netmem_ref netmem, in xdp_buff_add_frag()
|
| /linux-6.15/net/core/ |
| D | page_pool.c | 382 netmem_ref netmem; in page_pool_refill_alloc_cache() local
434 netmem_ref netmem; in __page_pool_get_cached() local
449 netmem_ref netmem, in __page_pool_dma_sync_for_device()
463 netmem_ref netmem, in page_pool_dma_sync_for_device()
470 static bool page_pool_dma_map(struct page_pool *pool, netmem_ref netmem) in page_pool_dma_map()
533 netmem_ref netmem; in __page_pool_alloc_pages_slow() local
587 netmem_ref netmem; in page_pool_alloc_netmems() local
634 void page_pool_set_pp_info(struct page_pool *pool, netmem_ref netmem) in page_pool_set_pp_info()
650 void page_pool_clear_pp_info(netmem_ref netmem) in page_pool_clear_pp_info()
657 netmem_ref netmem) in __page_pool_release_page_dma()
[all …]
|
| D | netmem_priv.h | 6 static inline unsigned long netmem_get_pp_magic(netmem_ref netmem) in netmem_get_pp_magic()
11 static inline void netmem_or_pp_magic(netmem_ref netmem, unsigned long pp_magic) in netmem_or_pp_magic()
16 static inline void netmem_clear_pp_magic(netmem_ref netmem) in netmem_clear_pp_magic()
21 static inline void netmem_set_pp(netmem_ref netmem, struct page_pool *pool) in netmem_set_pp()
26 static inline void netmem_set_dma_addr(netmem_ref netmem, in netmem_set_dma_addr()
|
| D | page_pool_priv.h | 19 page_pool_set_dma_addr_netmem(netmem_ref netmem, dma_addr_t addr) in page_pool_set_dma_addr_netmem()
47 netmem_ref netmem) in page_pool_set_pp_info()
50 static inline void page_pool_clear_pp_info(netmem_ref netmem) in page_pool_clear_pp_info()
|
| D | mp_dmabuf_devmem.h | 38 mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
|
| D | devmem.c | 325 netmem_ref netmem; in mp_dmabuf_devmem_alloc_netmems() local
347 bool mp_dmabuf_devmem_release_page(struct page_pool *pool, netmem_ref netmem) in mp_dmabuf_devmem_release_page()
|
| D | xdp.c | 432 void __xdp_return(netmem_ref netmem, enum xdp_mem_type mem_type, in __xdp_return()
542 void xdp_return_frag(netmem_ref netmem, const struct xdp_buff *xdp) in xdp_return_frag()
702 netmem_ref netmem; in xdp_copy_frags_from_zc() local
|
| D | skbuff.c | 851 void skb_add_rx_frag_netmem(struct sk_buff *skb, int i, netmem_ref netmem, in skb_add_rx_frag_netmem()
896 static bool is_pp_netmem(netmem_ref netmem) in is_pp_netmem()
994 bool napi_pp_put_page(netmem_ref netmem) in napi_pp_put_page()
|
| D | sock.c | 1111 netmem_ref netmem = (__force netmem_ref)__xa_erase( in sock_devmem_dontneed() local
|
| /linux-6.15/include/net/page_pool/ |
| D | helpers.h | 123 netmem_ref netmem; in page_pool_alloc_netmem() local
230 static inline void page_pool_fragment_netmem(netmem_ref netmem, long nr) in page_pool_fragment_netmem()
258 static inline long page_pool_unref_netmem(netmem_ref netmem, long nr) in page_pool_unref_netmem()
308 static inline void page_pool_ref_netmem(netmem_ref netmem) in page_pool_ref_netmem()
318 static inline bool page_pool_unref_and_test(netmem_ref netmem) in page_pool_unref_and_test()
325 netmem_ref netmem, in page_pool_put_netmem()
363 netmem_ref netmem, in page_pool_put_full_netmem()
415 static inline dma_addr_t page_pool_get_dma_addr_netmem(netmem_ref netmem) in page_pool_get_dma_addr_netmem()
473 const netmem_ref netmem, u32 offset, in page_pool_dma_sync_netmem_for_cpu()
|
| D | memory_provider.h | 46 netmem_ref netmem) in net_mp_netmem_place_in_cache()
|
| /linux-6.15/drivers/net/ethernet/google/gve/ |
| D | gve_buffer_mgmt_dqo.c | 209 netmem_ref netmem = buf_state->page_info.netmem; in gve_free_to_page_pool() local
221 netmem_ref netmem; in gve_alloc_from_page_pool() local
|
| D | gve.h | 115 netmem_ref netmem; member
|
| /linux-6.15/include/linux/ |
| D | skbuff_ref.h | 37 static inline void skb_page_unref(netmem_ref netmem, bool recycle) in skb_page_unref()
|
| D | skbuff.h | 363 netmem_ref netmem; member
2503 netmem_ref netmem, int off, in skb_frag_fill_netmem_desc()
2519 int i, netmem_ref netmem, in __skb_fill_netmem_desc_noacc()
2561 netmem_ref netmem, int off, int size) in __skb_fill_netmem_desc()
2590 netmem_ref netmem, int off, int size) in skb_fill_netmem_desc()
|
| /linux-6.15/io_uring/ |
| D | zcrx.c | 470 netmem_ref netmem = net_iov_to_netmem(niov); in io_zcrx_return_niov() local
532 netmem_ref netmem; in io_zcrx_ring_refill() local
588 netmem_ref netmem = net_iov_to_netmem(niov); in io_zcrx_refill_slow() local
616 static bool io_pp_zc_release_netmem(struct page_pool *pp, netmem_ref netmem) in io_pp_zc_release_netmem()
|
| /linux-6.15/net/bpf/ |
| D | test_run.c | 130 static void xdp_test_run_init_page(netmem_ref netmem, void *arg) in xdp_test_run_init_page()
|
| /linux-6.15/net/ipv4/ |
| D | tcp_ipv4.c | 2534 void *netmem; local
|