net/xdp/xsk_queue.h

44 	u32 cached_cons;
125 static inline void __xskq_cons_read_addr_unchecked(struct xsk_queue *q, u32 cached_cons, u64 *addr)
128 	u32 idx = cached_cons & q->ring_mask;
135 	if (q->cached_cons != q->cached_prod) {
136 		__xskq_cons_read_addr_unchecked(q, q->cached_cons, addr);
224 	return q->cached_cons != q->cached_prod;
242 	if (q->cached_cons != q->cached_prod) {
244 		u32 idx = q->cached_cons & q->ring_mask;
256 	q->cached_cons += cnt;
270 	u32 cached_cons = q->cached_cons, nb_entries = 0;
277 	while (cached_cons != q->cached_prod && nb_entries < max) {
279 		u32 idx = cached_cons & q->ring_mask;
283 		cached_cons++;
301 	cached_cons -= nr_frags;
303 	xskq_cons_release_n(q, cached_cons - q->cached_cons);
311 	smp_store_release(&q->ring->consumer, q->cached_cons); /* D, matchees A */
328 	u32 entries = q->cached_prod - q->cached_cons;
334 	entries = q->cached_prod - q->cached_cons;
341 	if (q->cached_prod == q->cached_cons)
350 	if (q->cached_prod == q->cached_cons)
361 	q->cached_cons++;
366 	q->cached_cons -= cnt;
384 	u32 free_entries = q->nentries - (q->cached_prod - q->cached_cons);
390 	q->cached_cons = READ_ONCE(q->ring->consumer);
391 	free_entries = q->nentries - (q->cached_prod - q->cached_cons);