1 /* SPDX-License-Identifier: MIT */
2 /*
3 * Copyright © 2021-2023 Intel Corporation
4 */
5
6 #ifndef _XE_MMIO_H_
7 #define _XE_MMIO_H_
8
9 #include <linux/delay.h>
10 #include <linux/io-64-nonatomic-lo-hi.h>
11
12 #include "regs/xe_reg_defs.h"
13 #include "xe_device_types.h"
14 #include "xe_gt_printk.h"
15 #include "xe_gt_types.h"
16
17 struct drm_device;
18 struct drm_file;
19 struct xe_device;
20
21 #define LMEM_BAR 2
22
23 int xe_mmio_init(struct xe_device *xe);
24 int xe_mmio_root_tile_init(struct xe_device *xe);
25 void xe_mmio_probe_tiles(struct xe_device *xe);
26
xe_mmio_read8(struct xe_gt * gt,struct xe_reg reg)27 static inline u8 xe_mmio_read8(struct xe_gt *gt, struct xe_reg reg)
28 {
29 struct xe_tile *tile = gt_to_tile(gt);
30
31 if (reg.addr < gt->mmio.adj_limit)
32 reg.addr += gt->mmio.adj_offset;
33
34 return readb((reg.ext ? tile->mmio_ext.regs : tile->mmio.regs) + reg.addr);
35 }
36
xe_mmio_read16(struct xe_gt * gt,struct xe_reg reg)37 static inline u16 xe_mmio_read16(struct xe_gt *gt, struct xe_reg reg)
38 {
39 struct xe_tile *tile = gt_to_tile(gt);
40
41 if (reg.addr < gt->mmio.adj_limit)
42 reg.addr += gt->mmio.adj_offset;
43
44 return readw((reg.ext ? tile->mmio_ext.regs : tile->mmio.regs) + reg.addr);
45 }
46
xe_mmio_write32(struct xe_gt * gt,struct xe_reg reg,u32 val)47 static inline void xe_mmio_write32(struct xe_gt *gt,
48 struct xe_reg reg, u32 val)
49 {
50 struct xe_tile *tile = gt_to_tile(gt);
51
52 if (reg.addr < gt->mmio.adj_limit)
53 reg.addr += gt->mmio.adj_offset;
54
55 writel(val, (reg.ext ? tile->mmio_ext.regs : tile->mmio.regs) + reg.addr);
56 }
57
xe_mmio_read32(struct xe_gt * gt,struct xe_reg reg)58 static inline u32 xe_mmio_read32(struct xe_gt *gt, struct xe_reg reg)
59 {
60 struct xe_tile *tile = gt_to_tile(gt);
61
62 if (reg.addr < gt->mmio.adj_limit)
63 reg.addr += gt->mmio.adj_offset;
64
65 return readl((reg.ext ? tile->mmio_ext.regs : tile->mmio.regs) + reg.addr);
66 }
67
xe_mmio_rmw32(struct xe_gt * gt,struct xe_reg reg,u32 clr,u32 set)68 static inline u32 xe_mmio_rmw32(struct xe_gt *gt, struct xe_reg reg, u32 clr,
69 u32 set)
70 {
71 u32 old, reg_val;
72
73 old = xe_mmio_read32(gt, reg);
74 reg_val = (old & ~clr) | set;
75 xe_mmio_write32(gt, reg, reg_val);
76
77 return old;
78 }
79
xe_mmio_write32_and_verify(struct xe_gt * gt,struct xe_reg reg,u32 val,u32 mask,u32 eval)80 static inline int xe_mmio_write32_and_verify(struct xe_gt *gt,
81 struct xe_reg reg, u32 val,
82 u32 mask, u32 eval)
83 {
84 u32 reg_val;
85
86 xe_mmio_write32(gt, reg, val);
87 reg_val = xe_mmio_read32(gt, reg);
88
89 return (reg_val & mask) != eval ? -EINVAL : 0;
90 }
91
xe_mmio_in_range(const struct xe_gt * gt,const struct xe_mmio_range * range,struct xe_reg reg)92 static inline bool xe_mmio_in_range(const struct xe_gt *gt,
93 const struct xe_mmio_range *range,
94 struct xe_reg reg)
95 {
96 if (reg.addr < gt->mmio.adj_limit)
97 reg.addr += gt->mmio.adj_offset;
98
99 return range && reg.addr >= range->start && reg.addr <= range->end;
100 }
101
102 int xe_mmio_probe_vram(struct xe_device *xe);
103 u64 xe_mmio_read64_2x32(struct xe_gt *gt, struct xe_reg reg);
104 int xe_mmio_wait32(struct xe_gt *gt, struct xe_reg reg, u32 mask, u32 val, u32 timeout_us,
105 u32 *out_val, bool atomic);
106
107 #endif
108