1 // SPDX-License-Identifier: MIT
2 /*
3  * Copyright © 2020 Intel Corporation
4  */
5 
6 #include "display/bxt_dpio_phy_regs.h"
7 #include "display/i9xx_plane_regs.h"
8 #include "display/i9xx_wm_regs.h"
9 #include "display/intel_audio_regs.h"
10 #include "display/intel_backlight_regs.h"
11 #include "display/intel_color_regs.h"
12 #include "display/intel_crt_regs.h"
13 #include "display/intel_cursor_regs.h"
14 #include "display/intel_display_types.h"
15 #include "display/intel_dmc_regs.h"
16 #include "display/intel_dp_aux_regs.h"
17 #include "display/intel_dpio_phy.h"
18 #include "display/intel_fbc_regs.h"
19 #include "display/intel_fdi_regs.h"
20 #include "display/intel_lvds_regs.h"
21 #include "display/intel_pfit_regs.h"
22 #include "display/intel_psr_regs.h"
23 #include "display/intel_sprite_regs.h"
24 #include "display/skl_universal_plane_regs.h"
25 #include "display/skl_watermark_regs.h"
26 #include "display/vlv_dsi_pll_regs.h"
27 #include "gt/intel_engine_regs.h"
28 #include "gt/intel_gt_regs.h"
29 #include "gvt/reg.h"
30 
31 #include "i915_drv.h"
32 #include "i915_pvinfo.h"
33 #include "i915_reg.h"
34 #include "intel_gvt.h"
35 #include "intel_mchbar_regs.h"
36 
37 #define MMIO_F(reg, s) do { \
38 	int ret; \
39 	ret = iter->handle_mmio_cb(iter, i915_mmio_reg_offset(reg), s); \
40 	if (ret) \
41 		return ret; \
42 } while (0)
43 
44 #define MMIO_D(reg) MMIO_F(reg, 4)
45 
46 #define MMIO_RING_F(prefix, s) do { \
47 	MMIO_F(prefix(RENDER_RING_BASE), s); \
48 	MMIO_F(prefix(BLT_RING_BASE), s); \
49 	MMIO_F(prefix(GEN6_BSD_RING_BASE), s); \
50 	MMIO_F(prefix(VEBOX_RING_BASE), s); \
51 	if (HAS_ENGINE(to_gt(iter->i915), VCS1)) \
52 		MMIO_F(prefix(GEN8_BSD2_RING_BASE), s); \
53 } while (0)
54 
55 #define MMIO_RING_D(prefix) \
56 	MMIO_RING_F(prefix, 4)
57 
iterate_generic_mmio(struct intel_gvt_mmio_table_iter * iter)58 static int iterate_generic_mmio(struct intel_gvt_mmio_table_iter *iter)
59 {
60 	struct drm_i915_private *dev_priv = iter->i915;
61 
62 	MMIO_RING_D(RING_IMR);
63 	MMIO_D(SDEIMR);
64 	MMIO_D(SDEIER);
65 	MMIO_D(SDEIIR);
66 	MMIO_D(SDEISR);
67 	MMIO_RING_D(RING_HWSTAM);
68 	MMIO_D(BSD_HWS_PGA_GEN7);
69 	MMIO_D(BLT_HWS_PGA_GEN7);
70 	MMIO_D(VEBOX_HWS_PGA_GEN7);
71 
72 #define RING_REG(base) _MMIO((base) + 0x28)
73 	MMIO_RING_D(RING_REG);
74 #undef RING_REG
75 
76 #define RING_REG(base) _MMIO((base) + 0x134)
77 	MMIO_RING_D(RING_REG);
78 #undef RING_REG
79 
80 #define RING_REG(base) _MMIO((base) + 0x6c)
81 	MMIO_RING_D(RING_REG);
82 #undef RING_REG
83 	MMIO_D(_MMIO(0x2148));
84 	MMIO_D(CCID(RENDER_RING_BASE));
85 	MMIO_D(_MMIO(0x12198));
86 	MMIO_D(GEN7_CXT_SIZE);
87 	MMIO_RING_D(RING_TAIL);
88 	MMIO_RING_D(RING_HEAD);
89 	MMIO_RING_D(RING_CTL);
90 	MMIO_RING_D(RING_ACTHD);
91 	MMIO_RING_D(RING_START);
92 
93 	/* RING MODE */
94 #define RING_REG(base) _MMIO((base) + 0x29c)
95 	MMIO_RING_D(RING_REG);
96 #undef RING_REG
97 
98 	MMIO_RING_D(RING_MI_MODE);
99 	MMIO_RING_D(RING_INSTPM);
100 	MMIO_RING_D(RING_TIMESTAMP);
101 	MMIO_RING_D(RING_TIMESTAMP_UDW);
102 	MMIO_D(GEN7_GT_MODE);
103 	MMIO_D(CACHE_MODE_0_GEN7);
104 	MMIO_D(CACHE_MODE_1);
105 	MMIO_D(CACHE_MODE_0);
106 	MMIO_D(_MMIO(0x2124));
107 	MMIO_D(_MMIO(0x20dc));
108 	MMIO_D(_3D_CHICKEN3);
109 	MMIO_D(_MMIO(0x2088));
110 	MMIO_D(FF_SLICE_CS_CHICKEN2);
111 	MMIO_D(_MMIO(0x2470));
112 	MMIO_D(GAM_ECOCHK);
113 	MMIO_D(GEN7_COMMON_SLICE_CHICKEN1);
114 	MMIO_D(COMMON_SLICE_CHICKEN2);
115 	MMIO_D(_MMIO(0x9030));
116 	MMIO_D(_MMIO(0x20a0));
117 	MMIO_D(_MMIO(0x2420));
118 	MMIO_D(_MMIO(0x2430));
119 	MMIO_D(_MMIO(0x2434));
120 	MMIO_D(_MMIO(0x2438));
121 	MMIO_D(_MMIO(0x243c));
122 	MMIO_D(_MMIO(0x7018));
123 	MMIO_D(HSW_HALF_SLICE_CHICKEN3);
124 	MMIO_D(GEN7_HALF_SLICE_CHICKEN1);
125 	/* display */
126 	MMIO_F(_MMIO(0x60220), 0x20);
127 	MMIO_D(_MMIO(0x602a0));
128 	MMIO_D(_MMIO(0x65050));
129 	MMIO_D(_MMIO(0x650b4));
130 	MMIO_D(_MMIO(0xc4040));
131 	MMIO_D(DERRMR);
132 	MMIO_D(PIPEDSL(dev_priv, PIPE_A));
133 	MMIO_D(PIPEDSL(dev_priv, PIPE_B));
134 	MMIO_D(PIPEDSL(dev_priv, PIPE_C));
135 	MMIO_D(PIPEDSL(dev_priv, _PIPE_EDP));
136 	MMIO_D(TRANSCONF(dev_priv, TRANSCODER_A));
137 	MMIO_D(TRANSCONF(dev_priv, TRANSCODER_B));
138 	MMIO_D(TRANSCONF(dev_priv, TRANSCODER_C));
139 	MMIO_D(TRANSCONF(dev_priv, TRANSCODER_EDP));
140 	MMIO_D(PIPESTAT(dev_priv, PIPE_A));
141 	MMIO_D(PIPESTAT(dev_priv, PIPE_B));
142 	MMIO_D(PIPESTAT(dev_priv, PIPE_C));
143 	MMIO_D(PIPESTAT(dev_priv, _PIPE_EDP));
144 	MMIO_D(PIPE_FLIPCOUNT_G4X(dev_priv, PIPE_A));
145 	MMIO_D(PIPE_FLIPCOUNT_G4X(dev_priv, PIPE_B));
146 	MMIO_D(PIPE_FLIPCOUNT_G4X(dev_priv, PIPE_C));
147 	MMIO_D(PIPE_FLIPCOUNT_G4X(dev_priv, _PIPE_EDP));
148 	MMIO_D(PIPE_FRMCOUNT_G4X(dev_priv, PIPE_A));
149 	MMIO_D(PIPE_FRMCOUNT_G4X(dev_priv, PIPE_B));
150 	MMIO_D(PIPE_FRMCOUNT_G4X(dev_priv, PIPE_C));
151 	MMIO_D(PIPE_FRMCOUNT_G4X(dev_priv, _PIPE_EDP));
152 	MMIO_D(CURCNTR(dev_priv, PIPE_A));
153 	MMIO_D(CURCNTR(dev_priv, PIPE_B));
154 	MMIO_D(CURCNTR(dev_priv, PIPE_C));
155 	MMIO_D(CURPOS(dev_priv, PIPE_A));
156 	MMIO_D(CURPOS(dev_priv, PIPE_B));
157 	MMIO_D(CURPOS(dev_priv, PIPE_C));
158 	MMIO_D(CURBASE(dev_priv, PIPE_A));
159 	MMIO_D(CURBASE(dev_priv, PIPE_B));
160 	MMIO_D(CURBASE(dev_priv, PIPE_C));
161 	MMIO_D(CUR_FBC_CTL(dev_priv, PIPE_A));
162 	MMIO_D(CUR_FBC_CTL(dev_priv, PIPE_B));
163 	MMIO_D(CUR_FBC_CTL(dev_priv, PIPE_C));
164 	MMIO_D(_MMIO(0x700ac));
165 	MMIO_D(_MMIO(0x710ac));
166 	MMIO_D(_MMIO(0x720ac));
167 	MMIO_D(_MMIO(0x70090));
168 	MMIO_D(_MMIO(0x70094));
169 	MMIO_D(_MMIO(0x70098));
170 	MMIO_D(_MMIO(0x7009c));
171 	MMIO_D(DSPCNTR(dev_priv, PIPE_A));
172 	MMIO_D(DSPADDR(dev_priv, PIPE_A));
173 	MMIO_D(DSPSTRIDE(dev_priv, PIPE_A));
174 	MMIO_D(DSPPOS(dev_priv, PIPE_A));
175 	MMIO_D(DSPSIZE(dev_priv, PIPE_A));
176 	MMIO_D(DSPSURF(dev_priv, PIPE_A));
177 	MMIO_D(DSPOFFSET(dev_priv, PIPE_A));
178 	MMIO_D(DSPSURFLIVE(dev_priv, PIPE_A));
179 	MMIO_D(REG_50080(PIPE_A, PLANE_PRIMARY));
180 	MMIO_D(DSPCNTR(dev_priv, PIPE_B));
181 	MMIO_D(DSPADDR(dev_priv, PIPE_B));
182 	MMIO_D(DSPSTRIDE(dev_priv, PIPE_B));
183 	MMIO_D(DSPPOS(dev_priv, PIPE_B));
184 	MMIO_D(DSPSIZE(dev_priv, PIPE_B));
185 	MMIO_D(DSPSURF(dev_priv, PIPE_B));
186 	MMIO_D(DSPOFFSET(dev_priv, PIPE_B));
187 	MMIO_D(DSPSURFLIVE(dev_priv, PIPE_B));
188 	MMIO_D(REG_50080(PIPE_B, PLANE_PRIMARY));
189 	MMIO_D(DSPCNTR(dev_priv, PIPE_C));
190 	MMIO_D(DSPADDR(dev_priv, PIPE_C));
191 	MMIO_D(DSPSTRIDE(dev_priv, PIPE_C));
192 	MMIO_D(DSPPOS(dev_priv, PIPE_C));
193 	MMIO_D(DSPSIZE(dev_priv, PIPE_C));
194 	MMIO_D(DSPSURF(dev_priv, PIPE_C));
195 	MMIO_D(DSPOFFSET(dev_priv, PIPE_C));
196 	MMIO_D(DSPSURFLIVE(dev_priv, PIPE_C));
197 	MMIO_D(REG_50080(PIPE_C, PLANE_PRIMARY));
198 	MMIO_D(SPRCTL(PIPE_A));
199 	MMIO_D(SPRLINOFF(PIPE_A));
200 	MMIO_D(SPRSTRIDE(PIPE_A));
201 	MMIO_D(SPRPOS(PIPE_A));
202 	MMIO_D(SPRSIZE(PIPE_A));
203 	MMIO_D(SPRKEYVAL(PIPE_A));
204 	MMIO_D(SPRKEYMSK(PIPE_A));
205 	MMIO_D(SPRSURF(PIPE_A));
206 	MMIO_D(SPRKEYMAX(PIPE_A));
207 	MMIO_D(SPROFFSET(PIPE_A));
208 	MMIO_D(SPRSCALE(PIPE_A));
209 	MMIO_D(SPRSURFLIVE(PIPE_A));
210 	MMIO_D(REG_50080(PIPE_A, PLANE_SPRITE0));
211 	MMIO_D(SPRCTL(PIPE_B));
212 	MMIO_D(SPRLINOFF(PIPE_B));
213 	MMIO_D(SPRSTRIDE(PIPE_B));
214 	MMIO_D(SPRPOS(PIPE_B));
215 	MMIO_D(SPRSIZE(PIPE_B));
216 	MMIO_D(SPRKEYVAL(PIPE_B));
217 	MMIO_D(SPRKEYMSK(PIPE_B));
218 	MMIO_D(SPRSURF(PIPE_B));
219 	MMIO_D(SPRKEYMAX(PIPE_B));
220 	MMIO_D(SPROFFSET(PIPE_B));
221 	MMIO_D(SPRSCALE(PIPE_B));
222 	MMIO_D(SPRSURFLIVE(PIPE_B));
223 	MMIO_D(REG_50080(PIPE_B, PLANE_SPRITE0));
224 	MMIO_D(SPRCTL(PIPE_C));
225 	MMIO_D(SPRLINOFF(PIPE_C));
226 	MMIO_D(SPRSTRIDE(PIPE_C));
227 	MMIO_D(SPRPOS(PIPE_C));
228 	MMIO_D(SPRSIZE(PIPE_C));
229 	MMIO_D(SPRKEYVAL(PIPE_C));
230 	MMIO_D(SPRKEYMSK(PIPE_C));
231 	MMIO_D(SPRSURF(PIPE_C));
232 	MMIO_D(SPRKEYMAX(PIPE_C));
233 	MMIO_D(SPROFFSET(PIPE_C));
234 	MMIO_D(SPRSCALE(PIPE_C));
235 	MMIO_D(SPRSURFLIVE(PIPE_C));
236 	MMIO_D(REG_50080(PIPE_C, PLANE_SPRITE0));
237 	MMIO_D(TRANS_HTOTAL(dev_priv, TRANSCODER_A));
238 	MMIO_D(TRANS_HBLANK(dev_priv, TRANSCODER_A));
239 	MMIO_D(TRANS_HSYNC(dev_priv, TRANSCODER_A));
240 	MMIO_D(TRANS_VTOTAL(dev_priv, TRANSCODER_A));
241 	MMIO_D(TRANS_VBLANK(dev_priv, TRANSCODER_A));
242 	MMIO_D(TRANS_VSYNC(dev_priv, TRANSCODER_A));
243 	MMIO_D(BCLRPAT(dev_priv, TRANSCODER_A));
244 	MMIO_D(TRANS_VSYNCSHIFT(dev_priv, TRANSCODER_A));
245 	MMIO_D(PIPESRC(dev_priv, TRANSCODER_A));
246 	MMIO_D(TRANS_HTOTAL(dev_priv, TRANSCODER_B));
247 	MMIO_D(TRANS_HBLANK(dev_priv, TRANSCODER_B));
248 	MMIO_D(TRANS_HSYNC(dev_priv, TRANSCODER_B));
249 	MMIO_D(TRANS_VTOTAL(dev_priv, TRANSCODER_B));
250 	MMIO_D(TRANS_VBLANK(dev_priv, TRANSCODER_B));
251 	MMIO_D(TRANS_VSYNC(dev_priv, TRANSCODER_B));
252 	MMIO_D(BCLRPAT(dev_priv, TRANSCODER_B));
253 	MMIO_D(TRANS_VSYNCSHIFT(dev_priv, TRANSCODER_B));
254 	MMIO_D(PIPESRC(dev_priv, TRANSCODER_B));
255 	MMIO_D(TRANS_HTOTAL(dev_priv, TRANSCODER_C));
256 	MMIO_D(TRANS_HBLANK(dev_priv, TRANSCODER_C));
257 	MMIO_D(TRANS_HSYNC(dev_priv, TRANSCODER_C));
258 	MMIO_D(TRANS_VTOTAL(dev_priv, TRANSCODER_C));
259 	MMIO_D(TRANS_VBLANK(dev_priv, TRANSCODER_C));
260 	MMIO_D(TRANS_VSYNC(dev_priv, TRANSCODER_C));
261 	MMIO_D(BCLRPAT(dev_priv, TRANSCODER_C));
262 	MMIO_D(TRANS_VSYNCSHIFT(dev_priv, TRANSCODER_C));
263 	MMIO_D(PIPESRC(dev_priv, TRANSCODER_C));
264 	MMIO_D(TRANS_HTOTAL(dev_priv, TRANSCODER_EDP));
265 	MMIO_D(TRANS_HBLANK(dev_priv, TRANSCODER_EDP));
266 	MMIO_D(TRANS_HSYNC(dev_priv, TRANSCODER_EDP));
267 	MMIO_D(TRANS_VTOTAL(dev_priv, TRANSCODER_EDP));
268 	MMIO_D(TRANS_VBLANK(dev_priv, TRANSCODER_EDP));
269 	MMIO_D(TRANS_VSYNC(dev_priv, TRANSCODER_EDP));
270 	MMIO_D(BCLRPAT(dev_priv, TRANSCODER_EDP));
271 	MMIO_D(TRANS_VSYNCSHIFT(dev_priv, TRANSCODER_EDP));
272 	MMIO_D(PIPE_DATA_M1(dev_priv, TRANSCODER_A));
273 	MMIO_D(PIPE_DATA_N1(dev_priv, TRANSCODER_A));
274 	MMIO_D(PIPE_DATA_M2(dev_priv, TRANSCODER_A));
275 	MMIO_D(PIPE_DATA_N2(dev_priv, TRANSCODER_A));
276 	MMIO_D(PIPE_LINK_M1(dev_priv, TRANSCODER_A));
277 	MMIO_D(PIPE_LINK_N1(dev_priv, TRANSCODER_A));
278 	MMIO_D(PIPE_LINK_M2(dev_priv, TRANSCODER_A));
279 	MMIO_D(PIPE_LINK_N2(dev_priv, TRANSCODER_A));
280 	MMIO_D(PIPE_DATA_M1(dev_priv, TRANSCODER_B));
281 	MMIO_D(PIPE_DATA_N1(dev_priv, TRANSCODER_B));
282 	MMIO_D(PIPE_DATA_M2(dev_priv, TRANSCODER_B));
283 	MMIO_D(PIPE_DATA_N2(dev_priv, TRANSCODER_B));
284 	MMIO_D(PIPE_LINK_M1(dev_priv, TRANSCODER_B));
285 	MMIO_D(PIPE_LINK_N1(dev_priv, TRANSCODER_B));
286 	MMIO_D(PIPE_LINK_M2(dev_priv, TRANSCODER_B));
287 	MMIO_D(PIPE_LINK_N2(dev_priv, TRANSCODER_B));
288 	MMIO_D(PIPE_DATA_M1(dev_priv, TRANSCODER_C));
289 	MMIO_D(PIPE_DATA_N1(dev_priv, TRANSCODER_C));
290 	MMIO_D(PIPE_DATA_M2(dev_priv, TRANSCODER_C));
291 	MMIO_D(PIPE_DATA_N2(dev_priv, TRANSCODER_C));
292 	MMIO_D(PIPE_LINK_M1(dev_priv, TRANSCODER_C));
293 	MMIO_D(PIPE_LINK_N1(dev_priv, TRANSCODER_C));
294 	MMIO_D(PIPE_LINK_M2(dev_priv, TRANSCODER_C));
295 	MMIO_D(PIPE_LINK_N2(dev_priv, TRANSCODER_C));
296 	MMIO_D(PIPE_DATA_M1(dev_priv, TRANSCODER_EDP));
297 	MMIO_D(PIPE_DATA_N1(dev_priv, TRANSCODER_EDP));
298 	MMIO_D(PIPE_DATA_M2(dev_priv, TRANSCODER_EDP));
299 	MMIO_D(PIPE_DATA_N2(dev_priv, TRANSCODER_EDP));
300 	MMIO_D(PIPE_LINK_M1(dev_priv, TRANSCODER_EDP));
301 	MMIO_D(PIPE_LINK_N1(dev_priv, TRANSCODER_EDP));
302 	MMIO_D(PIPE_LINK_M2(dev_priv, TRANSCODER_EDP));
303 	MMIO_D(PIPE_LINK_N2(dev_priv, TRANSCODER_EDP));
304 	MMIO_D(PF_CTL(PIPE_A));
305 	MMIO_D(PF_WIN_SZ(PIPE_A));
306 	MMIO_D(PF_WIN_POS(PIPE_A));
307 	MMIO_D(PF_VSCALE(PIPE_A));
308 	MMIO_D(PF_HSCALE(PIPE_A));
309 	MMIO_D(PF_CTL(PIPE_B));
310 	MMIO_D(PF_WIN_SZ(PIPE_B));
311 	MMIO_D(PF_WIN_POS(PIPE_B));
312 	MMIO_D(PF_VSCALE(PIPE_B));
313 	MMIO_D(PF_HSCALE(PIPE_B));
314 	MMIO_D(PF_CTL(PIPE_C));
315 	MMIO_D(PF_WIN_SZ(PIPE_C));
316 	MMIO_D(PF_WIN_POS(PIPE_C));
317 	MMIO_D(PF_VSCALE(PIPE_C));
318 	MMIO_D(PF_HSCALE(PIPE_C));
319 	MMIO_D(WM0_PIPE_ILK(PIPE_A));
320 	MMIO_D(WM0_PIPE_ILK(PIPE_B));
321 	MMIO_D(WM0_PIPE_ILK(PIPE_C));
322 	MMIO_D(WM1_LP_ILK);
323 	MMIO_D(WM2_LP_ILK);
324 	MMIO_D(WM3_LP_ILK);
325 	MMIO_D(WM1S_LP_ILK);
326 	MMIO_D(WM2S_LP_IVB);
327 	MMIO_D(WM3S_LP_IVB);
328 	MMIO_D(BLC_PWM_CPU_CTL2);
329 	MMIO_D(BLC_PWM_CPU_CTL);
330 	MMIO_D(BLC_PWM_PCH_CTL1);
331 	MMIO_D(BLC_PWM_PCH_CTL2);
332 	MMIO_D(_MMIO(0x48268));
333 	MMIO_F(PCH_GMBUS0, 4 * 4);
334 	MMIO_F(PCH_GPIO_BASE, 6 * 4);
335 	MMIO_F(_MMIO(0xe4f00), 0x28);
336 	MMIO_D(_MMIO(_PCH_TRANSACONF));
337 	MMIO_D(_MMIO(_PCH_TRANSBCONF));
338 	MMIO_D(FDI_RX_IIR(PIPE_A));
339 	MMIO_D(FDI_RX_IIR(PIPE_B));
340 	MMIO_D(FDI_RX_IIR(PIPE_C));
341 	MMIO_D(FDI_RX_IMR(PIPE_A));
342 	MMIO_D(FDI_RX_IMR(PIPE_B));
343 	MMIO_D(FDI_RX_IMR(PIPE_C));
344 	MMIO_D(FDI_RX_CTL(PIPE_A));
345 	MMIO_D(FDI_RX_CTL(PIPE_B));
346 	MMIO_D(FDI_RX_CTL(PIPE_C));
347 	MMIO_D(_MMIO(_PCH_TRANS_HTOTAL_A));
348 	MMIO_D(_MMIO(_PCH_TRANS_HBLANK_A));
349 	MMIO_D(_MMIO(_PCH_TRANS_HSYNC_A));
350 	MMIO_D(_MMIO(_PCH_TRANS_VTOTAL_A));
351 	MMIO_D(_MMIO(_PCH_TRANS_VBLANK_A));
352 	MMIO_D(_MMIO(_PCH_TRANS_VSYNC_A));
353 	MMIO_D(_MMIO(_PCH_TRANS_VSYNCSHIFT_A));
354 	MMIO_D(_MMIO(_PCH_TRANS_HTOTAL_B));
355 	MMIO_D(_MMIO(_PCH_TRANS_HBLANK_B));
356 	MMIO_D(_MMIO(_PCH_TRANS_HSYNC_B));
357 	MMIO_D(_MMIO(_PCH_TRANS_VTOTAL_B));
358 	MMIO_D(_MMIO(_PCH_TRANS_VBLANK_B));
359 	MMIO_D(_MMIO(_PCH_TRANS_VSYNC_B));
360 	MMIO_D(_MMIO(_PCH_TRANS_VSYNCSHIFT_B));
361 	MMIO_D(_MMIO(_PCH_TRANSA_DATA_M1));
362 	MMIO_D(_MMIO(_PCH_TRANSA_DATA_N1));
363 	MMIO_D(_MMIO(_PCH_TRANSA_DATA_M2));
364 	MMIO_D(_MMIO(_PCH_TRANSA_DATA_N2));
365 	MMIO_D(_MMIO(_PCH_TRANSA_LINK_M1));
366 	MMIO_D(_MMIO(_PCH_TRANSA_LINK_N1));
367 	MMIO_D(_MMIO(_PCH_TRANSA_LINK_M2));
368 	MMIO_D(_MMIO(_PCH_TRANSA_LINK_N2));
369 	MMIO_D(TRANS_DP_CTL(PIPE_A));
370 	MMIO_D(TRANS_DP_CTL(PIPE_B));
371 	MMIO_D(TRANS_DP_CTL(PIPE_C));
372 	MMIO_D(TVIDEO_DIP_CTL(PIPE_A));
373 	MMIO_D(TVIDEO_DIP_DATA(PIPE_A));
374 	MMIO_D(TVIDEO_DIP_GCP(PIPE_A));
375 	MMIO_D(TVIDEO_DIP_CTL(PIPE_B));
376 	MMIO_D(TVIDEO_DIP_DATA(PIPE_B));
377 	MMIO_D(TVIDEO_DIP_GCP(PIPE_B));
378 	MMIO_D(TVIDEO_DIP_CTL(PIPE_C));
379 	MMIO_D(TVIDEO_DIP_DATA(PIPE_C));
380 	MMIO_D(TVIDEO_DIP_GCP(PIPE_C));
381 	MMIO_D(_MMIO(_FDI_RXA_MISC));
382 	MMIO_D(_MMIO(_FDI_RXB_MISC));
383 	MMIO_D(_MMIO(_FDI_RXA_TUSIZE1));
384 	MMIO_D(_MMIO(_FDI_RXA_TUSIZE2));
385 	MMIO_D(_MMIO(_FDI_RXB_TUSIZE1));
386 	MMIO_D(_MMIO(_FDI_RXB_TUSIZE2));
387 	MMIO_D(PCH_PP_CONTROL);
388 	MMIO_D(PCH_PP_DIVISOR);
389 	MMIO_D(PCH_PP_STATUS);
390 	MMIO_D(PCH_LVDS);
391 	MMIO_D(_MMIO(_PCH_DPLL_A));
392 	MMIO_D(_MMIO(_PCH_DPLL_B));
393 	MMIO_D(_MMIO(_PCH_FPA0));
394 	MMIO_D(_MMIO(_PCH_FPA1));
395 	MMIO_D(_MMIO(_PCH_FPB0));
396 	MMIO_D(_MMIO(_PCH_FPB1));
397 	MMIO_D(PCH_DREF_CONTROL);
398 	MMIO_D(PCH_RAWCLK_FREQ);
399 	MMIO_D(PCH_DPLL_SEL);
400 	MMIO_D(_MMIO(0x61208));
401 	MMIO_D(_MMIO(0x6120c));
402 	MMIO_D(PCH_PP_ON_DELAYS);
403 	MMIO_D(PCH_PP_OFF_DELAYS);
404 	MMIO_D(_MMIO(0xe651c));
405 	MMIO_D(_MMIO(0xe661c));
406 	MMIO_D(_MMIO(0xe671c));
407 	MMIO_D(_MMIO(0xe681c));
408 	MMIO_D(_MMIO(0xe6c04));
409 	MMIO_D(_MMIO(0xe6e1c));
410 	MMIO_D(PCH_PORT_HOTPLUG);
411 	MMIO_D(LCPLL_CTL);
412 	MMIO_D(FUSE_STRAP);
413 	MMIO_D(DIGITAL_PORT_HOTPLUG_CNTRL);
414 	MMIO_D(DISP_ARB_CTL);
415 	MMIO_D(DISP_ARB_CTL2);
416 	MMIO_D(ILK_DISPLAY_CHICKEN1);
417 	MMIO_D(ILK_DISPLAY_CHICKEN2);
418 	MMIO_D(ILK_DSPCLK_GATE_D);
419 	MMIO_D(SOUTH_CHICKEN1);
420 	MMIO_D(SOUTH_CHICKEN2);
421 	MMIO_D(_MMIO(_TRANSA_CHICKEN1));
422 	MMIO_D(_MMIO(_TRANSB_CHICKEN1));
423 	MMIO_D(SOUTH_DSPCLK_GATE_D);
424 	MMIO_D(_MMIO(_TRANSA_CHICKEN2));
425 	MMIO_D(_MMIO(_TRANSB_CHICKEN2));
426 	MMIO_D(ILK_DPFC_CB_BASE(INTEL_FBC_A));
427 	MMIO_D(ILK_DPFC_CONTROL(INTEL_FBC_A));
428 	MMIO_D(ILK_DPFC_RECOMP_CTL(INTEL_FBC_A));
429 	MMIO_D(ILK_DPFC_STATUS(INTEL_FBC_A));
430 	MMIO_D(ILK_DPFC_FENCE_YOFF(INTEL_FBC_A));
431 	MMIO_D(ILK_DPFC_CHICKEN(INTEL_FBC_A));
432 	MMIO_D(ILK_FBC_RT_BASE);
433 	MMIO_D(IPS_CTL);
434 	MMIO_D(PIPE_CSC_COEFF_RY_GY(PIPE_A));
435 	MMIO_D(PIPE_CSC_COEFF_BY(PIPE_A));
436 	MMIO_D(PIPE_CSC_COEFF_RU_GU(PIPE_A));
437 	MMIO_D(PIPE_CSC_COEFF_BU(PIPE_A));
438 	MMIO_D(PIPE_CSC_COEFF_RV_GV(PIPE_A));
439 	MMIO_D(PIPE_CSC_COEFF_BV(PIPE_A));
440 	MMIO_D(PIPE_CSC_MODE(PIPE_A));
441 	MMIO_D(PIPE_CSC_PREOFF_HI(PIPE_A));
442 	MMIO_D(PIPE_CSC_PREOFF_ME(PIPE_A));
443 	MMIO_D(PIPE_CSC_PREOFF_LO(PIPE_A));
444 	MMIO_D(PIPE_CSC_POSTOFF_HI(PIPE_A));
445 	MMIO_D(PIPE_CSC_POSTOFF_ME(PIPE_A));
446 	MMIO_D(PIPE_CSC_POSTOFF_LO(PIPE_A));
447 	MMIO_D(PIPE_CSC_COEFF_RY_GY(PIPE_B));
448 	MMIO_D(PIPE_CSC_COEFF_BY(PIPE_B));
449 	MMIO_D(PIPE_CSC_COEFF_RU_GU(PIPE_B));
450 	MMIO_D(PIPE_CSC_COEFF_BU(PIPE_B));
451 	MMIO_D(PIPE_CSC_COEFF_RV_GV(PIPE_B));
452 	MMIO_D(PIPE_CSC_COEFF_BV(PIPE_B));
453 	MMIO_D(PIPE_CSC_MODE(PIPE_B));
454 	MMIO_D(PIPE_CSC_PREOFF_HI(PIPE_B));
455 	MMIO_D(PIPE_CSC_PREOFF_ME(PIPE_B));
456 	MMIO_D(PIPE_CSC_PREOFF_LO(PIPE_B));
457 	MMIO_D(PIPE_CSC_POSTOFF_HI(PIPE_B));
458 	MMIO_D(PIPE_CSC_POSTOFF_ME(PIPE_B));
459 	MMIO_D(PIPE_CSC_POSTOFF_LO(PIPE_B));
460 	MMIO_D(PIPE_CSC_COEFF_RY_GY(PIPE_C));
461 	MMIO_D(PIPE_CSC_COEFF_BY(PIPE_C));
462 	MMIO_D(PIPE_CSC_COEFF_RU_GU(PIPE_C));
463 	MMIO_D(PIPE_CSC_COEFF_BU(PIPE_C));
464 	MMIO_D(PIPE_CSC_COEFF_RV_GV(PIPE_C));
465 	MMIO_D(PIPE_CSC_COEFF_BV(PIPE_C));
466 	MMIO_D(PIPE_CSC_MODE(PIPE_C));
467 	MMIO_D(PIPE_CSC_PREOFF_HI(PIPE_C));
468 	MMIO_D(PIPE_CSC_PREOFF_ME(PIPE_C));
469 	MMIO_D(PIPE_CSC_PREOFF_LO(PIPE_C));
470 	MMIO_D(PIPE_CSC_POSTOFF_HI(PIPE_C));
471 	MMIO_D(PIPE_CSC_POSTOFF_ME(PIPE_C));
472 	MMIO_D(PIPE_CSC_POSTOFF_LO(PIPE_C));
473 	MMIO_D(PREC_PAL_INDEX(PIPE_A));
474 	MMIO_D(PREC_PAL_DATA(PIPE_A));
475 	MMIO_F(PREC_PAL_GC_MAX(PIPE_A, 0), 4 * 3);
476 	MMIO_D(PREC_PAL_INDEX(PIPE_B));
477 	MMIO_D(PREC_PAL_DATA(PIPE_B));
478 	MMIO_F(PREC_PAL_GC_MAX(PIPE_B, 0), 4 * 3);
479 	MMIO_D(PREC_PAL_INDEX(PIPE_C));
480 	MMIO_D(PREC_PAL_DATA(PIPE_C));
481 	MMIO_F(PREC_PAL_GC_MAX(PIPE_C, 0), 4 * 3);
482 	MMIO_D(_MMIO(0x60110));
483 	MMIO_D(_MMIO(0x61110));
484 	MMIO_F(_MMIO(0x70400), 0x40);
485 	MMIO_F(_MMIO(0x71400), 0x40);
486 	MMIO_F(_MMIO(0x72400), 0x40);
487 	MMIO_D(WM_LINETIME(PIPE_A));
488 	MMIO_D(WM_LINETIME(PIPE_B));
489 	MMIO_D(WM_LINETIME(PIPE_C));
490 	MMIO_D(SPLL_CTL);
491 	MMIO_D(_MMIO(_WRPLL_CTL1));
492 	MMIO_D(_MMIO(_WRPLL_CTL2));
493 	MMIO_D(PORT_CLK_SEL(PORT_A));
494 	MMIO_D(PORT_CLK_SEL(PORT_B));
495 	MMIO_D(PORT_CLK_SEL(PORT_C));
496 	MMIO_D(PORT_CLK_SEL(PORT_D));
497 	MMIO_D(PORT_CLK_SEL(PORT_E));
498 	MMIO_D(TRANS_CLK_SEL(TRANSCODER_A));
499 	MMIO_D(TRANS_CLK_SEL(TRANSCODER_B));
500 	MMIO_D(TRANS_CLK_SEL(TRANSCODER_C));
501 	MMIO_D(HSW_NDE_RSTWRN_OPT);
502 	MMIO_D(_MMIO(0x46508));
503 	MMIO_D(_MMIO(0x49080));
504 	MMIO_D(_MMIO(0x49180));
505 	MMIO_D(_MMIO(0x49280));
506 	MMIO_F(_MMIO(0x49090), 0x14);
507 	MMIO_F(_MMIO(0x49190), 0x14);
508 	MMIO_F(_MMIO(0x49290), 0x14);
509 	MMIO_D(GAMMA_MODE(PIPE_A));
510 	MMIO_D(GAMMA_MODE(PIPE_B));
511 	MMIO_D(GAMMA_MODE(PIPE_C));
512 	MMIO_D(TRANS_MULT(dev_priv, TRANSCODER_A));
513 	MMIO_D(TRANS_MULT(dev_priv, TRANSCODER_B));
514 	MMIO_D(TRANS_MULT(dev_priv, TRANSCODER_C));
515 	MMIO_D(HSW_TVIDEO_DIP_CTL(dev_priv, TRANSCODER_A));
516 	MMIO_D(HSW_TVIDEO_DIP_CTL(dev_priv, TRANSCODER_B));
517 	MMIO_D(HSW_TVIDEO_DIP_CTL(dev_priv, TRANSCODER_C));
518 	MMIO_D(SFUSE_STRAP);
519 	MMIO_D(SBI_ADDR);
520 	MMIO_D(SBI_DATA);
521 	MMIO_D(SBI_CTL_STAT);
522 	MMIO_D(PIXCLK_GATE);
523 	MMIO_F(DP_AUX_CH_CTL(AUX_CH_A), 6 * 4);
524 	MMIO_D(DDI_BUF_CTL(PORT_A));
525 	MMIO_D(DDI_BUF_CTL(PORT_B));
526 	MMIO_D(DDI_BUF_CTL(PORT_C));
527 	MMIO_D(DDI_BUF_CTL(PORT_D));
528 	MMIO_D(DDI_BUF_CTL(PORT_E));
529 	MMIO_D(DP_TP_CTL(PORT_A));
530 	MMIO_D(DP_TP_CTL(PORT_B));
531 	MMIO_D(DP_TP_CTL(PORT_C));
532 	MMIO_D(DP_TP_CTL(PORT_D));
533 	MMIO_D(DP_TP_CTL(PORT_E));
534 	MMIO_D(DP_TP_STATUS(PORT_A));
535 	MMIO_D(DP_TP_STATUS(PORT_B));
536 	MMIO_D(DP_TP_STATUS(PORT_C));
537 	MMIO_D(DP_TP_STATUS(PORT_D));
538 	MMIO_D(DP_TP_STATUS(PORT_E));
539 	MMIO_F(_MMIO(_DDI_BUF_TRANS_A), 0x50);
540 	MMIO_F(_MMIO(0x64e60), 0x50);
541 	MMIO_F(_MMIO(0x64eC0), 0x50);
542 	MMIO_F(_MMIO(0x64f20), 0x50);
543 	MMIO_F(_MMIO(0x64f80), 0x50);
544 	MMIO_D(HSW_AUD_CFG(PIPE_A));
545 	MMIO_D(HSW_AUD_PIN_ELD_CP_VLD);
546 	MMIO_D(HSW_AUD_MISC_CTRL(PIPE_A));
547 	MMIO_D(_MMIO(_TRANS_DDI_FUNC_CTL_A));
548 	MMIO_D(_MMIO(_TRANS_DDI_FUNC_CTL_B));
549 	MMIO_D(_MMIO(_TRANS_DDI_FUNC_CTL_C));
550 	MMIO_D(_MMIO(_TRANS_DDI_FUNC_CTL_EDP));
551 	MMIO_D(_MMIO(_TRANSA_MSA_MISC));
552 	MMIO_D(_MMIO(_TRANSB_MSA_MISC));
553 	MMIO_D(_MMIO(_TRANSC_MSA_MISC));
554 	MMIO_D(_MMIO(_TRANS_EDP_MSA_MISC));
555 	MMIO_D(FORCEWAKE);
556 	MMIO_D(FORCEWAKE_ACK);
557 	MMIO_D(GEN6_GT_CORE_STATUS);
558 	MMIO_D(GEN6_GT_THREAD_STATUS_REG);
559 	MMIO_D(GTFIFODBG);
560 	MMIO_D(GTFIFOCTL);
561 	MMIO_D(ECOBUS);
562 	MMIO_D(GEN6_RC_CONTROL);
563 	MMIO_D(GEN6_RC_STATE);
564 	MMIO_D(GEN6_RPNSWREQ);
565 	MMIO_D(GEN6_RC_VIDEO_FREQ);
566 	MMIO_D(GEN6_RP_DOWN_TIMEOUT);
567 	MMIO_D(GEN6_RP_INTERRUPT_LIMITS);
568 	MMIO_D(GEN6_RPSTAT1);
569 	MMIO_D(GEN6_RP_CONTROL);
570 	MMIO_D(GEN6_RP_UP_THRESHOLD);
571 	MMIO_D(GEN6_RP_DOWN_THRESHOLD);
572 	MMIO_D(GEN6_RP_CUR_UP_EI);
573 	MMIO_D(GEN6_RP_CUR_UP);
574 	MMIO_D(GEN6_RP_PREV_UP);
575 	MMIO_D(GEN6_RP_CUR_DOWN_EI);
576 	MMIO_D(GEN6_RP_CUR_DOWN);
577 	MMIO_D(GEN6_RP_PREV_DOWN);
578 	MMIO_D(GEN6_RP_UP_EI);
579 	MMIO_D(GEN6_RP_DOWN_EI);
580 	MMIO_D(GEN6_RP_IDLE_HYSTERSIS);
581 	MMIO_D(GEN6_RC1_WAKE_RATE_LIMIT);
582 	MMIO_D(GEN6_RC6_WAKE_RATE_LIMIT);
583 	MMIO_D(GEN6_RC6pp_WAKE_RATE_LIMIT);
584 	MMIO_D(GEN6_RC_EVALUATION_INTERVAL);
585 	MMIO_D(GEN6_RC_IDLE_HYSTERSIS);
586 	MMIO_D(GEN6_RC_SLEEP);
587 	MMIO_D(GEN6_RC1e_THRESHOLD);
588 	MMIO_D(GEN6_RC6_THRESHOLD);
589 	MMIO_D(GEN6_RC6p_THRESHOLD);
590 	MMIO_D(GEN6_RC6pp_THRESHOLD);
591 	MMIO_D(GEN6_PMINTRMSK);
592 
593 	MMIO_D(RSTDBYCTL);
594 	MMIO_D(GEN6_GDRST);
595 	MMIO_F(FENCE_REG_GEN6_LO(0), 0x80);
596 	MMIO_D(CPU_VGACNTRL);
597 	MMIO_D(TILECTL);
598 	MMIO_D(GEN6_UCGCTL1);
599 	MMIO_D(GEN6_UCGCTL2);
600 	MMIO_F(_MMIO(0x4f000), 0x90);
601 	MMIO_D(GEN6_PCODE_DATA);
602 	MMIO_D(_MMIO(0x13812c));
603 	MMIO_D(GEN7_ERR_INT);
604 	MMIO_D(HSW_EDRAM_CAP);
605 	MMIO_D(HSW_IDICR);
606 	MMIO_D(GFX_FLSH_CNTL_GEN6);
607 	MMIO_D(_MMIO(0x3c));
608 	MMIO_D(_MMIO(0x860));
609 	MMIO_D(ECOSKPD(RENDER_RING_BASE));
610 	MMIO_D(_MMIO(0x121d0));
611 	MMIO_D(ECOSKPD(BLT_RING_BASE));
612 	MMIO_D(_MMIO(0x41d0));
613 	MMIO_D(GAC_ECO_BITS);
614 	MMIO_D(_MMIO(0x6200));
615 	MMIO_D(_MMIO(0x6204));
616 	MMIO_D(_MMIO(0x6208));
617 	MMIO_D(_MMIO(0x7118));
618 	MMIO_D(_MMIO(0x7180));
619 	MMIO_D(_MMIO(0x7408));
620 	MMIO_D(_MMIO(0x7c00));
621 	MMIO_D(GEN6_MBCTL);
622 	MMIO_D(_MMIO(0x911c));
623 	MMIO_D(_MMIO(0x9120));
624 	MMIO_D(GEN7_UCGCTL4);
625 	MMIO_D(GAB_CTL);
626 	MMIO_D(_MMIO(0x48800));
627 	MMIO_D(_MMIO(0xce044));
628 	MMIO_D(_MMIO(0xe6500));
629 	MMIO_D(_MMIO(0xe6504));
630 	MMIO_D(_MMIO(0xe6600));
631 	MMIO_D(_MMIO(0xe6604));
632 	MMIO_D(_MMIO(0xe6700));
633 	MMIO_D(_MMIO(0xe6704));
634 	MMIO_D(_MMIO(0xe6800));
635 	MMIO_D(_MMIO(0xe6804));
636 	MMIO_D(PCH_GMBUS4);
637 	MMIO_D(PCH_GMBUS5);
638 	MMIO_D(_MMIO(0x902c));
639 	MMIO_D(_MMIO(0xec008));
640 	MMIO_D(_MMIO(0xec00c));
641 	MMIO_D(_MMIO(0xec008 + 0x18));
642 	MMIO_D(_MMIO(0xec00c + 0x18));
643 	MMIO_D(_MMIO(0xec008 + 0x18 * 2));
644 	MMIO_D(_MMIO(0xec00c + 0x18 * 2));
645 	MMIO_D(_MMIO(0xec008 + 0x18 * 3));
646 	MMIO_D(_MMIO(0xec00c + 0x18 * 3));
647 	MMIO_D(_MMIO(0xec408));
648 	MMIO_D(_MMIO(0xec40c));
649 	MMIO_D(_MMIO(0xec408 + 0x18));
650 	MMIO_D(_MMIO(0xec40c + 0x18));
651 	MMIO_D(_MMIO(0xec408 + 0x18 * 2));
652 	MMIO_D(_MMIO(0xec40c + 0x18 * 2));
653 	MMIO_D(_MMIO(0xec408 + 0x18 * 3));
654 	MMIO_D(_MMIO(0xec40c + 0x18 * 3));
655 	MMIO_D(_MMIO(0xfc810));
656 	MMIO_D(_MMIO(0xfc81c));
657 	MMIO_D(_MMIO(0xfc828));
658 	MMIO_D(_MMIO(0xfc834));
659 	MMIO_D(_MMIO(0xfcc00));
660 	MMIO_D(_MMIO(0xfcc0c));
661 	MMIO_D(_MMIO(0xfcc18));
662 	MMIO_D(_MMIO(0xfcc24));
663 	MMIO_D(_MMIO(0xfd000));
664 	MMIO_D(_MMIO(0xfd00c));
665 	MMIO_D(_MMIO(0xfd018));
666 	MMIO_D(_MMIO(0xfd024));
667 	MMIO_D(_MMIO(0xfd034));
668 	MMIO_D(FPGA_DBG);
669 	MMIO_D(_MMIO(0x2054));
670 	MMIO_D(_MMIO(0x12054));
671 	MMIO_D(_MMIO(0x22054));
672 	MMIO_D(_MMIO(0x1a054));
673 	MMIO_D(_MMIO(0x44070));
674 	MMIO_D(_MMIO(0x2178));
675 	MMIO_D(_MMIO(0x217c));
676 	MMIO_D(_MMIO(0x12178));
677 	MMIO_D(_MMIO(0x1217c));
678 	MMIO_F(_MMIO(0x5200), 32);
679 	MMIO_F(_MMIO(0x5240), 32);
680 	MMIO_F(_MMIO(0x5280), 16);
681 	MMIO_D(BCS_SWCTRL);
682 	MMIO_F(HS_INVOCATION_COUNT, 8);
683 	MMIO_F(DS_INVOCATION_COUNT, 8);
684 	MMIO_F(IA_VERTICES_COUNT, 8);
685 	MMIO_F(IA_PRIMITIVES_COUNT, 8);
686 	MMIO_F(VS_INVOCATION_COUNT, 8);
687 	MMIO_F(GS_INVOCATION_COUNT, 8);
688 	MMIO_F(GS_PRIMITIVES_COUNT, 8);
689 	MMIO_F(CL_INVOCATION_COUNT, 8);
690 	MMIO_F(CL_PRIMITIVES_COUNT, 8);
691 	MMIO_F(PS_INVOCATION_COUNT, 8);
692 	MMIO_F(PS_DEPTH_COUNT, 8);
693 	MMIO_D(ARB_MODE);
694 	MMIO_RING_D(RING_BBADDR);
695 	MMIO_D(_MMIO(0x2220));
696 	MMIO_D(_MMIO(0x12220));
697 	MMIO_D(_MMIO(0x22220));
698 	MMIO_RING_D(RING_SYNC_1);
699 	MMIO_RING_D(RING_SYNC_0);
700 	MMIO_D(GUC_STATUS);
701 
702 	MMIO_F(_MMIO(MCHBAR_MIRROR_BASE_SNB), 0x40000);
703 	MMIO_F(_MMIO(VGT_PVINFO_PAGE), VGT_PVINFO_SIZE);
704 	MMIO_F(LGC_PALETTE(PIPE_A, 0), 1024);
705 	MMIO_F(LGC_PALETTE(PIPE_B, 0), 1024);
706 	MMIO_F(LGC_PALETTE(PIPE_C, 0), 1024);
707 
708 	return 0;
709 }
710 
iterate_bdw_only_mmio(struct intel_gvt_mmio_table_iter * iter)711 static int iterate_bdw_only_mmio(struct intel_gvt_mmio_table_iter *iter)
712 {
713 	MMIO_D(HSW_PWR_WELL_CTL1);
714 	MMIO_D(HSW_PWR_WELL_CTL2);
715 	MMIO_D(HSW_PWR_WELL_CTL3);
716 	MMIO_D(HSW_PWR_WELL_CTL4);
717 	MMIO_D(HSW_PWR_WELL_CTL5);
718 	MMIO_D(HSW_PWR_WELL_CTL6);
719 
720 	MMIO_D(WM_MISC);
721 	MMIO_D(_MMIO(_SRD_CTL_EDP));
722 
723 	MMIO_D(_MMIO(0xb1f0));
724 	MMIO_D(_MMIO(0xb1c0));
725 	MMIO_D(_MMIO(0xb100));
726 	MMIO_D(_MMIO(0xb10c));
727 	MMIO_D(_MMIO(0xb110));
728 	MMIO_D(_MMIO(0x83a4));
729 	MMIO_D(_MMIO(0x8430));
730 	MMIO_D(_MMIO(0x2248));
731 	MMIO_D(FORCEWAKE_ACK_HSW);
732 
733 	return 0;
734 }
735 
iterate_bdw_plus_mmio(struct intel_gvt_mmio_table_iter * iter)736 static int iterate_bdw_plus_mmio(struct intel_gvt_mmio_table_iter *iter)
737 {
738 	struct drm_i915_private *dev_priv = iter->i915;
739 
740 	MMIO_D(GEN8_GT_IMR(0));
741 	MMIO_D(GEN8_GT_IER(0));
742 	MMIO_D(GEN8_GT_IIR(0));
743 	MMIO_D(GEN8_GT_ISR(0));
744 	MMIO_D(GEN8_GT_IMR(1));
745 	MMIO_D(GEN8_GT_IER(1));
746 	MMIO_D(GEN8_GT_IIR(1));
747 	MMIO_D(GEN8_GT_ISR(1));
748 	MMIO_D(GEN8_GT_IMR(2));
749 	MMIO_D(GEN8_GT_IER(2));
750 	MMIO_D(GEN8_GT_IIR(2));
751 	MMIO_D(GEN8_GT_ISR(2));
752 	MMIO_D(GEN8_GT_IMR(3));
753 	MMIO_D(GEN8_GT_IER(3));
754 	MMIO_D(GEN8_GT_IIR(3));
755 	MMIO_D(GEN8_GT_ISR(3));
756 	MMIO_D(GEN8_DE_PIPE_IMR(PIPE_A));
757 	MMIO_D(GEN8_DE_PIPE_IER(PIPE_A));
758 	MMIO_D(GEN8_DE_PIPE_IIR(PIPE_A));
759 	MMIO_D(GEN8_DE_PIPE_ISR(PIPE_A));
760 	MMIO_D(GEN8_DE_PIPE_IMR(PIPE_B));
761 	MMIO_D(GEN8_DE_PIPE_IER(PIPE_B));
762 	MMIO_D(GEN8_DE_PIPE_IIR(PIPE_B));
763 	MMIO_D(GEN8_DE_PIPE_ISR(PIPE_B));
764 	MMIO_D(GEN8_DE_PIPE_IMR(PIPE_C));
765 	MMIO_D(GEN8_DE_PIPE_IER(PIPE_C));
766 	MMIO_D(GEN8_DE_PIPE_IIR(PIPE_C));
767 	MMIO_D(GEN8_DE_PIPE_ISR(PIPE_C));
768 	MMIO_D(GEN8_DE_PORT_IMR);
769 	MMIO_D(GEN8_DE_PORT_IER);
770 	MMIO_D(GEN8_DE_PORT_IIR);
771 	MMIO_D(GEN8_DE_PORT_ISR);
772 	MMIO_D(GEN8_DE_MISC_IMR);
773 	MMIO_D(GEN8_DE_MISC_IER);
774 	MMIO_D(GEN8_DE_MISC_IIR);
775 	MMIO_D(GEN8_DE_MISC_ISR);
776 	MMIO_D(GEN8_PCU_IMR);
777 	MMIO_D(GEN8_PCU_IER);
778 	MMIO_D(GEN8_PCU_IIR);
779 	MMIO_D(GEN8_PCU_ISR);
780 	MMIO_D(GEN8_MASTER_IRQ);
781 	MMIO_RING_D(RING_ACTHD_UDW);
782 
783 #define RING_REG(base) _MMIO((base) + 0xd0)
784 	MMIO_RING_D(RING_REG);
785 #undef RING_REG
786 
787 #define RING_REG(base) _MMIO((base) + 0x230)
788 	MMIO_RING_D(RING_REG);
789 #undef RING_REG
790 
791 #define RING_REG(base) _MMIO((base) + 0x234)
792 	MMIO_RING_F(RING_REG, 8);
793 #undef RING_REG
794 
795 #define RING_REG(base) _MMIO((base) + 0x244)
796 	MMIO_RING_D(RING_REG);
797 #undef RING_REG
798 
799 #define RING_REG(base) _MMIO((base) + 0x370)
800 	MMIO_RING_F(RING_REG, 48);
801 #undef RING_REG
802 
803 #define RING_REG(base) _MMIO((base) + 0x3a0)
804 	MMIO_RING_D(RING_REG);
805 #undef RING_REG
806 
807 	MMIO_D(PIPE_MISC(PIPE_A));
808 	MMIO_D(PIPE_MISC(PIPE_B));
809 	MMIO_D(PIPE_MISC(PIPE_C));
810 	MMIO_D(_MMIO(0x1c1d0));
811 	MMIO_D(GEN6_MBCUNIT_SNPCR);
812 	MMIO_D(GEN7_MISCCPCTL);
813 	MMIO_D(_MMIO(0x1c054));
814 	MMIO_D(GEN6_PCODE_MAILBOX);
815 	if (!IS_BROXTON(dev_priv))
816 		MMIO_D(GEN8_PRIVATE_PAT_LO);
817 	MMIO_D(GEN8_PRIVATE_PAT_HI);
818 	MMIO_D(GAMTARBMODE);
819 
820 #define RING_REG(base) _MMIO((base) + 0x270)
821 	MMIO_RING_F(RING_REG, 32);
822 #undef RING_REG
823 
824 	MMIO_RING_D(RING_HWS_PGA);
825 	MMIO_D(HDC_CHICKEN0);
826 	MMIO_D(CHICKEN_PIPESL_1(PIPE_A));
827 	MMIO_D(CHICKEN_PIPESL_1(PIPE_B));
828 	MMIO_D(CHICKEN_PIPESL_1(PIPE_C));
829 	MMIO_D(_MMIO(0x6671c));
830 	MMIO_D(_MMIO(0x66c00));
831 	MMIO_D(_MMIO(0x66c04));
832 	MMIO_D(HSW_GTT_CACHE_EN);
833 	MMIO_D(GEN8_EU_DISABLE0);
834 	MMIO_D(GEN8_EU_DISABLE1);
835 	MMIO_D(GEN8_EU_DISABLE2);
836 	MMIO_D(_MMIO(0xfdc));
837 	MMIO_D(GEN8_ROW_CHICKEN);
838 	MMIO_D(GEN7_ROW_CHICKEN2);
839 	MMIO_D(GEN8_UCGCTL6);
840 	MMIO_D(GEN8_L3SQCREG4);
841 	MMIO_D(GEN9_SCRATCH_LNCF1);
842 	MMIO_F(_MMIO(0x24d0), 48);
843 	MMIO_D(_MMIO(0x44484));
844 	MMIO_D(_MMIO(0x4448c));
845 	MMIO_D(GEN8_L3_LRA_1_GPGPU);
846 	MMIO_D(_MMIO(0x110000));
847 	MMIO_D(_MMIO(0x48400));
848 	MMIO_D(_MMIO(0x6e570));
849 	MMIO_D(_MMIO(0x65f10));
850 	MMIO_D(_MMIO(0xe194));
851 	MMIO_D(_MMIO(0xe188));
852 	MMIO_D(HALF_SLICE_CHICKEN2);
853 	MMIO_D(_MMIO(0x2580));
854 	MMIO_D(_MMIO(0xe220));
855 	MMIO_D(_MMIO(0xe230));
856 	MMIO_D(_MMIO(0xe240));
857 	MMIO_D(_MMIO(0xe260));
858 	MMIO_D(_MMIO(0xe270));
859 	MMIO_D(_MMIO(0xe280));
860 	MMIO_D(_MMIO(0xe2a0));
861 	MMIO_D(_MMIO(0xe2b0));
862 	MMIO_D(_MMIO(0xe2c0));
863 	MMIO_D(_MMIO(0x21f0));
864 	MMIO_D(GEN8_GAMW_ECO_DEV_RW_IA);
865 	MMIO_D(_MMIO(0x215c));
866 	MMIO_F(_MMIO(0x2290), 8);
867 	MMIO_D(_MMIO(0x2b00));
868 	MMIO_D(_MMIO(0x2360));
869 	MMIO_D(_MMIO(0x1c17c));
870 	MMIO_D(_MMIO(0x1c178));
871 	MMIO_D(_MMIO(0x4260));
872 	MMIO_D(_MMIO(0x4264));
873 	MMIO_D(_MMIO(0x4268));
874 	MMIO_D(_MMIO(0x426c));
875 	MMIO_D(_MMIO(0x4270));
876 	MMIO_D(_MMIO(0x4094));
877 	MMIO_D(_MMIO(0x22178));
878 	MMIO_D(_MMIO(0x1a178));
879 	MMIO_D(_MMIO(0x1a17c));
880 	MMIO_D(_MMIO(0x2217c));
881 	MMIO_D(EDP_PSR_IMR);
882 	MMIO_D(EDP_PSR_IIR);
883 	MMIO_D(_MMIO(0xe4cc));
884 	MMIO_D(GEN7_SC_INSTDONE);
885 
886 	return 0;
887 }
888 
iterate_pre_skl_mmio(struct intel_gvt_mmio_table_iter * iter)889 static int iterate_pre_skl_mmio(struct intel_gvt_mmio_table_iter *iter)
890 {
891 	MMIO_D(FORCEWAKE_MT);
892 
893 	MMIO_D(PCH_ADPA);
894 	MMIO_F(PCH_DP_AUX_CH_CTL(AUX_CH_B), 6 * 4);
895 	MMIO_F(PCH_DP_AUX_CH_CTL(AUX_CH_C), 6 * 4);
896 	MMIO_F(PCH_DP_AUX_CH_CTL(AUX_CH_D), 6 * 4);
897 
898 	MMIO_F(_MMIO(0x70440), 0xc);
899 	MMIO_F(_MMIO(0x71440), 0xc);
900 	MMIO_F(_MMIO(0x72440), 0xc);
901 	MMIO_F(_MMIO(0x7044c), 0xc);
902 	MMIO_F(_MMIO(0x7144c), 0xc);
903 	MMIO_F(_MMIO(0x7244c), 0xc);
904 
905 	return 0;
906 }
907 
iterate_skl_plus_mmio(struct intel_gvt_mmio_table_iter * iter)908 static int iterate_skl_plus_mmio(struct intel_gvt_mmio_table_iter *iter)
909 {
910 	struct drm_i915_private *dev_priv = iter->i915;
911 
912 	MMIO_D(FORCEWAKE_RENDER_GEN9);
913 	MMIO_D(FORCEWAKE_ACK_RENDER_GEN9);
914 	MMIO_D(FORCEWAKE_GT_GEN9);
915 	MMIO_D(FORCEWAKE_ACK_GT_GEN9);
916 	MMIO_D(FORCEWAKE_MEDIA_GEN9);
917 	MMIO_D(FORCEWAKE_ACK_MEDIA_GEN9);
918 	MMIO_F(DP_AUX_CH_CTL(AUX_CH_B), 6 * 4);
919 	MMIO_F(DP_AUX_CH_CTL(AUX_CH_C), 6 * 4);
920 	MMIO_F(DP_AUX_CH_CTL(AUX_CH_D), 6 * 4);
921 	MMIO_D(HSW_PWR_WELL_CTL1);
922 	MMIO_D(HSW_PWR_WELL_CTL2);
923 	MMIO_D(DBUF_CTL_S(0));
924 	MMIO_D(GEN9_PG_ENABLE);
925 	MMIO_D(GEN9_MEDIA_PG_IDLE_HYSTERESIS);
926 	MMIO_D(GEN9_RENDER_PG_IDLE_HYSTERESIS);
927 	MMIO_D(GEN9_GAMT_ECO_REG_RW_IA);
928 	MMIO_D(MMCD_MISC_CTRL);
929 	MMIO_D(CHICKEN_PAR1_1);
930 	MMIO_D(DC_STATE_EN);
931 	MMIO_D(DC_STATE_DEBUG);
932 	MMIO_D(CDCLK_CTL);
933 	MMIO_D(LCPLL1_CTL);
934 	MMIO_D(LCPLL2_CTL);
935 	MMIO_D(_MMIO(_DPLL1_CFGCR1));
936 	MMIO_D(_MMIO(_DPLL2_CFGCR1));
937 	MMIO_D(_MMIO(_DPLL3_CFGCR1));
938 	MMIO_D(_MMIO(_DPLL1_CFGCR2));
939 	MMIO_D(_MMIO(_DPLL2_CFGCR2));
940 	MMIO_D(_MMIO(_DPLL3_CFGCR2));
941 	MMIO_D(DPLL_CTRL1);
942 	MMIO_D(DPLL_CTRL2);
943 	MMIO_D(DPLL_STATUS);
944 	MMIO_D(SKL_PS_WIN_POS(PIPE_A, 0));
945 	MMIO_D(SKL_PS_WIN_POS(PIPE_A, 1));
946 	MMIO_D(SKL_PS_WIN_POS(PIPE_B, 0));
947 	MMIO_D(SKL_PS_WIN_POS(PIPE_B, 1));
948 	MMIO_D(SKL_PS_WIN_POS(PIPE_C, 0));
949 	MMIO_D(SKL_PS_WIN_POS(PIPE_C, 1));
950 	MMIO_D(SKL_PS_WIN_SZ(PIPE_A, 0));
951 	MMIO_D(SKL_PS_WIN_SZ(PIPE_A, 1));
952 	MMIO_D(SKL_PS_WIN_SZ(PIPE_B, 0));
953 	MMIO_D(SKL_PS_WIN_SZ(PIPE_B, 1));
954 	MMIO_D(SKL_PS_WIN_SZ(PIPE_C, 0));
955 	MMIO_D(SKL_PS_WIN_SZ(PIPE_C, 1));
956 	MMIO_D(SKL_PS_CTRL(PIPE_A, 0));
957 	MMIO_D(SKL_PS_CTRL(PIPE_A, 1));
958 	MMIO_D(SKL_PS_CTRL(PIPE_B, 0));
959 	MMIO_D(SKL_PS_CTRL(PIPE_B, 1));
960 	MMIO_D(SKL_PS_CTRL(PIPE_C, 0));
961 	MMIO_D(SKL_PS_CTRL(PIPE_C, 1));
962 	MMIO_D(PLANE_BUF_CFG(PIPE_A, 0));
963 	MMIO_D(PLANE_BUF_CFG(PIPE_A, 1));
964 	MMIO_D(PLANE_BUF_CFG(PIPE_A, 2));
965 	MMIO_D(PLANE_BUF_CFG(PIPE_A, 3));
966 	MMIO_D(PLANE_BUF_CFG(PIPE_B, 0));
967 	MMIO_D(PLANE_BUF_CFG(PIPE_B, 1));
968 	MMIO_D(PLANE_BUF_CFG(PIPE_B, 2));
969 	MMIO_D(PLANE_BUF_CFG(PIPE_B, 3));
970 	MMIO_D(PLANE_BUF_CFG(PIPE_C, 0));
971 	MMIO_D(PLANE_BUF_CFG(PIPE_C, 1));
972 	MMIO_D(PLANE_BUF_CFG(PIPE_C, 2));
973 	MMIO_D(PLANE_BUF_CFG(PIPE_C, 3));
974 	MMIO_D(CUR_BUF_CFG(PIPE_A));
975 	MMIO_D(CUR_BUF_CFG(PIPE_B));
976 	MMIO_D(CUR_BUF_CFG(PIPE_C));
977 	MMIO_F(PLANE_WM(PIPE_A, 0, 0), 4 * 8);
978 	MMIO_F(PLANE_WM(PIPE_A, 1, 0), 4 * 8);
979 	MMIO_F(PLANE_WM(PIPE_A, 2, 0), 4 * 8);
980 	MMIO_F(PLANE_WM(PIPE_B, 0, 0), 4 * 8);
981 	MMIO_F(PLANE_WM(PIPE_B, 1, 0), 4 * 8);
982 	MMIO_F(PLANE_WM(PIPE_B, 2, 0), 4 * 8);
983 	MMIO_F(PLANE_WM(PIPE_C, 0, 0), 4 * 8);
984 	MMIO_F(PLANE_WM(PIPE_C, 1, 0), 4 * 8);
985 	MMIO_F(PLANE_WM(PIPE_C, 2, 0), 4 * 8);
986 	MMIO_F(CUR_WM(PIPE_A, 0), 4 * 8);
987 	MMIO_F(CUR_WM(PIPE_B, 0), 4 * 8);
988 	MMIO_F(CUR_WM(PIPE_C, 0), 4 * 8);
989 	MMIO_D(PLANE_WM_TRANS(PIPE_A, 0));
990 	MMIO_D(PLANE_WM_TRANS(PIPE_A, 1));
991 	MMIO_D(PLANE_WM_TRANS(PIPE_A, 2));
992 	MMIO_D(PLANE_WM_TRANS(PIPE_B, 0));
993 	MMIO_D(PLANE_WM_TRANS(PIPE_B, 1));
994 	MMIO_D(PLANE_WM_TRANS(PIPE_B, 2));
995 	MMIO_D(PLANE_WM_TRANS(PIPE_C, 0));
996 	MMIO_D(PLANE_WM_TRANS(PIPE_C, 1));
997 	MMIO_D(PLANE_WM_TRANS(PIPE_C, 2));
998 	MMIO_D(CUR_WM_TRANS(PIPE_A));
999 	MMIO_D(CUR_WM_TRANS(PIPE_B));
1000 	MMIO_D(CUR_WM_TRANS(PIPE_C));
1001 	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_A, 0));
1002 	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_A, 1));
1003 	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_A, 2));
1004 	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_A, 3));
1005 	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_B, 0));
1006 	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_B, 1));
1007 	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_B, 2));
1008 	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_B, 3));
1009 	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_C, 0));
1010 	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_C, 1));
1011 	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_C, 2));
1012 	MMIO_D(PLANE_NV12_BUF_CFG(PIPE_C, 3));
1013 	MMIO_D(PLANE_AUX_DIST(PIPE_A, 0));
1014 	MMIO_D(PLANE_AUX_DIST(PIPE_A, 1));
1015 	MMIO_D(PLANE_AUX_DIST(PIPE_A, 2));
1016 	MMIO_D(PLANE_AUX_DIST(PIPE_A, 3));
1017 	MMIO_D(PLANE_AUX_DIST(PIPE_B, 0));
1018 	MMIO_D(PLANE_AUX_DIST(PIPE_B, 1));
1019 	MMIO_D(PLANE_AUX_DIST(PIPE_B, 2));
1020 	MMIO_D(PLANE_AUX_DIST(PIPE_B, 3));
1021 	MMIO_D(PLANE_AUX_DIST(PIPE_C, 0));
1022 	MMIO_D(PLANE_AUX_DIST(PIPE_C, 1));
1023 	MMIO_D(PLANE_AUX_DIST(PIPE_C, 2));
1024 	MMIO_D(PLANE_AUX_DIST(PIPE_C, 3));
1025 	MMIO_D(PLANE_AUX_OFFSET(PIPE_A, 0));
1026 	MMIO_D(PLANE_AUX_OFFSET(PIPE_A, 1));
1027 	MMIO_D(PLANE_AUX_OFFSET(PIPE_A, 2));
1028 	MMIO_D(PLANE_AUX_OFFSET(PIPE_A, 3));
1029 	MMIO_D(PLANE_AUX_OFFSET(PIPE_B, 0));
1030 	MMIO_D(PLANE_AUX_OFFSET(PIPE_B, 1));
1031 	MMIO_D(PLANE_AUX_OFFSET(PIPE_B, 2));
1032 	MMIO_D(PLANE_AUX_OFFSET(PIPE_B, 3));
1033 	MMIO_D(PLANE_AUX_OFFSET(PIPE_C, 0));
1034 	MMIO_D(PLANE_AUX_OFFSET(PIPE_C, 1));
1035 	MMIO_D(PLANE_AUX_OFFSET(PIPE_C, 2));
1036 	MMIO_D(PLANE_AUX_OFFSET(PIPE_C, 3));
1037 	MMIO_D(PLANE_CTL(PIPE_A, 2));
1038 	MMIO_D(PLANE_CTL(PIPE_B, 2));
1039 	MMIO_D(PLANE_CTL(PIPE_C, 2));
1040 	MMIO_D(PLANE_SURF(PIPE_A, 2));
1041 	MMIO_D(PLANE_SURF(PIPE_B, 2));
1042 	MMIO_D(PLANE_SURF(PIPE_C, 2));
1043 	MMIO_D(DMC_SSP_BASE);
1044 	MMIO_D(DMC_HTP_SKL);
1045 	MMIO_D(DMC_LAST_WRITE);
1046 	MMIO_D(BDW_SCRATCH1);
1047 	MMIO_D(SKL_DFSM);
1048 	MMIO_D(DISPIO_CR_TX_BMU_CR0);
1049 	MMIO_F(GEN9_GFX_MOCS(0), 0x7f8);
1050 	MMIO_F(GEN7_L3CNTLREG2, 0x80);
1051 	MMIO_D(RPM_CONFIG0);
1052 	MMIO_D(_MMIO(0xd08));
1053 	MMIO_D(RC6_LOCATION);
1054 	MMIO_D(GEN7_FF_SLICE_CS_CHICKEN1);
1055 	MMIO_D(GEN9_CS_DEBUG_MODE1);
1056 	/* TRTT */
1057 	MMIO_D(TRVATTL3PTRDW(0));
1058 	MMIO_D(TRVATTL3PTRDW(1));
1059 	MMIO_D(TRVATTL3PTRDW(2));
1060 	MMIO_D(TRVATTL3PTRDW(3));
1061 	MMIO_D(TRVADR);
1062 	MMIO_D(TRTTE);
1063 	MMIO_D(_MMIO(0x4dfc));
1064 	MMIO_D(_MMIO(0x46430));
1065 	MMIO_D(_MMIO(0x46520));
1066 	MMIO_D(_MMIO(0xc403c));
1067 	MMIO_D(GEN8_GARBCNTL);
1068 	MMIO_D(DMA_CTRL);
1069 	MMIO_D(_MMIO(0x65900));
1070 	MMIO_D(GEN6_STOLEN_RESERVED);
1071 	MMIO_D(_MMIO(0x4068));
1072 	MMIO_D(_MMIO(0x67054));
1073 	MMIO_D(_MMIO(0x6e560));
1074 	MMIO_D(_MMIO(0x6e554));
1075 	MMIO_D(_MMIO(0x2b20));
1076 	MMIO_D(_MMIO(0x65f00));
1077 	MMIO_D(_MMIO(0x65f08));
1078 	MMIO_D(_MMIO(0x320f0));
1079 	MMIO_D(_MMIO(0x70034));
1080 	MMIO_D(_MMIO(0x71034));
1081 	MMIO_D(_MMIO(0x72034));
1082 	MMIO_D(PLANE_KEYVAL(PIPE_A, 0));
1083 	MMIO_D(PLANE_KEYVAL(PIPE_B, 0));
1084 	MMIO_D(PLANE_KEYVAL(PIPE_C, 0));
1085 	MMIO_D(PLANE_KEYMAX(PIPE_A, 0));
1086 	MMIO_D(PLANE_KEYMAX(PIPE_B, 0));
1087 	MMIO_D(PLANE_KEYMAX(PIPE_C, 0));
1088 	MMIO_D(PLANE_KEYMSK(PIPE_A, 0));
1089 	MMIO_D(PLANE_KEYMSK(PIPE_B, 0));
1090 	MMIO_D(PLANE_KEYMSK(PIPE_C, 0));
1091 	MMIO_D(_MMIO(0x44500));
1092 #define CSFE_CHICKEN1_REG(base) _MMIO((base) + 0xD4)
1093 	MMIO_RING_D(CSFE_CHICKEN1_REG);
1094 #undef CSFE_CHICKEN1_REG
1095 	MMIO_D(GEN8_HDC_CHICKEN1);
1096 	MMIO_D(GEN9_WM_CHICKEN3);
1097 
1098 	if (IS_KABYLAKE(dev_priv) ||
1099 	    IS_COFFEELAKE(dev_priv) || IS_COMETLAKE(dev_priv))
1100 		MMIO_D(GAMT_CHKN_BIT_REG);
1101 	if (!IS_BROXTON(dev_priv))
1102 		MMIO_D(GEN9_CTX_PREEMPT_REG);
1103 	MMIO_F(_MMIO(DMC_MMIO_START_RANGE), 0x3000);
1104 	return 0;
1105 }
1106 
iterate_bxt_mmio(struct intel_gvt_mmio_table_iter * iter)1107 static int iterate_bxt_mmio(struct intel_gvt_mmio_table_iter *iter)
1108 {
1109 	struct drm_i915_private *dev_priv = iter->i915;
1110 
1111 	MMIO_F(_MMIO(0x80000), 0x3000);
1112 	MMIO_D(GEN7_SAMPLER_INSTDONE);
1113 	MMIO_D(GEN7_ROW_INSTDONE);
1114 	MMIO_D(GEN8_FAULT_TLB_DATA0);
1115 	MMIO_D(GEN8_FAULT_TLB_DATA1);
1116 	MMIO_D(ERROR_GEN6);
1117 	MMIO_D(DONE_REG);
1118 	MMIO_D(EIR);
1119 	MMIO_D(PGTBL_ER);
1120 	MMIO_D(_MMIO(0x4194));
1121 	MMIO_D(_MMIO(0x4294));
1122 	MMIO_D(_MMIO(0x4494));
1123 	MMIO_RING_D(RING_PSMI_CTL);
1124 	MMIO_RING_D(RING_DMA_FADD);
1125 	MMIO_RING_D(RING_DMA_FADD_UDW);
1126 	MMIO_RING_D(RING_IPEHR);
1127 	MMIO_RING_D(RING_INSTPS);
1128 	MMIO_RING_D(RING_BBADDR_UDW);
1129 	MMIO_RING_D(RING_BBSTATE);
1130 	MMIO_RING_D(RING_IPEIR);
1131 	MMIO_F(SOFT_SCRATCH(0), 16 * 4);
1132 	MMIO_D(BXT_P_CR_GT_DISP_PWRON);
1133 	MMIO_D(BXT_RP_STATE_CAP);
1134 	MMIO_D(BXT_PHY_CTL_FAMILY(DPIO_PHY0));
1135 	MMIO_D(BXT_PHY_CTL_FAMILY(DPIO_PHY1));
1136 	MMIO_D(BXT_PHY_CTL(PORT_A));
1137 	MMIO_D(BXT_PHY_CTL(PORT_B));
1138 	MMIO_D(BXT_PHY_CTL(PORT_C));
1139 	MMIO_D(BXT_PORT_PLL_ENABLE(PORT_A));
1140 	MMIO_D(BXT_PORT_PLL_ENABLE(PORT_B));
1141 	MMIO_D(BXT_PORT_PLL_ENABLE(PORT_C));
1142 	MMIO_D(BXT_PORT_CL1CM_DW0(DPIO_PHY0));
1143 	MMIO_D(BXT_PORT_CL1CM_DW9(DPIO_PHY0));
1144 	MMIO_D(BXT_PORT_CL1CM_DW10(DPIO_PHY0));
1145 	MMIO_D(BXT_PORT_CL1CM_DW28(DPIO_PHY0));
1146 	MMIO_D(BXT_PORT_CL1CM_DW30(DPIO_PHY0));
1147 	MMIO_D(BXT_PORT_CL2CM_DW6(DPIO_PHY0));
1148 	MMIO_D(BXT_PORT_REF_DW3(DPIO_PHY0));
1149 	MMIO_D(BXT_PORT_REF_DW6(DPIO_PHY0));
1150 	MMIO_D(BXT_PORT_REF_DW8(DPIO_PHY0));
1151 	MMIO_D(BXT_PORT_CL1CM_DW0(DPIO_PHY1));
1152 	MMIO_D(BXT_PORT_CL1CM_DW9(DPIO_PHY1));
1153 	MMIO_D(BXT_PORT_CL1CM_DW10(DPIO_PHY1));
1154 	MMIO_D(BXT_PORT_CL1CM_DW28(DPIO_PHY1));
1155 	MMIO_D(BXT_PORT_CL1CM_DW30(DPIO_PHY1));
1156 	MMIO_D(BXT_PORT_CL2CM_DW6(DPIO_PHY1));
1157 	MMIO_D(BXT_PORT_REF_DW3(DPIO_PHY1));
1158 	MMIO_D(BXT_PORT_REF_DW6(DPIO_PHY1));
1159 	MMIO_D(BXT_PORT_REF_DW8(DPIO_PHY1));
1160 	MMIO_D(BXT_PORT_PLL_EBB_0(DPIO_PHY0, DPIO_CH0));
1161 	MMIO_D(BXT_PORT_PLL_EBB_4(DPIO_PHY0, DPIO_CH0));
1162 	MMIO_D(BXT_PORT_PCS_DW10_LN01(DPIO_PHY0, DPIO_CH0));
1163 	MMIO_D(BXT_PORT_PCS_DW10_GRP(DPIO_PHY0, DPIO_CH0));
1164 	MMIO_D(BXT_PORT_PCS_DW12_LN01(DPIO_PHY0, DPIO_CH0));
1165 	MMIO_D(BXT_PORT_PCS_DW12_LN23(DPIO_PHY0, DPIO_CH0));
1166 	MMIO_D(BXT_PORT_PCS_DW12_GRP(DPIO_PHY0, DPIO_CH0));
1167 	MMIO_D(BXT_PORT_TX_DW2_LN(DPIO_PHY0, DPIO_CH0, 0));
1168 	MMIO_D(BXT_PORT_TX_DW2_GRP(DPIO_PHY0, DPIO_CH0));
1169 	MMIO_D(BXT_PORT_TX_DW3_LN(DPIO_PHY0, DPIO_CH0, 0));
1170 	MMIO_D(BXT_PORT_TX_DW3_GRP(DPIO_PHY0, DPIO_CH0));
1171 	MMIO_D(BXT_PORT_TX_DW4_LN(DPIO_PHY0, DPIO_CH0, 0));
1172 	MMIO_D(BXT_PORT_TX_DW4_GRP(DPIO_PHY0, DPIO_CH0));
1173 	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH0, 0));
1174 	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH0, 1));
1175 	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH0, 2));
1176 	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH0, 3));
1177 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 0));
1178 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 1));
1179 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 2));
1180 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 3));
1181 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 6));
1182 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 8));
1183 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 9));
1184 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH0, 10));
1185 	MMIO_D(BXT_PORT_PLL_EBB_0(DPIO_PHY0, DPIO_CH1));
1186 	MMIO_D(BXT_PORT_PLL_EBB_4(DPIO_PHY0, DPIO_CH1));
1187 	MMIO_D(BXT_PORT_PCS_DW10_LN01(DPIO_PHY0, DPIO_CH1));
1188 	MMIO_D(BXT_PORT_PCS_DW10_GRP(DPIO_PHY0, DPIO_CH1));
1189 	MMIO_D(BXT_PORT_PCS_DW12_LN01(DPIO_PHY0, DPIO_CH1));
1190 	MMIO_D(BXT_PORT_PCS_DW12_LN23(DPIO_PHY0, DPIO_CH1));
1191 	MMIO_D(BXT_PORT_PCS_DW12_GRP(DPIO_PHY0, DPIO_CH1));
1192 	MMIO_D(BXT_PORT_TX_DW2_LN(DPIO_PHY0, DPIO_CH1, 0));
1193 	MMIO_D(BXT_PORT_TX_DW2_GRP(DPIO_PHY0, DPIO_CH1));
1194 	MMIO_D(BXT_PORT_TX_DW3_LN(DPIO_PHY0, DPIO_CH1, 0));
1195 	MMIO_D(BXT_PORT_TX_DW3_GRP(DPIO_PHY0, DPIO_CH1));
1196 	MMIO_D(BXT_PORT_TX_DW4_LN(DPIO_PHY0, DPIO_CH1, 0));
1197 	MMIO_D(BXT_PORT_TX_DW4_GRP(DPIO_PHY0, DPIO_CH1));
1198 	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH1, 0));
1199 	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH1, 1));
1200 	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH1, 2));
1201 	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY0, DPIO_CH1, 3));
1202 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 0));
1203 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 1));
1204 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 2));
1205 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 3));
1206 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 6));
1207 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 8));
1208 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 9));
1209 	MMIO_D(BXT_PORT_PLL(DPIO_PHY0, DPIO_CH1, 10));
1210 	MMIO_D(BXT_PORT_PLL_EBB_0(DPIO_PHY1, DPIO_CH0));
1211 	MMIO_D(BXT_PORT_PLL_EBB_4(DPIO_PHY1, DPIO_CH0));
1212 	MMIO_D(BXT_PORT_PCS_DW10_LN01(DPIO_PHY1, DPIO_CH0));
1213 	MMIO_D(BXT_PORT_PCS_DW10_GRP(DPIO_PHY1, DPIO_CH0));
1214 	MMIO_D(BXT_PORT_PCS_DW12_LN01(DPIO_PHY1, DPIO_CH0));
1215 	MMIO_D(BXT_PORT_PCS_DW12_LN23(DPIO_PHY1, DPIO_CH0));
1216 	MMIO_D(BXT_PORT_PCS_DW12_GRP(DPIO_PHY1, DPIO_CH0));
1217 	MMIO_D(BXT_PORT_TX_DW2_LN(DPIO_PHY1, DPIO_CH0, 0));
1218 	MMIO_D(BXT_PORT_TX_DW2_GRP(DPIO_PHY1, DPIO_CH0));
1219 	MMIO_D(BXT_PORT_TX_DW3_LN(DPIO_PHY1, DPIO_CH0, 0));
1220 	MMIO_D(BXT_PORT_TX_DW3_GRP(DPIO_PHY1, DPIO_CH0));
1221 	MMIO_D(BXT_PORT_TX_DW4_LN(DPIO_PHY1, DPIO_CH0, 0));
1222 	MMIO_D(BXT_PORT_TX_DW4_GRP(DPIO_PHY1, DPIO_CH0));
1223 	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY1, DPIO_CH0, 0));
1224 	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY1, DPIO_CH0, 1));
1225 	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY1, DPIO_CH0, 2));
1226 	MMIO_D(BXT_PORT_TX_DW14_LN(DPIO_PHY1, DPIO_CH0, 3));
1227 	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 0));
1228 	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 1));
1229 	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 2));
1230 	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 3));
1231 	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 6));
1232 	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 8));
1233 	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 9));
1234 	MMIO_D(BXT_PORT_PLL(DPIO_PHY1, DPIO_CH0, 10));
1235 	MMIO_D(BXT_DE_PLL_CTL);
1236 	MMIO_D(BXT_DE_PLL_ENABLE);
1237 	MMIO_D(BXT_DSI_PLL_CTL);
1238 	MMIO_D(BXT_DSI_PLL_ENABLE);
1239 	MMIO_D(GEN9_CLKGATE_DIS_0);
1240 	MMIO_D(GEN9_CLKGATE_DIS_4);
1241 	MMIO_D(HSW_TVIDEO_DIP_GCP(dev_priv, TRANSCODER_A));
1242 	MMIO_D(HSW_TVIDEO_DIP_GCP(dev_priv, TRANSCODER_B));
1243 	MMIO_D(HSW_TVIDEO_DIP_GCP(dev_priv, TRANSCODER_C));
1244 	MMIO_D(RC6_CTX_BASE);
1245 	MMIO_D(GEN8_PUSHBUS_CONTROL);
1246 	MMIO_D(GEN8_PUSHBUS_ENABLE);
1247 	MMIO_D(GEN8_PUSHBUS_SHIFT);
1248 	MMIO_D(GEN6_GFXPAUSE);
1249 	MMIO_D(GEN8_L3SQCREG1);
1250 	MMIO_D(GEN8_L3CNTLREG);
1251 	MMIO_D(_MMIO(0x20D8));
1252 	MMIO_F(GEN8_RING_CS_GPR(RENDER_RING_BASE, 0), 0x40);
1253 	MMIO_F(GEN8_RING_CS_GPR(GEN6_BSD_RING_BASE, 0), 0x40);
1254 	MMIO_F(GEN8_RING_CS_GPR(BLT_RING_BASE, 0), 0x40);
1255 	MMIO_F(GEN8_RING_CS_GPR(VEBOX_RING_BASE, 0), 0x40);
1256 	MMIO_D(GEN9_CTX_PREEMPT_REG);
1257 	MMIO_D(GEN8_PRIVATE_PAT_LO);
1258 
1259 	return 0;
1260 }
1261 
1262 /**
1263  * intel_gvt_iterate_mmio_table - Iterate the GVT MMIO table
1264  * @iter: the iterator
1265  *
1266  * This function is called for iterating the GVT MMIO table when i915 is
1267  * taking the snapshot of the HW and GVT is building MMIO tracking table.
1268  */
intel_gvt_iterate_mmio_table(struct intel_gvt_mmio_table_iter * iter)1269 int intel_gvt_iterate_mmio_table(struct intel_gvt_mmio_table_iter *iter)
1270 {
1271 	struct drm_i915_private *i915 = iter->i915;
1272 	int ret;
1273 
1274 	ret = iterate_generic_mmio(iter);
1275 	if (ret)
1276 		goto err;
1277 
1278 	if (IS_BROADWELL(i915)) {
1279 		ret = iterate_bdw_only_mmio(iter);
1280 		if (ret)
1281 			goto err;
1282 		ret = iterate_bdw_plus_mmio(iter);
1283 		if (ret)
1284 			goto err;
1285 		ret = iterate_pre_skl_mmio(iter);
1286 		if (ret)
1287 			goto err;
1288 	} else if (IS_SKYLAKE(i915) ||
1289 		   IS_KABYLAKE(i915) ||
1290 		   IS_COFFEELAKE(i915) ||
1291 		   IS_COMETLAKE(i915)) {
1292 		ret = iterate_bdw_plus_mmio(iter);
1293 		if (ret)
1294 			goto err;
1295 		ret = iterate_skl_plus_mmio(iter);
1296 		if (ret)
1297 			goto err;
1298 	} else if (IS_BROXTON(i915)) {
1299 		ret = iterate_bdw_plus_mmio(iter);
1300 		if (ret)
1301 			goto err;
1302 		ret = iterate_skl_plus_mmio(iter);
1303 		if (ret)
1304 			goto err;
1305 		ret = iterate_bxt_mmio(iter);
1306 		if (ret)
1307 			goto err;
1308 	}
1309 
1310 	return 0;
1311 err:
1312 	return ret;
1313 }
1314 EXPORT_SYMBOL_NS_GPL(intel_gvt_iterate_mmio_table, "I915_GVT");
1315