1 /* SPDX-License-Identifier: GPL-2.0 */
3 * Synopsys DesignWare PCIe host controller driver
5 * Copyright (C) 2013 Samsung Electronics Co., Ltd.
6 * http://www.samsung.com
8 * Author: Jingoo Han <jg1.han@samsung.com>
11 #ifndef _PCIE_DESIGNWARE_H
12 #define _PCIE_DESIGNWARE_H
14 #include <linux/bitfield.h>
15 #include <linux/dma-mapping.h>
16 #include <linux/irq.h>
17 #include <linux/msi.h>
18 #include <linux/pci.h>
20 #include <linux/pci-epc.h>
21 #include <linux/pci-epf.h>
23 /* Parameters for the waiting for link up routine */
24 #define LINK_WAIT_MAX_RETRIES 10
25 #define LINK_WAIT_USLEEP_MIN 90000
26 #define LINK_WAIT_USLEEP_MAX 100000
28 /* Parameters for the waiting for iATU enabled routine */
29 #define LINK_WAIT_MAX_IATU_RETRIES 5
30 #define LINK_WAIT_IATU 9
32 /* Synopsys-specific PCIe configuration registers */
33 #define PCIE_PORT_LINK_CONTROL 0x710
34 #define PORT_LINK_MODE_MASK GENMASK(21, 16)
35 #define PORT_LINK_MODE(n) FIELD_PREP(PORT_LINK_MODE_MASK, n)
36 #define PORT_LINK_MODE_1_LANES PORT_LINK_MODE(0x1)
37 #define PORT_LINK_MODE_2_LANES PORT_LINK_MODE(0x3)
38 #define PORT_LINK_MODE_4_LANES PORT_LINK_MODE(0x7)
39 #define PORT_LINK_MODE_8_LANES PORT_LINK_MODE(0xf)
41 #define PCIE_PORT_DEBUG0 0x728
42 #define PORT_LOGIC_LTSSM_STATE_MASK 0x1f
43 #define PORT_LOGIC_LTSSM_STATE_L0 0x11
44 #define PCIE_PORT_DEBUG1 0x72C
45 #define PCIE_PORT_DEBUG1_LINK_UP BIT(4)
46 #define PCIE_PORT_DEBUG1_LINK_IN_TRAINING BIT(29)
48 #define PCIE_LINK_WIDTH_SPEED_CONTROL 0x80C
49 #define PORT_LOGIC_SPEED_CHANGE BIT(17)
50 #define PORT_LOGIC_LINK_WIDTH_MASK GENMASK(12, 8)
51 #define PORT_LOGIC_LINK_WIDTH(n) FIELD_PREP(PORT_LOGIC_LINK_WIDTH_MASK, n)
52 #define PORT_LOGIC_LINK_WIDTH_1_LANES PORT_LOGIC_LINK_WIDTH(0x1)
53 #define PORT_LOGIC_LINK_WIDTH_2_LANES PORT_LOGIC_LINK_WIDTH(0x2)
54 #define PORT_LOGIC_LINK_WIDTH_4_LANES PORT_LOGIC_LINK_WIDTH(0x4)
55 #define PORT_LOGIC_LINK_WIDTH_8_LANES PORT_LOGIC_LINK_WIDTH(0x8)
57 #define PCIE_MSI_ADDR_LO 0x820
58 #define PCIE_MSI_ADDR_HI 0x824
59 #define PCIE_MSI_INTR0_ENABLE 0x828
60 #define PCIE_MSI_INTR0_MASK 0x82C
61 #define PCIE_MSI_INTR0_STATUS 0x830
63 #define PCIE_ATU_VIEWPORT 0x900
64 #define PCIE_ATU_REGION_INBOUND BIT(31)
65 #define PCIE_ATU_REGION_OUTBOUND 0
66 #define PCIE_ATU_REGION_INDEX2 0x2
67 #define PCIE_ATU_REGION_INDEX1 0x1
68 #define PCIE_ATU_REGION_INDEX0 0x0
69 #define PCIE_ATU_CR1 0x904
70 #define PCIE_ATU_TYPE_MEM 0x0
71 #define PCIE_ATU_TYPE_IO 0x2
72 #define PCIE_ATU_TYPE_CFG0 0x4
73 #define PCIE_ATU_TYPE_CFG1 0x5
74 #define PCIE_ATU_CR2 0x908
75 #define PCIE_ATU_ENABLE BIT(31)
76 #define PCIE_ATU_BAR_MODE_ENABLE BIT(30)
77 #define PCIE_ATU_LOWER_BASE 0x90C
78 #define PCIE_ATU_UPPER_BASE 0x910
79 #define PCIE_ATU_LIMIT 0x914
80 #define PCIE_ATU_LOWER_TARGET 0x918
81 #define PCIE_ATU_BUS(x) FIELD_PREP(GENMASK(31, 24), x)
82 #define PCIE_ATU_DEV(x) FIELD_PREP(GENMASK(23, 19), x)
83 #define PCIE_ATU_FUNC(x) FIELD_PREP(GENMASK(18, 16), x)
84 #define PCIE_ATU_UPPER_TARGET 0x91C
86 #define PCIE_MISC_CONTROL_1_OFF 0x8BC
87 #define PCIE_DBI_RO_WR_EN BIT(0)
90 * iATU Unroll-specific register definitions
91 * From 4.80 core version the address translation will be made by unroll
93 #define PCIE_ATU_UNR_REGION_CTRL1 0x00
94 #define PCIE_ATU_UNR_REGION_CTRL2 0x04
95 #define PCIE_ATU_UNR_LOWER_BASE 0x08
96 #define PCIE_ATU_UNR_UPPER_BASE 0x0C
97 #define PCIE_ATU_UNR_LIMIT 0x10
98 #define PCIE_ATU_UNR_LOWER_TARGET 0x14
99 #define PCIE_ATU_UNR_UPPER_TARGET 0x18
102 * The default address offset between dbi_base and atu_base. Root controller
103 * drivers are not required to initialize atu_base if the offset matches this
104 * default; the driver core automatically derives atu_base from dbi_base using
105 * this offset, if atu_base not set.
107 #define DEFAULT_DBI_ATU_OFFSET (0x3 << 20)
109 /* Register address builder */
110 #define PCIE_GET_ATU_OUTB_UNR_REG_OFFSET(region) \
113 #define PCIE_GET_ATU_INB_UNR_REG_OFFSET(region) \
114 (((region) << 9) | BIT(8))
116 #define MAX_MSI_IRQS 256
117 #define MAX_MSI_IRQS_PER_CTRL 32
118 #define MAX_MSI_CTRLS (MAX_MSI_IRQS / MAX_MSI_IRQS_PER_CTRL)
119 #define MSI_REG_CTRL_BLOCK_SIZE 12
120 #define MSI_DEF_NUM_VECTORS 32
122 /* Maximum number of inbound/outbound iATUs */
123 #define MAX_IATU_IN 256
124 #define MAX_IATU_OUT 256
130 enum dw_pcie_region_type
{
131 DW_PCIE_REGION_UNKNOWN
,
132 DW_PCIE_REGION_INBOUND
,
133 DW_PCIE_REGION_OUTBOUND
,
136 enum dw_pcie_device_mode
{
137 DW_PCIE_UNKNOWN_TYPE
,
143 struct dw_pcie_host_ops
{
144 int (*rd_own_conf
)(struct pcie_port
*pp
, int where
, int size
, u32
*val
);
145 int (*wr_own_conf
)(struct pcie_port
*pp
, int where
, int size
, u32 val
);
146 int (*rd_other_conf
)(struct pcie_port
*pp
, struct pci_bus
*bus
,
147 unsigned int devfn
, int where
, int size
, u32
*val
);
148 int (*wr_other_conf
)(struct pcie_port
*pp
, struct pci_bus
*bus
,
149 unsigned int devfn
, int where
, int size
, u32 val
);
150 int (*host_init
)(struct pcie_port
*pp
);
151 void (*scan_bus
)(struct pcie_port
*pp
);
152 void (*set_num_vectors
)(struct pcie_port
*pp
);
153 int (*msi_host_init
)(struct pcie_port
*pp
);
159 void __iomem
*va_cfg0_base
;
162 void __iomem
*va_cfg1_base
;
164 resource_size_t io_base
;
165 phys_addr_t io_bus_addr
;
168 phys_addr_t mem_bus_addr
;
170 struct resource
*cfg
;
172 struct resource
*mem
;
173 struct resource
*busn
;
175 const struct dw_pcie_host_ops
*ops
;
177 struct irq_domain
*irq_domain
;
178 struct irq_domain
*msi_domain
;
180 struct page
*msi_page
;
181 struct irq_chip
*msi_irq_chip
;
183 u32 irq_mask
[MAX_MSI_CTRLS
];
184 struct pci_bus
*root_bus
;
186 DECLARE_BITMAP(msi_irq_in_use
, MAX_MSI_IRQS
);
189 enum dw_pcie_as_type
{
195 struct dw_pcie_ep_ops
{
196 void (*ep_init
)(struct dw_pcie_ep
*ep
);
197 int (*raise_irq
)(struct dw_pcie_ep
*ep
, u8 func_no
,
198 enum pci_epc_irq_type type
, u16 interrupt_num
);
199 const struct pci_epc_features
* (*get_features
)(struct dw_pcie_ep
*ep
);
204 const struct dw_pcie_ep_ops
*ops
;
205 phys_addr_t phys_base
;
209 phys_addr_t
*outbound_addr
;
210 unsigned long *ib_window_map
;
211 unsigned long *ob_window_map
;
214 void __iomem
*msi_mem
;
215 phys_addr_t msi_mem_phys
;
216 u8 msi_cap
; /* MSI capability offset */
217 u8 msix_cap
; /* MSI-X capability offset */
221 u64 (*cpu_addr_fixup
)(struct dw_pcie
*pcie
, u64 cpu_addr
);
222 u32 (*read_dbi
)(struct dw_pcie
*pcie
, void __iomem
*base
, u32 reg
,
224 void (*write_dbi
)(struct dw_pcie
*pcie
, void __iomem
*base
, u32 reg
,
225 size_t size
, u32 val
);
226 u32 (*read_dbi2
)(struct dw_pcie
*pcie
, void __iomem
*base
, u32 reg
,
228 void (*write_dbi2
)(struct dw_pcie
*pcie
, void __iomem
*base
, u32 reg
,
229 size_t size
, u32 val
);
230 int (*link_up
)(struct dw_pcie
*pcie
);
231 int (*start_link
)(struct dw_pcie
*pcie
);
232 void (*stop_link
)(struct dw_pcie
*pcie
);
237 void __iomem
*dbi_base
;
238 void __iomem
*dbi_base2
;
239 /* Used when iatu_unroll_enabled is true */
240 void __iomem
*atu_base
;
242 u8 iatu_unroll_enabled
;
244 struct dw_pcie_ep ep
;
245 const struct dw_pcie_ops
*ops
;
246 unsigned int version
;
249 #define to_dw_pcie_from_pp(port) container_of((port), struct dw_pcie, pp)
251 #define to_dw_pcie_from_ep(endpoint) \
252 container_of((endpoint), struct dw_pcie, ep)
254 int dw_pcie_read(void __iomem
*addr
, int size
, u32
*val
);
255 int dw_pcie_write(void __iomem
*addr
, int size
, u32 val
);
257 u32
dw_pcie_read_dbi(struct dw_pcie
*pci
, u32 reg
, size_t size
);
258 void dw_pcie_write_dbi(struct dw_pcie
*pci
, u32 reg
, size_t size
, u32 val
);
259 u32
dw_pcie_read_dbi2(struct dw_pcie
*pci
, u32 reg
, size_t size
);
260 void dw_pcie_write_dbi2(struct dw_pcie
*pci
, u32 reg
, size_t size
, u32 val
);
261 u32
dw_pcie_read_atu(struct dw_pcie
*pci
, u32 reg
, size_t size
);
262 void dw_pcie_write_atu(struct dw_pcie
*pci
, u32 reg
, size_t size
, u32 val
);
263 int dw_pcie_link_up(struct dw_pcie
*pci
);
264 int dw_pcie_wait_for_link(struct dw_pcie
*pci
);
265 void dw_pcie_prog_outbound_atu(struct dw_pcie
*pci
, int index
,
266 int type
, u64 cpu_addr
, u64 pci_addr
,
268 int dw_pcie_prog_inbound_atu(struct dw_pcie
*pci
, int index
, int bar
,
269 u64 cpu_addr
, enum dw_pcie_as_type as_type
);
270 void dw_pcie_disable_atu(struct dw_pcie
*pci
, int index
,
271 enum dw_pcie_region_type type
);
272 void dw_pcie_setup(struct dw_pcie
*pci
);
274 static inline void dw_pcie_writel_dbi(struct dw_pcie
*pci
, u32 reg
, u32 val
)
276 dw_pcie_write_dbi(pci
, reg
, 0x4, val
);
279 static inline u32
dw_pcie_readl_dbi(struct dw_pcie
*pci
, u32 reg
)
281 return dw_pcie_read_dbi(pci
, reg
, 0x4);
284 static inline void dw_pcie_writew_dbi(struct dw_pcie
*pci
, u32 reg
, u16 val
)
286 dw_pcie_write_dbi(pci
, reg
, 0x2, val
);
289 static inline u16
dw_pcie_readw_dbi(struct dw_pcie
*pci
, u32 reg
)
291 return dw_pcie_read_dbi(pci
, reg
, 0x2);
294 static inline void dw_pcie_writeb_dbi(struct dw_pcie
*pci
, u32 reg
, u8 val
)
296 dw_pcie_write_dbi(pci
, reg
, 0x1, val
);
299 static inline u8
dw_pcie_readb_dbi(struct dw_pcie
*pci
, u32 reg
)
301 return dw_pcie_read_dbi(pci
, reg
, 0x1);
304 static inline void dw_pcie_writel_dbi2(struct dw_pcie
*pci
, u32 reg
, u32 val
)
306 dw_pcie_write_dbi2(pci
, reg
, 0x4, val
);
309 static inline u32
dw_pcie_readl_dbi2(struct dw_pcie
*pci
, u32 reg
)
311 return dw_pcie_read_dbi2(pci
, reg
, 0x4);
314 static inline void dw_pcie_writel_atu(struct dw_pcie
*pci
, u32 reg
, u32 val
)
316 dw_pcie_write_atu(pci
, reg
, 0x4, val
);
319 static inline u32
dw_pcie_readl_atu(struct dw_pcie
*pci
, u32 reg
)
321 return dw_pcie_read_atu(pci
, reg
, 0x4);
324 static inline void dw_pcie_dbi_ro_wr_en(struct dw_pcie
*pci
)
329 reg
= PCIE_MISC_CONTROL_1_OFF
;
330 val
= dw_pcie_readl_dbi(pci
, reg
);
331 val
|= PCIE_DBI_RO_WR_EN
;
332 dw_pcie_writel_dbi(pci
, reg
, val
);
335 static inline void dw_pcie_dbi_ro_wr_dis(struct dw_pcie
*pci
)
340 reg
= PCIE_MISC_CONTROL_1_OFF
;
341 val
= dw_pcie_readl_dbi(pci
, reg
);
342 val
&= ~PCIE_DBI_RO_WR_EN
;
343 dw_pcie_writel_dbi(pci
, reg
, val
);
346 #ifdef CONFIG_PCIE_DW_HOST
347 irqreturn_t
dw_handle_msi_irq(struct pcie_port
*pp
);
348 void dw_pcie_msi_init(struct pcie_port
*pp
);
349 void dw_pcie_free_msi(struct pcie_port
*pp
);
350 void dw_pcie_setup_rc(struct pcie_port
*pp
);
351 int dw_pcie_host_init(struct pcie_port
*pp
);
352 void dw_pcie_host_deinit(struct pcie_port
*pp
);
353 int dw_pcie_allocate_domains(struct pcie_port
*pp
);
355 static inline irqreturn_t
dw_handle_msi_irq(struct pcie_port
*pp
)
360 static inline void dw_pcie_msi_init(struct pcie_port
*pp
)
364 static inline void dw_pcie_free_msi(struct pcie_port
*pp
)
368 static inline void dw_pcie_setup_rc(struct pcie_port
*pp
)
372 static inline int dw_pcie_host_init(struct pcie_port
*pp
)
377 static inline void dw_pcie_host_deinit(struct pcie_port
*pp
)
381 static inline int dw_pcie_allocate_domains(struct pcie_port
*pp
)
387 #ifdef CONFIG_PCIE_DW_EP
388 void dw_pcie_ep_linkup(struct dw_pcie_ep
*ep
);
389 int dw_pcie_ep_init(struct dw_pcie_ep
*ep
);
390 void dw_pcie_ep_exit(struct dw_pcie_ep
*ep
);
391 int dw_pcie_ep_raise_legacy_irq(struct dw_pcie_ep
*ep
, u8 func_no
);
392 int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep
*ep
, u8 func_no
,
394 int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep
*ep
, u8 func_no
,
396 void dw_pcie_ep_reset_bar(struct dw_pcie
*pci
, enum pci_barno bar
);
398 static inline void dw_pcie_ep_linkup(struct dw_pcie_ep
*ep
)
402 static inline int dw_pcie_ep_init(struct dw_pcie_ep
*ep
)
407 static inline void dw_pcie_ep_exit(struct dw_pcie_ep
*ep
)
411 static inline int dw_pcie_ep_raise_legacy_irq(struct dw_pcie_ep
*ep
, u8 func_no
)
416 static inline int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep
*ep
, u8 func_no
,
422 static inline int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep
*ep
, u8 func_no
,
428 static inline void dw_pcie_ep_reset_bar(struct dw_pcie
*pci
, enum pci_barno bar
)
432 #endif /* _PCIE_DESIGNWARE_H */