1 // SPDX-License-Identifier: GPL-2.0
3 * PCIe host controller driver for Kirin Phone SoCs
5 * Copyright (C) 2017 Hilisicon Electronics Co., Ltd.
6 * http://www.huawei.com
8 * Author: Xiaowei Song <songxiaowei@huawei.com>
11 #include <linux/compiler.h>
12 #include <linux/clk.h>
13 #include <linux/delay.h>
14 #include <linux/err.h>
15 #include <linux/gpio.h>
16 #include <linux/interrupt.h>
17 #include <linux/mfd/syscon.h>
18 #include <linux/of_address.h>
19 #include <linux/of_gpio.h>
20 #include <linux/of_pci.h>
21 #include <linux/pci.h>
22 #include <linux/pci_regs.h>
23 #include <linux/platform_device.h>
24 #include <linux/regmap.h>
25 #include <linux/resource.h>
26 #include <linux/types.h>
27 #include "pcie-designware.h"
29 #define to_kirin_pcie(x) dev_get_drvdata((x)->dev)
31 #define REF_CLK_FREQ 100000000
33 /* PCIe ELBI registers */
34 #define SOC_PCIECTRL_CTRL0_ADDR 0x000
35 #define SOC_PCIECTRL_CTRL1_ADDR 0x004
36 #define SOC_PCIEPHY_CTRL2_ADDR 0x008
37 #define SOC_PCIEPHY_CTRL3_ADDR 0x00c
38 #define PCIE_ELBI_SLV_DBI_ENABLE (0x1 << 21)
40 /* info located in APB */
41 #define PCIE_APP_LTSSM_ENABLE 0x01c
42 #define PCIE_APB_PHY_CTRL0 0x0
43 #define PCIE_APB_PHY_CTRL1 0x4
44 #define PCIE_APB_PHY_STATUS0 0x400
45 #define PCIE_LINKUP_ENABLE (0x8020)
46 #define PCIE_LTSSM_ENABLE_BIT (0x1 << 11)
47 #define PIPE_CLK_STABLE (0x1 << 19)
48 #define PHY_REF_PAD_BIT (0x1 << 8)
49 #define PHY_PWR_DOWN_BIT (0x1 << 22)
50 #define PHY_RST_ACK_BIT (0x1 << 16)
52 /* info located in sysctrl */
53 #define SCTRL_PCIE_CMOS_OFFSET 0x60
54 #define SCTRL_PCIE_CMOS_BIT 0x10
55 #define SCTRL_PCIE_ISO_OFFSET 0x44
56 #define SCTRL_PCIE_ISO_BIT 0x30
57 #define SCTRL_PCIE_HPCLK_OFFSET 0x190
58 #define SCTRL_PCIE_HPCLK_BIT 0x184000
59 #define SCTRL_PCIE_OE_OFFSET 0x14a
60 #define PCIE_DEBOUNCE_PARAM 0xF0F400
61 #define PCIE_OE_BYPASS (0x3 << 28)
64 #define CRGCTRL_PCIE_ASSERT_OFFSET 0x88
65 #define CRGCTRL_PCIE_ASSERT_BIT 0x8c000000
68 #define REF_2_PERST_MIN 20000
69 #define REF_2_PERST_MAX 25000
70 #define PERST_2_ACCESS_MIN 10000
71 #define PERST_2_ACCESS_MAX 12000
72 #define LINK_WAIT_MIN 900
73 #define LINK_WAIT_MAX 1000
74 #define PIPE_CLK_WAIT_MIN 550
75 #define PIPE_CLK_WAIT_MAX 600
76 #define TIME_CMOS_MIN 100
77 #define TIME_CMOS_MAX 105
78 #define TIME_PHY_PD_MIN 10
79 #define TIME_PHY_PD_MAX 11
83 void __iomem
*apb_base
;
84 void __iomem
*phy_base
;
85 struct regmap
*crgctrl
;
86 struct regmap
*sysctrl
;
87 struct clk
*apb_sys_clk
;
88 struct clk
*apb_phy_clk
;
89 struct clk
*phy_ref_clk
;
90 struct clk
*pcie_aclk
;
91 struct clk
*pcie_aux_clk
;
95 /* Registers in PCIeCTRL */
96 static inline void kirin_apb_ctrl_writel(struct kirin_pcie
*kirin_pcie
,
99 writel(val
, kirin_pcie
->apb_base
+ reg
);
102 static inline u32
kirin_apb_ctrl_readl(struct kirin_pcie
*kirin_pcie
, u32 reg
)
104 return readl(kirin_pcie
->apb_base
+ reg
);
107 /* Registers in PCIePHY */
108 static inline void kirin_apb_phy_writel(struct kirin_pcie
*kirin_pcie
,
111 writel(val
, kirin_pcie
->phy_base
+ reg
);
114 static inline u32
kirin_apb_phy_readl(struct kirin_pcie
*kirin_pcie
, u32 reg
)
116 return readl(kirin_pcie
->phy_base
+ reg
);
119 static long kirin_pcie_get_clk(struct kirin_pcie
*kirin_pcie
,
120 struct platform_device
*pdev
)
122 struct device
*dev
= &pdev
->dev
;
124 kirin_pcie
->phy_ref_clk
= devm_clk_get(dev
, "pcie_phy_ref");
125 if (IS_ERR(kirin_pcie
->phy_ref_clk
))
126 return PTR_ERR(kirin_pcie
->phy_ref_clk
);
128 kirin_pcie
->pcie_aux_clk
= devm_clk_get(dev
, "pcie_aux");
129 if (IS_ERR(kirin_pcie
->pcie_aux_clk
))
130 return PTR_ERR(kirin_pcie
->pcie_aux_clk
);
132 kirin_pcie
->apb_phy_clk
= devm_clk_get(dev
, "pcie_apb_phy");
133 if (IS_ERR(kirin_pcie
->apb_phy_clk
))
134 return PTR_ERR(kirin_pcie
->apb_phy_clk
);
136 kirin_pcie
->apb_sys_clk
= devm_clk_get(dev
, "pcie_apb_sys");
137 if (IS_ERR(kirin_pcie
->apb_sys_clk
))
138 return PTR_ERR(kirin_pcie
->apb_sys_clk
);
140 kirin_pcie
->pcie_aclk
= devm_clk_get(dev
, "pcie_aclk");
141 if (IS_ERR(kirin_pcie
->pcie_aclk
))
142 return PTR_ERR(kirin_pcie
->pcie_aclk
);
147 static long kirin_pcie_get_resource(struct kirin_pcie
*kirin_pcie
,
148 struct platform_device
*pdev
)
150 struct device
*dev
= &pdev
->dev
;
151 struct resource
*apb
;
152 struct resource
*phy
;
153 struct resource
*dbi
;
155 apb
= platform_get_resource_byname(pdev
, IORESOURCE_MEM
, "apb");
156 kirin_pcie
->apb_base
= devm_ioremap_resource(dev
, apb
);
157 if (IS_ERR(kirin_pcie
->apb_base
))
158 return PTR_ERR(kirin_pcie
->apb_base
);
160 phy
= platform_get_resource_byname(pdev
, IORESOURCE_MEM
, "phy");
161 kirin_pcie
->phy_base
= devm_ioremap_resource(dev
, phy
);
162 if (IS_ERR(kirin_pcie
->phy_base
))
163 return PTR_ERR(kirin_pcie
->phy_base
);
165 dbi
= platform_get_resource_byname(pdev
, IORESOURCE_MEM
, "dbi");
166 kirin_pcie
->pci
->dbi_base
= devm_ioremap_resource(dev
, dbi
);
167 if (IS_ERR(kirin_pcie
->pci
->dbi_base
))
168 return PTR_ERR(kirin_pcie
->pci
->dbi_base
);
170 kirin_pcie
->crgctrl
=
171 syscon_regmap_lookup_by_compatible("hisilicon,hi3660-crgctrl");
172 if (IS_ERR(kirin_pcie
->crgctrl
))
173 return PTR_ERR(kirin_pcie
->crgctrl
);
175 kirin_pcie
->sysctrl
=
176 syscon_regmap_lookup_by_compatible("hisilicon,hi3660-sctrl");
177 if (IS_ERR(kirin_pcie
->sysctrl
))
178 return PTR_ERR(kirin_pcie
->sysctrl
);
183 static int kirin_pcie_phy_init(struct kirin_pcie
*kirin_pcie
)
185 struct device
*dev
= kirin_pcie
->pci
->dev
;
188 reg_val
= kirin_apb_phy_readl(kirin_pcie
, PCIE_APB_PHY_CTRL1
);
189 reg_val
&= ~PHY_REF_PAD_BIT
;
190 kirin_apb_phy_writel(kirin_pcie
, reg_val
, PCIE_APB_PHY_CTRL1
);
192 reg_val
= kirin_apb_phy_readl(kirin_pcie
, PCIE_APB_PHY_CTRL0
);
193 reg_val
&= ~PHY_PWR_DOWN_BIT
;
194 kirin_apb_phy_writel(kirin_pcie
, reg_val
, PCIE_APB_PHY_CTRL0
);
195 usleep_range(TIME_PHY_PD_MIN
, TIME_PHY_PD_MAX
);
197 reg_val
= kirin_apb_phy_readl(kirin_pcie
, PCIE_APB_PHY_CTRL1
);
198 reg_val
&= ~PHY_RST_ACK_BIT
;
199 kirin_apb_phy_writel(kirin_pcie
, reg_val
, PCIE_APB_PHY_CTRL1
);
201 usleep_range(PIPE_CLK_WAIT_MIN
, PIPE_CLK_WAIT_MAX
);
202 reg_val
= kirin_apb_phy_readl(kirin_pcie
, PCIE_APB_PHY_STATUS0
);
203 if (reg_val
& PIPE_CLK_STABLE
) {
204 dev_err(dev
, "PIPE clk is not stable\n");
211 static void kirin_pcie_oe_enable(struct kirin_pcie
*kirin_pcie
)
215 regmap_read(kirin_pcie
->sysctrl
, SCTRL_PCIE_OE_OFFSET
, &val
);
216 val
|= PCIE_DEBOUNCE_PARAM
;
217 val
&= ~PCIE_OE_BYPASS
;
218 regmap_write(kirin_pcie
->sysctrl
, SCTRL_PCIE_OE_OFFSET
, val
);
221 static int kirin_pcie_clk_ctrl(struct kirin_pcie
*kirin_pcie
, bool enable
)
228 ret
= clk_set_rate(kirin_pcie
->phy_ref_clk
, REF_CLK_FREQ
);
232 ret
= clk_prepare_enable(kirin_pcie
->phy_ref_clk
);
236 ret
= clk_prepare_enable(kirin_pcie
->apb_sys_clk
);
240 ret
= clk_prepare_enable(kirin_pcie
->apb_phy_clk
);
244 ret
= clk_prepare_enable(kirin_pcie
->pcie_aclk
);
248 ret
= clk_prepare_enable(kirin_pcie
->pcie_aux_clk
);
255 clk_disable_unprepare(kirin_pcie
->pcie_aux_clk
);
257 clk_disable_unprepare(kirin_pcie
->pcie_aclk
);
259 clk_disable_unprepare(kirin_pcie
->apb_phy_clk
);
261 clk_disable_unprepare(kirin_pcie
->apb_sys_clk
);
263 clk_disable_unprepare(kirin_pcie
->phy_ref_clk
);
268 static int kirin_pcie_power_on(struct kirin_pcie
*kirin_pcie
)
272 /* Power supply for Host */
273 regmap_write(kirin_pcie
->sysctrl
,
274 SCTRL_PCIE_CMOS_OFFSET
, SCTRL_PCIE_CMOS_BIT
);
275 usleep_range(TIME_CMOS_MIN
, TIME_CMOS_MAX
);
276 kirin_pcie_oe_enable(kirin_pcie
);
278 ret
= kirin_pcie_clk_ctrl(kirin_pcie
, true);
282 /* ISO disable, PCIeCtrl, PHY assert and clk gate clear */
283 regmap_write(kirin_pcie
->sysctrl
,
284 SCTRL_PCIE_ISO_OFFSET
, SCTRL_PCIE_ISO_BIT
);
285 regmap_write(kirin_pcie
->crgctrl
,
286 CRGCTRL_PCIE_ASSERT_OFFSET
, CRGCTRL_PCIE_ASSERT_BIT
);
287 regmap_write(kirin_pcie
->sysctrl
,
288 SCTRL_PCIE_HPCLK_OFFSET
, SCTRL_PCIE_HPCLK_BIT
);
290 ret
= kirin_pcie_phy_init(kirin_pcie
);
294 /* perst assert Endpoint */
295 if (!gpio_request(kirin_pcie
->gpio_id_reset
, "pcie_perst")) {
296 usleep_range(REF_2_PERST_MIN
, REF_2_PERST_MAX
);
297 ret
= gpio_direction_output(kirin_pcie
->gpio_id_reset
, 1);
300 usleep_range(PERST_2_ACCESS_MIN
, PERST_2_ACCESS_MAX
);
306 kirin_pcie_clk_ctrl(kirin_pcie
, false);
310 static void kirin_pcie_sideband_dbi_w_mode(struct kirin_pcie
*kirin_pcie
,
315 val
= kirin_apb_ctrl_readl(kirin_pcie
, SOC_PCIECTRL_CTRL0_ADDR
);
317 val
= val
| PCIE_ELBI_SLV_DBI_ENABLE
;
319 val
= val
& ~PCIE_ELBI_SLV_DBI_ENABLE
;
321 kirin_apb_ctrl_writel(kirin_pcie
, val
, SOC_PCIECTRL_CTRL0_ADDR
);
324 static void kirin_pcie_sideband_dbi_r_mode(struct kirin_pcie
*kirin_pcie
,
329 val
= kirin_apb_ctrl_readl(kirin_pcie
, SOC_PCIECTRL_CTRL1_ADDR
);
331 val
= val
| PCIE_ELBI_SLV_DBI_ENABLE
;
333 val
= val
& ~PCIE_ELBI_SLV_DBI_ENABLE
;
335 kirin_apb_ctrl_writel(kirin_pcie
, val
, SOC_PCIECTRL_CTRL1_ADDR
);
338 static int kirin_pcie_rd_own_conf(struct pcie_port
*pp
,
339 int where
, int size
, u32
*val
)
341 struct dw_pcie
*pci
= to_dw_pcie_from_pp(pp
);
342 struct kirin_pcie
*kirin_pcie
= to_kirin_pcie(pci
);
345 kirin_pcie_sideband_dbi_r_mode(kirin_pcie
, true);
346 ret
= dw_pcie_read(pci
->dbi_base
+ where
, size
, val
);
347 kirin_pcie_sideband_dbi_r_mode(kirin_pcie
, false);
352 static int kirin_pcie_wr_own_conf(struct pcie_port
*pp
,
353 int where
, int size
, u32 val
)
355 struct dw_pcie
*pci
= to_dw_pcie_from_pp(pp
);
356 struct kirin_pcie
*kirin_pcie
= to_kirin_pcie(pci
);
359 kirin_pcie_sideband_dbi_w_mode(kirin_pcie
, true);
360 ret
= dw_pcie_write(pci
->dbi_base
+ where
, size
, val
);
361 kirin_pcie_sideband_dbi_w_mode(kirin_pcie
, false);
366 static u32
kirin_pcie_read_dbi(struct dw_pcie
*pci
, void __iomem
*base
,
367 u32 reg
, size_t size
)
369 struct kirin_pcie
*kirin_pcie
= to_kirin_pcie(pci
);
372 kirin_pcie_sideband_dbi_r_mode(kirin_pcie
, true);
373 dw_pcie_read(base
+ reg
, size
, &ret
);
374 kirin_pcie_sideband_dbi_r_mode(kirin_pcie
, false);
379 static void kirin_pcie_write_dbi(struct dw_pcie
*pci
, void __iomem
*base
,
380 u32 reg
, size_t size
, u32 val
)
382 struct kirin_pcie
*kirin_pcie
= to_kirin_pcie(pci
);
384 kirin_pcie_sideband_dbi_w_mode(kirin_pcie
, true);
385 dw_pcie_write(base
+ reg
, size
, val
);
386 kirin_pcie_sideband_dbi_w_mode(kirin_pcie
, false);
389 static int kirin_pcie_link_up(struct dw_pcie
*pci
)
391 struct kirin_pcie
*kirin_pcie
= to_kirin_pcie(pci
);
392 u32 val
= kirin_apb_ctrl_readl(kirin_pcie
, PCIE_APB_PHY_STATUS0
);
394 if ((val
& PCIE_LINKUP_ENABLE
) == PCIE_LINKUP_ENABLE
)
400 static int kirin_pcie_establish_link(struct pcie_port
*pp
)
402 struct dw_pcie
*pci
= to_dw_pcie_from_pp(pp
);
403 struct kirin_pcie
*kirin_pcie
= to_kirin_pcie(pci
);
404 struct device
*dev
= kirin_pcie
->pci
->dev
;
407 if (kirin_pcie_link_up(pci
))
410 dw_pcie_setup_rc(pp
);
412 /* assert LTSSM enable */
413 kirin_apb_ctrl_writel(kirin_pcie
, PCIE_LTSSM_ENABLE_BIT
,
414 PCIE_APP_LTSSM_ENABLE
);
416 /* check if the link is up or not */
417 while (!kirin_pcie_link_up(pci
)) {
418 usleep_range(LINK_WAIT_MIN
, LINK_WAIT_MAX
);
421 dev_err(dev
, "Link Fail\n");
429 static int kirin_pcie_host_init(struct pcie_port
*pp
)
431 kirin_pcie_establish_link(pp
);
433 if (IS_ENABLED(CONFIG_PCI_MSI
))
434 dw_pcie_msi_init(pp
);
439 static struct dw_pcie_ops kirin_dw_pcie_ops
= {
440 .read_dbi
= kirin_pcie_read_dbi
,
441 .write_dbi
= kirin_pcie_write_dbi
,
442 .link_up
= kirin_pcie_link_up
,
445 static const struct dw_pcie_host_ops kirin_pcie_host_ops
= {
446 .rd_own_conf
= kirin_pcie_rd_own_conf
,
447 .wr_own_conf
= kirin_pcie_wr_own_conf
,
448 .host_init
= kirin_pcie_host_init
,
451 static int kirin_pcie_add_msi(struct dw_pcie
*pci
,
452 struct platform_device
*pdev
)
456 if (IS_ENABLED(CONFIG_PCI_MSI
)) {
457 irq
= platform_get_irq(pdev
, 0);
460 "failed to get MSI IRQ (%d)\n", irq
);
464 pci
->pp
.msi_irq
= irq
;
470 static int __init
kirin_add_pcie_port(struct dw_pcie
*pci
,
471 struct platform_device
*pdev
)
475 ret
= kirin_pcie_add_msi(pci
, pdev
);
479 pci
->pp
.ops
= &kirin_pcie_host_ops
;
481 return dw_pcie_host_init(&pci
->pp
);
484 static int kirin_pcie_probe(struct platform_device
*pdev
)
486 struct device
*dev
= &pdev
->dev
;
487 struct kirin_pcie
*kirin_pcie
;
492 dev_err(dev
, "NULL node\n");
496 kirin_pcie
= devm_kzalloc(dev
, sizeof(struct kirin_pcie
), GFP_KERNEL
);
500 pci
= devm_kzalloc(dev
, sizeof(*pci
), GFP_KERNEL
);
505 pci
->ops
= &kirin_dw_pcie_ops
;
506 kirin_pcie
->pci
= pci
;
508 ret
= kirin_pcie_get_clk(kirin_pcie
, pdev
);
512 ret
= kirin_pcie_get_resource(kirin_pcie
, pdev
);
516 kirin_pcie
->gpio_id_reset
= of_get_named_gpio(dev
->of_node
,
518 if (kirin_pcie
->gpio_id_reset
< 0)
521 ret
= kirin_pcie_power_on(kirin_pcie
);
525 platform_set_drvdata(pdev
, kirin_pcie
);
527 return kirin_add_pcie_port(pci
, pdev
);
530 static const struct of_device_id kirin_pcie_match
[] = {
531 { .compatible
= "hisilicon,kirin960-pcie" },
535 static struct platform_driver kirin_pcie_driver
= {
536 .probe
= kirin_pcie_probe
,
538 .name
= "kirin-pcie",
539 .of_match_table
= kirin_pcie_match
,
540 .suppress_bind_attrs
= true,
543 builtin_platform_driver(kirin_pcie_driver
);