?  search:
summary | log | graphiclog1 | graphiclog2 | commit | commitdiff | tree | refs | edit | fork
blame | history | raw | HEAD
xtensa: support DMA buffers in high memory
[cris-mirror.git] / drivers / pci / dwc / pcie-kirin.c
blob13d839bd6160d95bee9fdffcf89fc4c986d38013
1 // SPDX-License-Identifier: GPL-2.0
2 /*
3 * PCIe host controller driver for Kirin Phone SoCs
4 *
5 * Copyright (C) 2017 Hilisicon Electronics Co., Ltd.
6 * http://www.huawei.com
7 *
8 * Author: Xiaowei Song <songxiaowei@huawei.com>
9 */
10
11 #include <asm/compiler.h>
12 #include <linux/compiler.h>
13 #include <linux/clk.h>
14 #include <linux/delay.h>
15 #include <linux/err.h>
16 #include <linux/gpio.h>
17 #include <linux/interrupt.h>
18 #include <linux/mfd/syscon.h>
19 #include <linux/of_address.h>
20 #include <linux/of_gpio.h>
21 #include <linux/of_pci.h>
22 #include <linux/pci.h>
23 #include <linux/pci_regs.h>
24 #include <linux/platform_device.h>
25 #include <linux/regmap.h>
26 #include <linux/resource.h>
27 #include <linux/types.h>
28 #include "pcie-designware.h"
29
30 #define to_kirin_pcie(x) dev_get_drvdata((x)->dev)
31
32 #define REF_CLK_FREQ 100000000
33
34 /* PCIe ELBI registers */
35 #define SOC_PCIECTRL_CTRL0_ADDR 0x000
36 #define SOC_PCIECTRL_CTRL1_ADDR 0x004
37 #define SOC_PCIEPHY_CTRL2_ADDR 0x008
38 #define SOC_PCIEPHY_CTRL3_ADDR 0x00c
39 #define PCIE_ELBI_SLV_DBI_ENABLE (0x1 << 21)
40
41 /* info located in APB */
42 #define PCIE_APP_LTSSM_ENABLE 0x01c
43 #define PCIE_APB_PHY_CTRL0 0x0
44 #define PCIE_APB_PHY_CTRL1 0x4
45 #define PCIE_APB_PHY_STATUS0 0x400
46 #define PCIE_LINKUP_ENABLE (0x8020)
47 #define PCIE_LTSSM_ENABLE_BIT (0x1 << 11)
48 #define PIPE_CLK_STABLE (0x1 << 19)
49 #define PHY_REF_PAD_BIT (0x1 << 8)
50 #define PHY_PWR_DOWN_BIT (0x1 << 22)
51 #define PHY_RST_ACK_BIT (0x1 << 16)
52
53 /* info located in sysctrl */
54 #define SCTRL_PCIE_CMOS_OFFSET 0x60
55 #define SCTRL_PCIE_CMOS_BIT 0x10
56 #define SCTRL_PCIE_ISO_OFFSET 0x44
57 #define SCTRL_PCIE_ISO_BIT 0x30
58 #define SCTRL_PCIE_HPCLK_OFFSET 0x190
59 #define SCTRL_PCIE_HPCLK_BIT 0x184000
60 #define SCTRL_PCIE_OE_OFFSET 0x14a
61 #define PCIE_DEBOUNCE_PARAM 0xF0F400
62 #define PCIE_OE_BYPASS (0x3 << 28)
63
64 /* peri_crg ctrl */
65 #define CRGCTRL_PCIE_ASSERT_OFFSET 0x88
66 #define CRGCTRL_PCIE_ASSERT_BIT 0x8c000000
67
68 /* Time for delay */
69 #define REF_2_PERST_MIN 20000
70 #define REF_2_PERST_MAX 25000
71 #define PERST_2_ACCESS_MIN 10000
72 #define PERST_2_ACCESS_MAX 12000
73 #define LINK_WAIT_MIN 900
74 #define LINK_WAIT_MAX 1000
75 #define PIPE_CLK_WAIT_MIN 550
76 #define PIPE_CLK_WAIT_MAX 600
77 #define TIME_CMOS_MIN 100
78 #define TIME_CMOS_MAX 105
79 #define TIME_PHY_PD_MIN 10
80 #define TIME_PHY_PD_MAX 11
81
82 struct kirin_pcie {
83 struct dw_pcie *pci;
84 void __iomem *apb_base;
85 void __iomem *phy_base;
86 struct regmap *crgctrl;
87 struct regmap *sysctrl;
88 struct clk *apb_sys_clk;
89 struct clk *apb_phy_clk;
90 struct clk *phy_ref_clk;
91 struct clk *pcie_aclk;
92 struct clk *pcie_aux_clk;
93 int gpio_id_reset;
94 };
95
96 /* Registers in PCIeCTRL */
97 static inline void kirin_apb_ctrl_writel(struct kirin_pcie *kirin_pcie,
98 u32 val, u32 reg)
99 {
100 writel(val, kirin_pcie->apb_base + reg);
101 }
102
103 static inline u32 kirin_apb_ctrl_readl(struct kirin_pcie *kirin_pcie, u32 reg)
104 {
105 return readl(kirin_pcie->apb_base + reg);
106 }
107
108 /* Registers in PCIePHY */
109 static inline void kirin_apb_phy_writel(struct kirin_pcie *kirin_pcie,
110 u32 val, u32 reg)
111 {
112 writel(val, kirin_pcie->phy_base + reg);
113 }
114
115 static inline u32 kirin_apb_phy_readl(struct kirin_pcie *kirin_pcie, u32 reg)
116 {
117 return readl(kirin_pcie->phy_base + reg);
118 }
119
120 static long kirin_pcie_get_clk(struct kirin_pcie *kirin_pcie,
121 struct platform_device *pdev)
122 {
123 struct device *dev = &pdev->dev;
124
125 kirin_pcie->phy_ref_clk = devm_clk_get(dev, "pcie_phy_ref");
126 if (IS_ERR(kirin_pcie->phy_ref_clk))
127 return PTR_ERR(kirin_pcie->phy_ref_clk);
128
129 kirin_pcie->pcie_aux_clk = devm_clk_get(dev, "pcie_aux");
130 if (IS_ERR(kirin_pcie->pcie_aux_clk))
131 return PTR_ERR(kirin_pcie->pcie_aux_clk);
132
133 kirin_pcie->apb_phy_clk = devm_clk_get(dev, "pcie_apb_phy");
134 if (IS_ERR(kirin_pcie->apb_phy_clk))
135 return PTR_ERR(kirin_pcie->apb_phy_clk);
136
137 kirin_pcie->apb_sys_clk = devm_clk_get(dev, "pcie_apb_sys");
138 if (IS_ERR(kirin_pcie->apb_sys_clk))
139 return PTR_ERR(kirin_pcie->apb_sys_clk);
140
141 kirin_pcie->pcie_aclk = devm_clk_get(dev, "pcie_aclk");
142 if (IS_ERR(kirin_pcie->pcie_aclk))
143 return PTR_ERR(kirin_pcie->pcie_aclk);
144
145 return 0;
146 }
147
148 static long kirin_pcie_get_resource(struct kirin_pcie *kirin_pcie,
149 struct platform_device *pdev)
150 {
151 struct device *dev = &pdev->dev;
152 struct resource *apb;
153 struct resource *phy;
154 struct resource *dbi;
155
156 apb = platform_get_resource_byname(pdev, IORESOURCE_MEM, "apb");
157 kirin_pcie->apb_base = devm_ioremap_resource(dev, apb);
158 if (IS_ERR(kirin_pcie->apb_base))
159 return PTR_ERR(kirin_pcie->apb_base);
160
161 phy = platform_get_resource_byname(pdev, IORESOURCE_MEM, "phy");
162 kirin_pcie->phy_base = devm_ioremap_resource(dev, phy);
163 if (IS_ERR(kirin_pcie->phy_base))
164 return PTR_ERR(kirin_pcie->phy_base);
165
166 dbi = platform_get_resource_byname(pdev, IORESOURCE_MEM, "dbi");
167 kirin_pcie->pci->dbi_base = devm_ioremap_resource(dev, dbi);
168 if (IS_ERR(kirin_pcie->pci->dbi_base))
169 return PTR_ERR(kirin_pcie->pci->dbi_base);
170
171 kirin_pcie->crgctrl =
172 syscon_regmap_lookup_by_compatible("hisilicon,hi3660-crgctrl");
173 if (IS_ERR(kirin_pcie->crgctrl))
174 return PTR_ERR(kirin_pcie->crgctrl);
175
176 kirin_pcie->sysctrl =
177 syscon_regmap_lookup_by_compatible("hisilicon,hi3660-sctrl");
178 if (IS_ERR(kirin_pcie->sysctrl))
179 return PTR_ERR(kirin_pcie->sysctrl);
180
181 return 0;
182 }
183
184 static int kirin_pcie_phy_init(struct kirin_pcie *kirin_pcie)
185 {
186 struct device *dev = kirin_pcie->pci->dev;
187 u32 reg_val;
188
189 reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_CTRL1);
190 reg_val &= ~PHY_REF_PAD_BIT;
191 kirin_apb_phy_writel(kirin_pcie, reg_val, PCIE_APB_PHY_CTRL1);
192
193 reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_CTRL0);
194 reg_val &= ~PHY_PWR_DOWN_BIT;
195 kirin_apb_phy_writel(kirin_pcie, reg_val, PCIE_APB_PHY_CTRL0);
196 usleep_range(TIME_PHY_PD_MIN, TIME_PHY_PD_MAX);
197
198 reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_CTRL1);
199 reg_val &= ~PHY_RST_ACK_BIT;
200 kirin_apb_phy_writel(kirin_pcie, reg_val, PCIE_APB_PHY_CTRL1);
201
202 usleep_range(PIPE_CLK_WAIT_MIN, PIPE_CLK_WAIT_MAX);
203 reg_val = kirin_apb_phy_readl(kirin_pcie, PCIE_APB_PHY_STATUS0);
204 if (reg_val & PIPE_CLK_STABLE) {
205 dev_err(dev, "PIPE clk is not stable\n");
206 return -EINVAL;
207 }
208
209 return 0;
210 }
211
212 static void kirin_pcie_oe_enable(struct kirin_pcie *kirin_pcie)
213 {
214 u32 val;
215
216 regmap_read(kirin_pcie->sysctrl, SCTRL_PCIE_OE_OFFSET, &val);
217 val |= PCIE_DEBOUNCE_PARAM;
218 val &= ~PCIE_OE_BYPASS;
219 regmap_write(kirin_pcie->sysctrl, SCTRL_PCIE_OE_OFFSET, val);
220 }
221
222 static int kirin_pcie_clk_ctrl(struct kirin_pcie *kirin_pcie, bool enable)
223 {
224 int ret = 0;
225
226 if (!enable)
227 goto close_clk;
228
229 ret = clk_set_rate(kirin_pcie->phy_ref_clk, REF_CLK_FREQ);
230 if (ret)
231 return ret;
232
233 ret = clk_prepare_enable(kirin_pcie->phy_ref_clk);
234 if (ret)
235 return ret;
236
237 ret = clk_prepare_enable(kirin_pcie->apb_sys_clk);
238 if (ret)
239 goto apb_sys_fail;
240
241 ret = clk_prepare_enable(kirin_pcie->apb_phy_clk);
242 if (ret)
243 goto apb_phy_fail;
244
245 ret = clk_prepare_enable(kirin_pcie->pcie_aclk);
246 if (ret)
247 goto aclk_fail;
248
249 ret = clk_prepare_enable(kirin_pcie->pcie_aux_clk);
250 if (ret)
251 goto aux_clk_fail;
252
253 return 0;
254
255 close_clk:
256 clk_disable_unprepare(kirin_pcie->pcie_aux_clk);
257 aux_clk_fail:
258 clk_disable_unprepare(kirin_pcie->pcie_aclk);
259 aclk_fail:
260 clk_disable_unprepare(kirin_pcie->apb_phy_clk);
261 apb_phy_fail:
262 clk_disable_unprepare(kirin_pcie->apb_sys_clk);
263 apb_sys_fail:
264 clk_disable_unprepare(kirin_pcie->phy_ref_clk);
265
266 return ret;
267 }
268
269 static int kirin_pcie_power_on(struct kirin_pcie *kirin_pcie)
270 {
271 int ret;
272
273 /* Power supply for Host */
274 regmap_write(kirin_pcie->sysctrl,
275 SCTRL_PCIE_CMOS_OFFSET, SCTRL_PCIE_CMOS_BIT);
276 usleep_range(TIME_CMOS_MIN, TIME_CMOS_MAX);
277 kirin_pcie_oe_enable(kirin_pcie);
278
279 ret = kirin_pcie_clk_ctrl(kirin_pcie, true);
280 if (ret)
281 return ret;
282
283 /* ISO disable, PCIeCtrl, PHY assert and clk gate clear */
284 regmap_write(kirin_pcie->sysctrl,
285 SCTRL_PCIE_ISO_OFFSET, SCTRL_PCIE_ISO_BIT);
286 regmap_write(kirin_pcie->crgctrl,
287 CRGCTRL_PCIE_ASSERT_OFFSET, CRGCTRL_PCIE_ASSERT_BIT);
288 regmap_write(kirin_pcie->sysctrl,
289 SCTRL_PCIE_HPCLK_OFFSET, SCTRL_PCIE_HPCLK_BIT);
290
291 ret = kirin_pcie_phy_init(kirin_pcie);
292 if (ret)
293 goto close_clk;
294
295 /* perst assert Endpoint */
296 if (!gpio_request(kirin_pcie->gpio_id_reset, "pcie_perst")) {
297 usleep_range(REF_2_PERST_MIN, REF_2_PERST_MAX);
298 ret = gpio_direction_output(kirin_pcie->gpio_id_reset, 1);
299 if (ret)
300 goto close_clk;
301 usleep_range(PERST_2_ACCESS_MIN, PERST_2_ACCESS_MAX);
302
303 return 0;
304 }
305
306 close_clk:
307 kirin_pcie_clk_ctrl(kirin_pcie, false);
308 return ret;
309 }
310
311 static void kirin_pcie_sideband_dbi_w_mode(struct kirin_pcie *kirin_pcie,
312 bool on)
313 {
314 u32 val;
315
316 val = kirin_apb_ctrl_readl(kirin_pcie, SOC_PCIECTRL_CTRL0_ADDR);
317 if (on)
318 val = val | PCIE_ELBI_SLV_DBI_ENABLE;
319 else
320 val = val & ~PCIE_ELBI_SLV_DBI_ENABLE;
321
322 kirin_apb_ctrl_writel(kirin_pcie, val, SOC_PCIECTRL_CTRL0_ADDR);
323 }
324
325 static void kirin_pcie_sideband_dbi_r_mode(struct kirin_pcie *kirin_pcie,
326 bool on)
327 {
328 u32 val;
329
330 val = kirin_apb_ctrl_readl(kirin_pcie, SOC_PCIECTRL_CTRL1_ADDR);
331 if (on)
332 val = val | PCIE_ELBI_SLV_DBI_ENABLE;
333 else
334 val = val & ~PCIE_ELBI_SLV_DBI_ENABLE;
335
336 kirin_apb_ctrl_writel(kirin_pcie, val, SOC_PCIECTRL_CTRL1_ADDR);
337 }
338
339 static int kirin_pcie_rd_own_conf(struct pcie_port *pp,
340 int where, int size, u32 *val)
341 {
342 struct dw_pcie *pci = to_dw_pcie_from_pp(pp);
343 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
344 int ret;
345
346 kirin_pcie_sideband_dbi_r_mode(kirin_pcie, true);
347 ret = dw_pcie_read(pci->dbi_base + where, size, val);
348 kirin_pcie_sideband_dbi_r_mode(kirin_pcie, false);
349
350 return ret;
351 }
352
353 static int kirin_pcie_wr_own_conf(struct pcie_port *pp,
354 int where, int size, u32 val)
355 {
356 struct dw_pcie *pci = to_dw_pcie_from_pp(pp);
357 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
358 int ret;
359
360 kirin_pcie_sideband_dbi_w_mode(kirin_pcie, true);
361 ret = dw_pcie_write(pci->dbi_base + where, size, val);
362 kirin_pcie_sideband_dbi_w_mode(kirin_pcie, false);
363
364 return ret;
365 }
366
367 static u32 kirin_pcie_read_dbi(struct dw_pcie *pci, void __iomem *base,
368 u32 reg, size_t size)
369 {
370 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
371 u32 ret;
372
373 kirin_pcie_sideband_dbi_r_mode(kirin_pcie, true);
374 dw_pcie_read(base + reg, size, &ret);
375 kirin_pcie_sideband_dbi_r_mode(kirin_pcie, false);
376
377 return ret;
378 }
379
380 static void kirin_pcie_write_dbi(struct dw_pcie *pci, void __iomem *base,
381 u32 reg, size_t size, u32 val)
382 {
383 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
384
385 kirin_pcie_sideband_dbi_w_mode(kirin_pcie, true);
386 dw_pcie_write(base + reg, size, val);
387 kirin_pcie_sideband_dbi_w_mode(kirin_pcie, false);
388 }
389
390 static int kirin_pcie_link_up(struct dw_pcie *pci)
391 {
392 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
393 u32 val = kirin_apb_ctrl_readl(kirin_pcie, PCIE_APB_PHY_STATUS0);
394
395 if ((val & PCIE_LINKUP_ENABLE) == PCIE_LINKUP_ENABLE)
396 return 1;
397
398 return 0;
399 }
400
401 static int kirin_pcie_establish_link(struct pcie_port *pp)
402 {
403 struct dw_pcie *pci = to_dw_pcie_from_pp(pp);
404 struct kirin_pcie *kirin_pcie = to_kirin_pcie(pci);
405 struct device *dev = kirin_pcie->pci->dev;
406 int count = 0;
407
408 if (kirin_pcie_link_up(pci))
409 return 0;
410
411 dw_pcie_setup_rc(pp);
412
413 /* assert LTSSM enable */
414 kirin_apb_ctrl_writel(kirin_pcie, PCIE_LTSSM_ENABLE_BIT,
415 PCIE_APP_LTSSM_ENABLE);
416
417 /* check if the link is up or not */
418 while (!kirin_pcie_link_up(pci)) {
419 usleep_range(LINK_WAIT_MIN, LINK_WAIT_MAX);
420 count++;
421 if (count == 1000) {
422 dev_err(dev, "Link Fail\n");
423 return -EINVAL;
424 }
425 }
426
427 return 0;
428 }
429
430 static int kirin_pcie_host_init(struct pcie_port *pp)
431 {
432 kirin_pcie_establish_link(pp);
433
434 return 0;
435 }
436
437 static struct dw_pcie_ops kirin_dw_pcie_ops = {
438 .read_dbi = kirin_pcie_read_dbi,
439 .write_dbi = kirin_pcie_write_dbi,
440 .link_up = kirin_pcie_link_up,
441 };
442
443 static const struct dw_pcie_host_ops kirin_pcie_host_ops = {
444 .rd_own_conf = kirin_pcie_rd_own_conf,
445 .wr_own_conf = kirin_pcie_wr_own_conf,
446 .host_init = kirin_pcie_host_init,
447 };
448
449 static int __init kirin_add_pcie_port(struct dw_pcie *pci,
450 struct platform_device *pdev)
451 {
452 pci->pp.ops = &kirin_pcie_host_ops;
453
454 return dw_pcie_host_init(&pci->pp);
455 }
456
457 static int kirin_pcie_probe(struct platform_device *pdev)
458 {
459 struct device *dev = &pdev->dev;
460 struct kirin_pcie *kirin_pcie;
461 struct dw_pcie *pci;
462 int ret;
463
464 if (!dev->of_node) {
465 dev_err(dev, "NULL node\n");
466 return -EINVAL;
467 }
468
469 kirin_pcie = devm_kzalloc(dev, sizeof(struct kirin_pcie), GFP_KERNEL);
470 if (!kirin_pcie)
471 return -ENOMEM;
472
473 pci = devm_kzalloc(dev, sizeof(*pci), GFP_KERNEL);
474 if (!pci)
475 return -ENOMEM;
476
477 pci->dev = dev;
478 pci->ops = &kirin_dw_pcie_ops;
479 kirin_pcie->pci = pci;
480
481 ret = kirin_pcie_get_clk(kirin_pcie, pdev);
482 if (ret)
483 return ret;
484
485 ret = kirin_pcie_get_resource(kirin_pcie, pdev);
486 if (ret)
487 return ret;
488
489 kirin_pcie->gpio_id_reset = of_get_named_gpio(dev->of_node,
490 "reset-gpio", 0);
491 if (kirin_pcie->gpio_id_reset < 0)
492 return -ENODEV;
493
494 ret = kirin_pcie_power_on(kirin_pcie);
495 if (ret)
496 return ret;
497
498 platform_set_drvdata(pdev, kirin_pcie);
499
500 return kirin_add_pcie_port(pci, pdev);
501 }
502
503 static const struct of_device_id kirin_pcie_match[] = {
504 { .compatible = "hisilicon,kirin960-pcie" },
505 {},
506 };
507
508 struct platform_driver kirin_pcie_driver = {
509 .probe = kirin_pcie_probe,
510 .driver = {
511 .name = "kirin-pcie",
512 .of_match_table = kirin_pcie_match,
513 .suppress_bind_attrs = true,
514 },
515 };
516 builtin_platform_driver(kirin_pcie_driver);
CRIS linux kernel tree