src/cudaSolvers/cudaSolver/cudaSolver.C

   1 /*---------------------------------------------------------------------------*\
   2   =========                 |
   3   \\      /  F ield         | foam-extend: Open Source CFD
   4    \\    /   O peration     | Version:     3.2
   5     \\  /    A nd           | Web:         http://www.foam-extend.org
   6      \\/     M anipulation  | For copyright notice see file Copyright
   7 -------------------------------------------------------------------------------
   8 License
   9     This file is part of foam-extend.
  10
  11     foam-extend is free software: you can redistribute it and/or modify it
  12     under the terms of the GNU General Public License as published by the
  13     Free Software Foundation, either version 3 of the License, or (at your
  14     option) any later version.
  15
  16     foam-extend is distributed in the hope that it will be useful, but
  17     WITHOUT ANY WARRANTY; without even the implied warranty of
  18     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  19     General Public License for more details.
  20
  21     You should have received a copy of the GNU General Public License
  22     along with foam-extend.  If not, see <http://www.gnu.org/licenses/>.
  23
  24 \*---------------------------------------------------------------------------*/
  25
  26 #include "cudaSolver.H"
  27
  28
  29 // * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * //
  30
  31 namespace Foam
  32 {
  33     defineTypeNameAndDebug(cudaSolver, 0);
  34 }
  35
  36
  37 // * * * * * * * * * * * * * * * * Constructors  * * * * * * * * * * * * * * //
  38
  39 Foam::cudaSolver::cudaSolver
  40 (
  41     const word& fieldName,
  42     const lduMatrix& matrix,
  43     const FieldField<Field, scalar>& coupleBouCoeffs,
  44     const FieldField<Field, scalar>& coupleIntCoeffs,
  45     const lduInterfaceFieldPtrsList& interfaces,
  46     const dictionary& dict
  47 )
  48 :
  49     lduSolver
  50     (
  51     fieldName,
  52     matrix,
  53     coupleBouCoeffs,
  54     coupleIntCoeffs,
  55     interfaces,
  56     dict
  57     )
  58 {}
  59
  60
  61 // * * * * * * * * * * * * * * * Member Functions  * * * * * * * * * * * * * //
  62
  63 cuspEquationSystem Foam::cudaSolver::createSymCuspMatrix
  64 (
  65     const lduMatrix& matrix,
  66     const scalarField& x,
  67     const scalarField& b
  68 ) const
  69 {
  70     cuspEquationSystem ces;
  71     ces.nCells = x.size();
  72     ces.nFaces = matrix.lower().size();
  73
  74     ces.A = cusp::coo_matrix<IndexType, ValueType, hostMemorySpace>
  75     (
  76         ces.nCells,
  77         ces.nCells,
  78         ces.nCells+2*ces.nFaces
  79     );
  80     ces.X = cusp::array1d< ValueType, hostMemorySpace>(ces.nCells);
  81     ces.B = cusp::array1d< ValueType, hostMemorySpace>(ces.nCells);
  82
  83     // Copy values of lduMatrix diag to A COO matrix
  84     thrust::copy
  85     (
  86         matrix.diag().begin(),
  87         matrix.diag().end(),
  88         ces.A.values.begin()
  89     );
  90
  91     // Copy values of lduMatrix lower to A COO matrix
  92     thrust::copy
  93     (
  94         matrix.lower().begin(),
  95         matrix.lower().end(),
  96         ces.A.values.begin()+ces.nCells
  97     );
  98
  99     // Since matrix is symmetric, do not copy upper values to save time
 100     // -> performed on GPU
 101     // Copy row indices of lower into A COO matrix
 102     thrust::copy
 103     (
 104         matrix.lduAddr().upperAddr().begin(),
 105         matrix.lduAddr().upperAddr().end(),
 106         ces.A.row_indices.begin()+ces.nCells
 107     );
 108     // Copy column indices of lower into A COO matrix
 109     thrust::copy
 110     (
 111         matrix.lduAddr().lowerAddr().begin(),
 112         matrix.lduAddr().lowerAddr().end(),
 113         ces.A.column_indices.begin()+ces.nCells
 114     );
 115
 116     // Do not initialize the row and column values of diag to save time
 117     // -> performed on GPU
 118     // Copy x of lower into x vector
 119     thrust::copy(x.begin(), x.end(), ces.X.begin());
 120     // Copy b of lower into b vector
 121     thrust::copy(b.begin(), b.end(), ces.B.begin());
 122
 123     return ces;
 124 }
 125
 126 cuspEquationSystem Foam::cudaSolver::createAsymCuspMatrix
 127 (
 128     const lduMatrix& matrix,
 129     const scalarField& x,
 130     const scalarField& b
 131 ) const
 132 {
 133     cuspEquationSystem ces;
 134     ces.nCells = x.size();
 135     ces.nFaces = matrix.lower().size();
 136
 137     ces.A = cusp::coo_matrix<IndexType, ValueType, hostMemorySpace>
 138     (
 139         ces.nCells,
 140         ces.nCells,
 141         ces.nCells + 2*ces.nFaces
 142     );
 143     ces.X = cusp::array1d< ValueType, hostMemorySpace>(ces.nCells);
 144     ces.B = cusp::array1d< ValueType, hostMemorySpace>(ces.nCells);
 145
 146     // Copy values from the lduMatrix to our equation system
 147     // Copy values of lduMatrix diag to A COO matrix
 148     thrust::copy
 149     (
 150         matrix.diag().begin(),
 151         matrix.diag().end(),
 152         ces.A.values.begin()
 153     );
 154
 155     // Copy values of lduMatrix lower to A COO matrix
 156     thrust::copy
 157     (
 158         matrix.lower().begin(),
 159         matrix.lower().end(),
 160         ces.A.values.begin() + ces.nCells
 161     );
 162
 163     // Copy values of lduMatrix upper to A COO matrix
 164     thrust::copy
 165     (
 166         matrix.upper().begin(),
 167         matrix.upper().end(),
 168         ces.A.values.begin() + ces.nCells + ces.nFaces
 169     );
 170
 171     // Copy row and column indices of lower and upper to our equations system
 172     // do not initialize the row and column values of diag to save time
 173     // -> performed on GPU
 174
 175     // Copy row indices of lower into A COO matrix
 176     thrust::copy
 177     (
 178         matrix.lduAddr().upperAddr().begin(),
 179         matrix.lduAddr().upperAddr().end(),
 180         ces.A.row_indices.begin() + ces.nCells
 181     );
 182
 183     // Copy column indices of lower into A COO matrix
 184     thrust::copy
 185     (
 186         matrix.lduAddr().lowerAddr().begin(),
 187         matrix.lduAddr().lowerAddr().end(),
 188         ces.A.column_indices.begin() + ces.nCells
 189     );
 190
 191     // Copy row indices of upper into A COO matrix
 192     thrust::copy
 193     (
 194         matrix.lduAddr().lowerAddr().begin(),
 195         matrix.lduAddr().lowerAddr().end(),
 196         ces.A.row_indices.begin() + ces.nCells + ces.nFaces
 197     );
 198
 199     // Copy column indices of upper into A COO matrix
 200     thrust::copy
 201     (
 202         matrix.lduAddr().upperAddr().begin(),
 203         matrix.lduAddr().upperAddr().end(),
 204         ces.A.column_indices.begin() + ces.nCells + ces.nFaces
 205     );
 206
 207     // Copy x of lower into x vector
 208     thrust::copy(x.begin(), x.end(), ces.X.begin());
 209     // Copy b of lower into b vector
 210     thrust::copy(b.begin(), b.end(), ces.B.begin());
 211     return ces;
 212 }
 213
 214 cudaSolverPerformance Foam::cudaSolver::cudaSolverPerformanceDefault() const
 215 {
 216     cudaSolverPerformance csp;
 217
 218     csp.minIter = 0;
 219     csp.maxIter = 1000;
 220     csp.relTol = 0;
 221     csp.tol = 1e-6;
 222
 223     csp.nIterations = 0;
 224     csp.iRes = -1;
 225     csp.fRes = -1;
 226     csp.converged = false;
 227     csp.singular = false;
 228
 229     csp.debugCusp = false;
 230
 231     return csp;
 232 }
 233
 234
 235 // * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * //
 236
 237
 238 // ************************************************************************* //