fmda/params.yaml

   1 # File used to store hyperparameters.
   2
   3 # Stateless RNN, batch_size declared at fit step
   4 rnn:
   5   batch_size: 32
   6   timesteps: 5
   7   optimizer: adam
   8   rnn_layers: 1 # Number of hidden recurrent layers
   9   rnn_units: 20 # Number of units per hidden recurrent layer
  10   dense_layers: 1 # hidden dense layers AFTER recurrent layers and BEFORE final output cell
  11   dense_units: 5 # number of units for hidden dense layers
  12   activation: ['linear', 'linear'] # Activation type for hidden layers, dense layers respectively
  13   centering: [0.0,0.0]
  14   dropout: [0.2, 0.2]  # NOTE: length must match total number of layers, default is 1 hidden recurrent layer and 1 dense output layer
  15   recurrent_dropout: 0.2 # Length must match number of recurrent layers
  16   reset_states: True # reset hidden states after training epoch, triggers reset_states() via callbacks
  17   batch_reset: 10 # reset states after given number of batches
  18   epochs: 200
  19   learning_rate: 0.001
  20   clipvalue: 10.0 # gradient clipping param, gradient can't exceed this value
  21   phys_initialize: False # physics initialization
  22   stateful: True
  23   verbose_weights: True # Prints out hashs of weights for tracking reproducibility
  24   verbose_fit: False # Prints out all training epochs, makes computation much slower
  25   # features_list: ['Ed', 'Ew', 'solar', 'wind', 'rain']
  26   features_list: ['Ed', 'Ew', 'rain']
  27   scale: True
  28   scaler: 'minmax' # One of methods in scalers dictionary in moisture_rnn.py
  29   train_frac: 0.5 # percent of input data to be used in training set
  30   val_frac: 0.1 # percent of input data to be used in validation set. Test set size determined from train_frac and val_frac
  31
  32
  33 lstm:
  34   batch_size: 32
  35   timesteps: 5
  36   optimizer: adam
  37   rnn_layers: 1
  38   rnn_units: 6
  39   dense_layers: 1
  40   dense_units: 1
  41   activation: ['linear', 'linear']
  42   recurrent_activation: 'sigmoid'
  43   centering: [0.0,0.0]
  44   dropout: [0.2, 0.2]  # NOTE: length must match total number of layers, default is 1 hidden recurrent layer and 1 dense output layer
  45   recurrent_dropout: 0.2 # Length must match number of recurrent layers
  46   reset_states: True # reset hidden states after training epoch, triggers reset_states() via callbacks
  47   batch_reset: 150 # reset states after given number of batches
  48   epochs: 100
  49   learning_rate: 0.0001
  50   clipvalue: 1.0 # gradient clipping param, gradient can't exceed this value
  51   phys_initialize: False # physics initialization
  52   stateful: True
  53   verbose_weights: True # Prints out hashs of weights for tracking reproducibility
  54   verbose_fit: False # Prints out all training epochs, makes computation much slower
  55   features_list: ['Ed', 'Ew', 'rain']
  56   scale: True
  57   scaler: 'minmax' # One of methods in scalers dictionary in moisture_rnn.py
  58   train_frac: 0.5
  59   val_frac: 0.1
  60
  61
  62 # Param sets for reproducibility
  63
  64 ## v2.1 params
  65 rnn_repro:
  66   batch_size: 32
  67   timesteps: 5
  68   optimizer: adam
  69   rnn_layers: 1
  70   rnn_units: 20
  71   dense_layers: 1
  72   dense_units: 5
  73   activation: ['linear', 'linear']
  74   centering: [0.0, 0.0]
  75   dropout: [0.2, 0.2]
  76   recurrent_dropout: 0.2
  77   reset_states: True
  78   batch_reset: null
  79   epochs: 300
  80   learning_rate: 0.001
  81   clipvalue: 10.0
  82   phys_initialize: False
  83   stateful: True
  84   verbose_weights: True
  85   verbose_fit: False
  86   features_list: ['Ed', 'Ew', 'solar', 'wind', 'rain']
  87   scale: True
  88   scaler: 'minmax'
  89   train_frac: 0.5
  90   val_frac: 0.2
  91
  92 ## v2.0 params
  93 # rnn_repro:
  94 #   batch_size: 32
  95 #   timesteps: 5
  96 #   optimizer: adam
  97 #   epochs: 200
  98 #   rnn_layers: 1
  99 #   rnn_units: 20
 100 #   dense_layers: 0 # hidden dense layers AFTER recurrent layers and BEFORE final output cell
 101 #   dense_units: 1
 102 #   activation: ['linear', 'linear']
 103 #   centering: [0.0,0.0]
 104 #   dropout: [0.0, 0.0]  # NOTE: length must match total number of layers, default is 1 hidden recurrent layer and 1 dense output layer
 105 #   recurrent_dropout: 0.0 # Length must match number of recurrent layers
 106 #   reset_states: True # reset hidden states after training epoch, triggers reset_states() via callbacks
 107 #   epochs: 200
 108 #   learning_rate: 0.001
 109 #   phys_initialize: False # physics initialization
 110 #   stateful: True
 111 #   verbose_weights: True # Prints out hashs of weights for tracking reproducibility
 112 #   verbose_fit: False # Prints out all training epochs, makes computation much slower
 113 #   features_list: ['Ed', 'Ew', 'rain']
 114 #   scale: True
 115 #   scaler: 'reproducibility'
 116 #   train_frac: 0.5
 117 #   val_frac: 0.0
 118
 119
 120
 121