fmda/params.yaml

   1 # File used to store hyperparameters.
   2
   3 # Stateless RNN, batch_size declared at fit step
   4 rnn:
   5   batch_size: 32
   6   timesteps: 5
   7   optimizer: adam
   8   rnn_layers: 1 # Number of hidden recurrent layers
   9   rnn_units: 20 # Number of units per hidden recurrent layer
  10   dense_layers: 1 # hidden dense layers AFTER recurrent layers and BEFORE final output cell
  11   dense_units: 5 # number of units for hidden dense layers
  12   activation: ['linear', 'linear'] # Activation type for hidden layers, dense layers respectively
  13   centering: [0.0,0.0]
  14   dropout: [0.2, 0.2]  # NOTE: length must match total number of layers, default is 1 hidden recurrent layer and 1 dense output layer
  15   recurrent_dropout: 0.2 # Length must match number of recurrent layers
  16   reset_states: True # reset hidden states after training epoch, triggers reset_states() via callbacks
  17   batch_reset: 10 # reset states after given number of batches
  18   epochs: 200
  19   learning_rate: 0.001
  20   clipvalue: 10.0 # gradient clipping param, gradient can't exceed this value
  21   phys_initialize: False # physics initialization
  22   stateful: True
  23   verbose_weights: True # Prints out hashs of weights for tracking reproducibility
  24   verbose_fit: False # Prints out all training epochs, makes computation much slower
  25   # features_list: ['Ed', 'Ew', 'solar', 'wind', 'rain']
  26   features_list: ['Ed', 'Ew', 'rain']
  27   scale: True
  28   scaler: 'standard' # One of methods in scalers dictionary in moisture_rnn.py
  29   train_frac: 0.5 # percent of input data to be used in training set
  30   val_frac: 0.1 # percent of input data to be used in validation set. Test set size determined from train_frac and val_frac
  31   early_stopping_patience: 5 # Number of epochs with no improvement after which training will be stopped.
  32
  33
  34 lstm:
  35   batch_size: 32
  36   timesteps: 5
  37   optimizer: adam
  38   rnn_layers: 1
  39   rnn_units: 6
  40   dense_layers: 1
  41   dense_units: 1
  42   activation: ['linear', 'linear']
  43   recurrent_activation: 'sigmoid'
  44   centering: [0.0,0.0]
  45   dropout: [0.2, 0.2]  # NOTE: length must match total number of layers, default is 1 hidden recurrent layer and 1 dense output layer
  46   recurrent_dropout: 0.2 # Length must match number of recurrent layers
  47   reset_states: True # reset hidden states after training epoch, triggers reset_states() via callbacks
  48   batch_reset: 150 # reset states after given number of batches
  49   epochs: 100
  50   learning_rate: 0.0001
  51   clipvalue: 1.0 # gradient clipping param, gradient can't exceed this value
  52   phys_initialize: False # physics initialization
  53   stateful: True
  54   verbose_weights: True # Prints out hashs of weights for tracking reproducibility
  55   verbose_fit: False # Prints out all training epochs, makes computation much slower
  56   features_list: ['Ed', 'Ew', 'rain']
  57   scale: True
  58   scaler: 'minmax' # One of methods in scalers dictionary in moisture_rnn.py
  59   train_frac: 0.5
  60   val_frac: 0.1
  61   early_stopping_patience: 5 # Number of epochs with no improvement after which training will be stopped.
  62
  63
  64 # Param sets for reproducibility
  65
  66 ## v2.1 params
  67 rnn_repro:
  68   batch_size: 32
  69   timesteps: 5
  70   optimizer: adam
  71   rnn_layers: 1
  72   rnn_units: 20
  73   dense_layers: 1
  74   dense_units: 5
  75   activation: ['linear', 'linear']
  76   centering: [0.0, 0.0]
  77   dropout: [0.2, 0.2]
  78   recurrent_dropout: 0.2
  79   reset_states: True
  80   batch_reset: null
  81   epochs: 300
  82   learning_rate: 0.001
  83   clipvalue: 10.0
  84   phys_initialize: False
  85   stateful: True
  86   verbose_weights: True
  87   verbose_fit: False
  88   features_list: ['Ed', 'Ew', 'solar', 'wind', 'rain']
  89   scale: True
  90   scaler: 'minmax'
  91   train_frac: 0.5
  92   val_frac: 0.2
  93   early_stopping_patience: 9999 # early stopping not used in repro case, so setting to a huge value to ignore
  94
  95 ## v2.0 params
  96 # rnn_repro:
  97 #   batch_size: 32
  98 #   timesteps: 5
  99 #   optimizer: adam
 100 #   epochs: 200
 101 #   rnn_layers: 1
 102 #   rnn_units: 20
 103 #   dense_layers: 0 # hidden dense layers AFTER recurrent layers and BEFORE final output cell
 104 #   dense_units: 1
 105 #   activation: ['linear', 'linear']
 106 #   centering: [0.0,0.0]
 107 #   dropout: [0.0, 0.0]  # NOTE: length must match total number of layers, default is 1 hidden recurrent layer and 1 dense output layer
 108 #   recurrent_dropout: 0.0 # Length must match number of recurrent layers
 109 #   reset_states: True # reset hidden states after training epoch, triggers reset_states() via callbacks
 110 #   epochs: 200
 111 #   learning_rate: 0.001
 112 #   phys_initialize: False # physics initialization
 113 #   stateful: True
 114 #   verbose_weights: True # Prints out hashs of weights for tracking reproducibility
 115 #   verbose_fit: False # Prints out all training epochs, makes computation much slower
 116 #   features_list: ['Ed', 'Ew', 'rain']
 117 #   scale: True
 118 #   scaler: 'reproducibility'
 119 #   train_frac: 0.5
 120 #   val_frac: 0.0
 121
 122
 123
 124