fmda/params.yaml

   1 # File used to store hyperparameters.
   2
   3 # Stateless RNN, batch_size declared at fit step
   4 rnn:
   5   batch_size: 32
   6   timesteps: 5
   7   optimizer: adam
   8   rnn_layers: 1 # Number of hidden recurrent layers
   9   rnn_units: 20 # Number of units per hidden recurrent layer
  10   dense_layers: 1 # hidden dense layers AFTER recurrent layers and BEFORE final output cell
  11   dense_units: 5 # number of units for hidden dense layers
  12   activation: ['linear', 'linear'] # Activation type for hidden layers, dense layers respectively
  13   centering: [0.0,0.0]
  14   dropout: [0.2, 0.2]  # NOTE: length must match total number of layers, default is 1 hidden recurrent layer and 1 dense output layer
  15   recurrent_dropout: 0.2 # Length must match number of recurrent layers
  16   reset_states: True # reset hidden states after training epoch, triggers reset_states() via callbacks
  17   # batch_reset: 10 # reset states after given number of batches
  18   batch_schedule_type: 'constant' # Schedule to Reset Hidden State
  19   bmin: 20 # Minimum number of batches for batch reset schedule
  20   epochs: 20
  21   learning_rate: 0.001
  22   clipvalue: 10.0 # gradient clipping param, gradient can't exceed this value
  23   phys_initialize: False # physics initialization
  24   stateful: True
  25   verbose_weights: True # Prints out hashs of weights for tracking reproducibility
  26   verbose_fit: False # Prints out all training epochs, makes computation much slower
  27   # features_list: ['Ed', 'Ew', 'solar', 'wind', 'rain']
  28   features_list: ['Ed', 'Ew', 'rain']
  29   scale: True
  30   scaler: 'standard' # One of methods in scalers dictionary in moisture_rnn.py
  31   train_frac: 0.5 # percent of input data to be used in training set
  32   val_frac: 0.1 # percent of input data to be used in validation set. Test set size determined from train_frac and val_frac
  33   early_stopping_patience: 5 # Number of epochs with no improvement after which training will be stopped.
  34
  35
  36 lstm:
  37   batch_size: 32
  38   timesteps: 5
  39   optimizer: adam
  40   rnn_layers: 1
  41   rnn_units: 6
  42   dense_layers: 1
  43   dense_units: 1
  44   activation: ['linear', 'linear']
  45   recurrent_activation: 'sigmoid'
  46   centering: [0.0,0.0]
  47   dropout: [0.2, 0.2]  # NOTE: length must match total number of layers, default is 1 hidden recurrent layer and 1 dense output layer
  48   recurrent_dropout: 0.2 # Length must match number of recurrent layers
  49   reset_states: True # reset hidden states after training epoch, triggers reset_states() via callbacks
  50   # batch_reset: 150 # reset states after given number of batches
  51   epochs: 100
  52   learning_rate: 0.0001
  53   clipvalue: 1.0 # gradient clipping param, gradient can't exceed this value
  54   phys_initialize: False # physics initialization
  55   stateful: True
  56   verbose_weights: True # Prints out hashs of weights for tracking reproducibility
  57   verbose_fit: False # Prints out all training epochs, makes computation much slower
  58   features_list: ['Ed', 'Ew', 'rain']
  59   scale: True
  60   scaler: 'minmax' # One of methods in scalers dictionary in moisture_rnn.py
  61   train_frac: 0.5
  62   val_frac: 0.1
  63   early_stopping_patience: 5 # Number of epochs with no improvement after which training will be stopped.
  64
  65
  66 # Param sets for reproducibility
  67
  68 ## v2.1 params
  69 rnn_repro:
  70   batch_size: 32
  71   timesteps: 5
  72   optimizer: adam
  73   rnn_layers: 1
  74   rnn_units: 20
  75   dense_layers: 1
  76   dense_units: 5
  77   activation: ['linear', 'linear']
  78   centering: [0.0, 0.0]
  79   dropout: [0.2, 0.2]
  80   recurrent_dropout: 0.2
  81   reset_states: True
  82   # batch_reset: null
  83   epochs: 300
  84   learning_rate: 0.001
  85   clipvalue: 10.0
  86   phys_initialize: False
  87   stateful: True
  88   verbose_weights: True
  89   verbose_fit: False
  90   features_list: ['Ed', 'Ew', 'solar', 'wind', 'rain']
  91   scale: True
  92   scaler: 'minmax'
  93   train_frac: 0.5
  94   val_frac: 0.2
  95   early_stopping_patience: 9999 # early stopping not used in repro case, so setting to a huge value to ignore
  96
  97 ## v2.0 params
  98 # rnn_repro:
  99 #   batch_size: 32
 100 #   timesteps: 5
 101 #   optimizer: adam
 102 #   epochs: 200
 103 #   rnn_layers: 1
 104 #   rnn_units: 20
 105 #   dense_layers: 0 # hidden dense layers AFTER recurrent layers and BEFORE final output cell
 106 #   dense_units: 1
 107 #   activation: ['linear', 'linear']
 108 #   centering: [0.0,0.0]
 109 #   dropout: [0.0, 0.0]  # NOTE: length must match total number of layers, default is 1 hidden recurrent layer and 1 dense output layer
 110 #   recurrent_dropout: 0.0 # Length must match number of recurrent layers
 111 #   reset_states: True # reset hidden states after training epoch, triggers reset_states() via callbacks
 112 #   epochs: 200
 113 #   learning_rate: 0.001
 114 #   phys_initialize: False # physics initialization
 115 #   stateful: True
 116 #   verbose_weights: True # Prints out hashs of weights for tracking reproducibility
 117 #   verbose_fit: False # Prints out all training epochs, makes computation much slower
 118 #   features_list: ['Ed', 'Ew', 'rain']
 119 #   scale: True
 120 #   scaler: 'reproducibility'
 121 #   train_frac: 0.5
 122 #   val_frac: 0.0
 123
 124
 125
 126