speech_synthesis.md

   1 # Speech Synthesis
   2
   3 TODO
   4
   5 ## Example
   6
   7 This is a simple [C](c.md) program (using [float](float.md) for simplicity of demonstration) that creates basic vowel sounds using formant synthesis (run e.g. as `gcc -lm program.c && ./a.out | aplay`, 8000 Hz 8 bit audio is supposed):
   8
   9 ```
  10 #include <stdio.h>
  11 #include <math.h>
  12
  13 double vowelParams[] = { // vocal tract shapes, can be found in literature
  14   // formant1  formant2  width1  width2  amplitude1 amplitude2
  15      850,      1650,     500,    500,    1,         0.2, // a
  16      390,      2300,     500,    450,    1,         0.9, // e
  17      240,      2500,     300,    500,    1,         0.5, // i
  18      250,      600,      500,    400,    1,         0.9, // o
  19      300,      400,      400,    400,    1,         1.0  // u
  20   };
  21
  22 double tone(double t, double f) // tone of given frequency
  23 {
  24   return sin(f * t * 2 * M_PI);
  25 }
  26
  27 /* simple linear ("triangle") function for modelling spectral shape
  28    of one formant with given frequency location, width and amplitude */
  29 double formant(double freq, double f, double w, double a)
  30 {
  31   double r = ((freq - f + w / 2) * 2 * a) / w;
  32
  33   if (freq > f)
  34     r = -1 * (r - a) + a;
  35
  36   return r > 1 ? 1 : (r < 0 ? 0 : r);
  37 }
  38
  39 /* gives one sample of speech, takes two formants as input, fundamental
  40    frequency and possible offset of both formants (can model "bigger/smaller
  41    head") */
  42 double speech(double t, double fundamental, double offset,
  43   double f1, double f2,
  44   double w1, double w2,
  45   double a1, double a2)
  46 {
  47   int harmonic = 1; // number of harmonic frequency
  48
  49   double r = 0;
  50
  51   /* now generate harmonics (multiples of fundamental frequency) as the source,
  52      and multiply them by the envelope given by formants (no need to deal with
  53      multiplication of spectra; as we're constructing the result from basic
  54      frequencies, we can simply multiply each one directly): */
  55   while (1)
  56   {
  57     double f = harmonic * fundamental;
  58     double formant1 = formant(f,f1 + offset,w1,a1);
  59     double formant2 = formant(f,f2 + offset,w2,a2);
  60
  61     // envelope = max(formant1,formant2)
  62     r += (formant1 > formant2 ? formant1 : formant2) * 0.1 * tone(t,f);
  63
  64     if (f > 10000) // stop generating harmonics above 10000 Hz
  65       break;
  66
  67     harmonic++;
  68   }
  69
  70   return r > 1.0 ? 1.0 : (r < 0 ? 0 : r); // clamp between 0 and 1
  71 }
  72
  73 int main(void)
  74 {
  75   for (int i = 0; i < 50000; ++i)
  76   {
  77     double t = ((double) i) / 8000.0;
  78     double *vowel = vowelParams + ((i / 4000) % 5) * 6; // change vowels
  79
  80     putchar(128 + 127 *
  81       speech(t,150,-100,vowel[0],vowel[1],vowel[2],vowel[3],vowel[4],vowel[5]));
  82   }
  83
  84   return 0;
  85 }
  86 ```