まず未知音声の音声特徴パラメータを抽出する。
次に、単語認識の場合には、各音素のモデルの最終状態を次のモデルの初期状態として連結して単語単位のHMMモデルを作成する。実際にはこれは辞書ファイルを参照することで自動的に行なえる。したがって、辞書を書き換えるだけで容易に新たな単語が増やせることから、テキスト入力も可能になる。
すべての単語HMMモデルHMMに対して、
この音声特徴パラメータ系列が出力される条件付き確率
を求める。
を最大にするHMMモデルを認識する音声とする。
以上のような音声認識の流れをまとめると、図6の様になる。