短期記憶がオーバーフローする

　英語のリスニングが苦手な問題について。
　単語は全部聞き取れているのに理解ができない場合が結構ある。

1. 耳に入る
2. その単語がどの単語か認識する
3. その単語の意味が理解できる

　という流れだと思うのです。この１→２は可能なんだけど、２→３が遅い。0.5から１秒くらいかかる。単語の意味がわかるのにも時間がかかるし単語と単語を繋げて文全体の意味が何となく理解できるようになるのにも時間がかかっている。２→３の処理が遅いせいで、２の段階で止まっている単語（何の単語はわかるけどその意味を理解するところまでができていない単語）がどんどん溜まって行く。そして文章の意味がわからないまま単語が溜まっていき、溜まっている単語全部を覚えきれなくなってしまい、聞き取りから脱落してしまう。こういうパターンだ（参照→ Wikipedia - 記憶 - 短期記憶(STM)）。
　どうしたらいいんだろう。
　日本語の場合は２→３が一瞬で起こっているんだよな。耳から入った単語はすぐに意味になり、そして一瞬でイメージへと変換される。イメージの状態に変換してしまえば保存が利く。イメージをいくつも抱えたまま文章全体を俯瞰して文脈のことまで考えたりもできるようになる。日本語すごいなー。便利だなー。
　慣れればなんとかなるんでしょうか。自分の特殊性というのが気になる。俺って外国語習得に不向きな脳の使い方や言語運用をしてる気がするんだよね。