【質問】目で読んで理解することと、耳で聞いて理解すること

皆様、こんにちは。samatsといいます。
座談会のテーマ２の「読んで聞けるようになるか」というテーマに
少し関係するかなと思い、質問を投稿させていただきます。
横道それている場合はご容赦ください。

現在、私がジレンマを感じているところは、
読めば理解できるのに、耳で聞いただけでは理解できない、
ということです。
現在130万語の少し手前にきています。
100万語を超えてから多読と平行して多聴＋シャドウイングを
取り入れるようになりました。
具体的にはBBCの児童書の朗読のラジオドラマをまず繰り返し
聞いてから、その原書を読む、というのを実行しているのですが、
なかなか耳で聞いたり、シャドウイングしただけでは物語の
大意がつかめないのです。
ところどころ、単語が聞こえたり、英文が理解できるのですが、
その英文の意味は少しも浮かばないのです。
英文を読んでいるときは特に日本語変換せず、
自分の中でその意味を感じているような感じで、読書している
のですが、英語を聞いているときには英文はふとわかっても
意味を感じることができないのです。

多読を長くやっていらっしゃる皆さんはこのあたりのギャップを
感じられたことはありますでしょうか。
ある場合はどんなことをされてそれを克服されたのでしょうか。
多読とヒアリング（リスニング？）の時間配分など
お聞かせいただけるとうれしいです。

長文、失礼しました。