晩年を迎えた作家マルセルはいまや病の床につき、自らの人生を回想する。裕福なブルジョワの一人息子として生まれ、フランス上流社会を賑わせた人々との交流。第一次大戦中、ヴェルデュラン夫人のサロンで、元高級娼婦のオデットを見かけたこと。オデットの娘ジルベルトは、少年時代の彼の初恋の女性だった。彼女は後に、貴族のサン・ルーと結婚した。ひとつの記憶の音が、香りが、残像が次の記憶を呼び覚まし、またその次の記憶へと、自由自在につながってゆく……。