Повесть «Я вспоминаю» написана как письмо сыну Марку. В декабре тысяча девятьсот сорокового года, когда война заставила семью Сименонов покинуть дом, писатель начинает рассказывать мальчику о его родных и о собственном детстве. Он не выстраивает воспоминания в строгую хронологию: отдельные сцены складываются в портрет семьи и города, где за подробностями быта проступают страх, нужда и неравенство.
Отец Жоржа, Дезире, служит в страховой конторе и держится привычного распорядка. Он тих, покладист и умеет ценить простые радости: работу, еду, вечер с газетой. Мать, Анриетта, тревожится о деньгах и будущем детей. Их разница в характерах становится источником домашних ссор: ей хочется перемен и большей защищённости, ему — сохранить спокойную жизнь. Позднее выясняется, что Дезире скрывал болезнь сердца и отказ от страхования жизни, хотя жена годами упрекала его в беззаботности.
Воспоминания о родственниках показывают два мира. Сименоны — трудолюбивая валлонская семья, сплочённая общими привычками и недоверием к переменам. Родня Анриетты, Брюли, фламандцы, разбросанные по разным местам и занятые торговлей; в их прошлом есть разорение, пьянство и семейные тайны. Жорж замечает, как бедность и стыд заставляют людей скрывать правду даже от близких. Особенно тяжёлые истории связаны с тётей Фелиси и дядей Леопольдом, чьи несчастья родные предпочитают не обсуждать.
Город тоже становится частью его раннего опыта. Льеж — это рабочие кварталы, шахтёры и металлурги, демонстрации, которые разгоняет конная полиция, и разговоры взрослых о войне. Мать боится рабочих и видит в них угрозу; отец, посещая бедные улицы как инспектор благотворительного общества, сталкивается с их жизнью ближе. Маленький Жорж ещё не понимает причин забастовок, но запоминает разрыв между теми, кто живёт в достатке, и теми, кто трудится у печей и в шахтах. Позднее интерес к обычным людям и их судьбам станет важной частью его прозы.
Среди жильцов семьи появляются студенты из России и Польши. Они приносят в дом иные взгляды и знакомят мальчика с медициной, правом и русской литературой. Их стремление учиться, несмотря на бедность, заставляет Анриетту пересмотреть привычные представления о жильцах и образовании. Сам Жорж начинает замечать, что люди, живущие под одной крышей, могут не понимать друг друга: у каждого своя нужда, надежда и причина держаться особняком.
Рядом с семейными историями растёт и будущий писатель. В пятнадцать лет Жорж оставляет коллеж и поступает хроникёром в отдел происшествий. Он наблюдает за тем, как судьба обычного человека приводит к столкновению с законом, а затем уезжает в Париж, где добивается возможности жить литературным трудом. В юности у него возникает замысел комиссара Мегрэ — не холодного вычислителя, а человека, который старается понять прошлое подозреваемого и прожить его путь изнутри.
Предисловие связывает этот взгляд с романами сборника. В «Портe туманов» Мегрэ ищет настоящего убийцу после того, как мэр обвиняет бывшего каторжника, опираясь на его прошлое. «Пассажир „Полярной лилии“» назван историей взросления девятнадцатилетнего голландца Вринса: на судне юноше предстоит выбирать между личным счастьем и ответственностью перед другими. В предисловии подчёркнуто, что решающий выбор даётся ему нелегко, а поддержка капитана Петерсена помогает выдержать испытание. Общая для сборника тема — хрупкость человеческого достоинства и то, как одиночество или участие окружающих могут повлиять на судьбу человека.