В июле 1643 года Роберт де ла Грив приходит в себя после кораблекрушения на борту пустого голландского корабля «Дафна». Рядом виден остров, но Роберт не умеет плавать, шлюпки нет, а солнечный свет причиняет боль глазам. Корабль полон припасов, растений и птиц, словно его только что покинули. Вскоре Роберт замечает следы чьего-то присутствия: корм для птиц разложен, листья увлажнены, а в запертой каюте сами собой будто оживают часы. Он то объясняет это собственным воображением, то подозревает, что на судне скрывается незнакомец.
Чтобы понять себя и происходящее, Роберт возвращается памятью к осаде Казале в 1630 году. Он попал туда вместе с отцом, Поццо, который повел небольшой отряд на помощь защитникам города. Роберт пережил внезапный штурм форта, а затем гибель отца, погибшего в безрассудной вылазке. Война рушит его детские представления о доблести: решения государей и военачальников меняются, союзы оказываются ненадежными, а городские жители думают о собственном выживании. Роберт остается без отца и постепенно теряет веру в то, что за событиями стоит ясный порядок.
В Казале он знакомится с двумя людьми, чьи взгляды по-разному меняют его. Иезуит отец Иммануил учит его видеть, как слова и метафоры связывают разрозненные свойства вещей. Его «машина» перебирает понятия и помогает находить неожиданные сравнения. Сен-Савен, напротив, насмешливо разбирает привычные убеждения и объясняет Роберту, что образ двойника может выражать страх перед собственными желаниями и проступками. Именно так Роберт понимает своего вымышленного брата Ферранта, которого с детства обвинял в том, чего стыдился сам.
После Казале Роберт уезжает в Париж и входит в круг ученых и литераторов. Он влюбляется в Лилею, но не решается заговорить с ней прямо. Вместо этого сочиняет письма и стихи, а его друг Сен-Савен помогает ему превращать чувство в изящную словесную игру. Роберт также увлекается учением англичанина Д’Игби о «симпатическом порошке»: тот объясняет лечение раны воздействием вещества на окровавленную ткань, связанной с раной. Роберт переносит эту теорию на любовь и доказывает в салоне, что сходные натуры могут притягиваться, как подобные частицы.
Вскоре Мазарини приказывает арестовать Роберта. Его обвиняют в связях с заговорщиками, хотя он не понимает, кто и когда мог выступать от его имени. Кардинал предлагает ему шанс избежать казни: выполнить опасное поручение и отправиться в плавание. Так Роберт оказывается на «Амариллиде», где должен следить за поисками точки, необходимой для определения долготы. После бури он теряет корабль и приходит в себя на «Дафне», снова оказавшись между недостижимым островом и тайной, которая может быть реальной или созданной его сознанием.
На пустом судне Роберт пытается разобраться, что именно видит и кому принадлежит корабль. Остров меняет очертания в разном свете, а его прежний опыт заставляет связывать берег с недосягаемой возлюбленной. Роман соединяет приключение с размышлением о памяти, желании и границах знания: человеку доступны прежде всего впечатления, а их смысл складывается из точки зрения, слов и личных страхов.