Поэтому сразу возникла догадка, уж не были ли тобольские Ремезовы потомками тех поляков, которые в пору Смутного времени во множестве попали на Русь. В первой половине XVII века в Западной Сибири осели сотни, если не тысячи поляков. Притом в трудах Ремезова нередко встречаются различные полонизмы, а некоторые слова даже просто написаны по-польски. Быть может, Ремезовы действительно ведут свой род от поляков? Правда, до сих пор этого никто не смог доказать документально. Но как бы то ни было, одно бесспорно: судьбы деда и отца Семена Ремезова были уже прочно связаны с Сибирью.

Первым в Тобольск прибыл дед Семена — Мосей (Моисей) Лукьянов Ремезов Меньшой. За какую-то провинность он был выслан из Москвы. Мосей прибыл в «стольный град» Сибири 2 декабря 1628 года. Здесь он смог быстро сделать неплохую карьеру — сразу получил высший чин сибирского казачества: сына боярского с двойным годовым жалованьем «20 рублей, 20 четей ржи, 20 четей овса и 3 пуда соли». В те времена двойное жалованье давалось лишь по специальному решению Москвы, так что, видимо, невелика была провинность Мосея Лукьяновича. Ему стали поручать дела весьма ответственные. Так, в 1640–1641 годах он был послан к джунгарскому правителю (контайше) с дипломатическим поручением, доставил ему от тобольского воеводы богатые подарки — серебряную посуду, сукна, шелковую материю и др. За это контайша должен был положить конец грабежам на юге Сибири.

В 1647 году во время поездки в Москву Мосей Ремезов умер. Вместо него на государеву службу был «поверстан» (принят) его сын Ульян (Юлиан), о котором современники отзывались с большой похвалой: был-де он «сниска-телен… и хитр о делах». Достоверно известно, что он умел делать географические чертежи и успешно справлялся со всеми поручениями, которые ему давали тобольские воеводы.