В первой половине 1940-х Карговино было одним из мест спецпоселения депортированных поляков. Умерших ссыльных хоронили на деревенском кладбище. В 1996 на кладбище был установлен металлический памятный крест. Надпись на табличке: «С 1940 по 1944 г. в пос. Карговино жили и работали 600 депортированных поляков. Многие из них умерли и похоронены здесь. Пусть земля им будет пухом. Сześć ich pamięci. Крест основан Болеславом и Вандой Данько. 1996 г.». Имеются сведения, что в Карговино также имелось и польское кладбище, которое в наши дни не сохранилось.