В 1930-е – 1950-е в Каджероме находились спецпоселенцы всех категорий; в 1940-е – заключенные колонн Севжелдорлага, строившие железную дорогу, и военнопленные. Захоронения 1940-х годов (лагерные и спецпоселенцев) не сохранились. В 2007 рядом со старым поселковым кладбищем, на котором в 1950-е хоронили также и спецпоселенцев, установлен памятник с посвящением «Памяти погибших в годы массовых политических репрессий».