Родился в 1909 году в селе Стебачное Тейковского района Ивановской области в семье крестьянина, русский,

член Компартии с 1931 года,

образование среднее.

Свою трудовую деятельность Шитов А.Я. начал в 1928 году хлеборобом в хозяйстве отца, с 1928 по 1937 года - учеником слесаря фабрики "Серп и Молот", секретарем кустового коллектива ВЛКСМ, председателем сельсовета в Ивановской области, был краснофлотцем в Кронштадте, секретарем комитета ВЛКСМ, инструктором политотдела бригады эсминцев, студентом Коммунистического университета в Ленинграде.

В 1937-1944 годах работал заместителем директора Кировобадской, Гиссарской МТС, вторым секретарем Гиссарского райкома, инструктором, заведующим сектором отдела пропаганды и агитации, первым секретарем Сталинабадского райкома, заведующим отделом пропаганды и агитации Сталинабадского горкома КП (б) Таджикистана.