Родился в селении Никраце Бринкенской волости Газенпотского уезда Курляндской губернии. Отец – батрак. Латыш.

Окончил 2-классное Бринкенское волостное министерское училище (4 года).

С 8 лет – подпасок у состоятельных хуторян.
В 1901-1904 - батрак в имениях местных баронов.
В 1904-1905 – рабочий элеватора в Либавской гавани.
С мая 1904 – член Либавского кружка латышской социал-демократии.
С 1905 – рабочий маслобойного завода.
В марте 1907 арестован. Сидит 1,5 года в либавской тюрьме, обвинен в "покушении на жизнь директора завода во время забастовки". Подвергается пыткам – вырывают ногти из пальцев на руках, но ни в чем не признается и Рижским военным судом оправдан за "недоказанностью вины" и освобожден в 1908 г.
С 1908 – рабочий на лесопилке, лесоруб в Курземских лесах.
С 1909 – эмигрировал в Германию, где не смог найти работу и далее – в Англию. Член бюро Лондонской группы латышских социал-демократов, член коммунистического клуба Лондона, член Шордигеского отделения Британской социалистической партии. С 1915 – член бюро Европейского эмигрантского комитета Латышской социал-демократической партии (псевдоним - Карл Моор).
3 января 1911 в Лондоне произошла т.н. "осада Хаунсдич" - особняк, в котором засели латышские террористы-анархисты штурмовало более 750 полицейских во главе с самим главой МВД Уинстоном Черчиллем. Анархисты отчаянно отстреливались. После штурма было обнаружно только два трупа, остальные бежали. Один из убитых - Фриц Думниек - двоюродный брат и друг Я.Петерса.
Арестовыван по подозрению в терактах и грабежах анархистов. Полностью оправдан на суде.
С весны 1917 – в России.
С июля 1917 – член ЦК Социал-демократической партии Латвии. Ведет антивоенную агитацию в латышских частях Северного фронта. Соредактор органа ЦК СДЛ "Циня". Делегат Демократического совещания от крестьян Лифляндской губернии.
Делегат 2-го Всероссийского съезда советов (октябрь 1917).
С 29 октября 1917 – член Военно-революционного комитета Петросовета.
В конце 1917 – представитель ЦК СДЛ в ЦК РСДРП(б).
С декабря 1917 – казначей – член коллегии ВЧК.
Заместитель председателя ВЧК (1918-19).
Председатель Революционного военного трибунала.
В мае-июне 1918 руководил разгромом "Союз защиты родины и свободы". Возглавил подавление левоэсеровского мятежа в Москве. Один из главных организаторов системы чекистских провокаций, в т.ч. "заговора послов". Вел допросы, а затем выступал обвинителем на процессах английского дипломата Б. Локкарта и разведчика С. Рейли.
С 8 июля по 22 авг. 1918 временно исполнял обязанности пред. ВЧК вместо отстраненного Ф.Э. Дзержинского.
Настаивал на полной неподконтрольности ВЧК, которая производит "обыски, аресты, расстрелы, давая после отчет СНК и ВЦИК".
С июня 1919 – "чрезвычайный комиссар по очистке Петрограда и прифронтовой полосы от белогвардейцев и шпионов". Одновременно – начальник штаба внутренней обороны Петрограда. Руководит подавлением мятежей фортов Красная горка, Серая лошадь и Обручево. Фактически стал диктатором Петрограда, развернув в нем кампанию массового террора. Лично проводил аресты и инициировал расстрелы внутри города, были составлены списки (по телефонным книгам) подлежащих аресту бывших сановников, военных, капиталистов, дворян и т.д. Отдал приказ арестовать жен и взрослых членов семей офицеров, которые перешли на сторону белых.
С осени 1919 – особый уполномоченный ВЧК РСФСР на Украине. Одновременно – военный комендант Киевского укрепленного района. Ранен в бою под Киевом.
Член военного совета Тульского укрепленного района. (конфликтует с секретарем Тульского губкома М.Зеликманом).
В начале 1920 – тяжело болен тифом.
В 1920 - член коллегии ВЧК – командир отдельного кавалерийского полка ВЧК, посланного на подавление Верненского восстания. Руководил подавлением мятежа.
С 8 июля по ? 1920 - пред. Верховного революционного трибунала при ВЦИК.
В 1920-22 – полпред ВЧК в Туркестане, член Туркестанского бюро ЦК РКП(б).
По возвращении из Туркестана пишет письмо В.Ленину с просьбой о встрече, но тот отказывается.
В 1922-28 - нач. Восточного отдела ГПУ. С 1923 - член коллегии ОГПУ.
С 1928 - в аппарате ЦКК ВКП(б).
В 1930-34 – пред. Московской Контрольной комиссии.
В 1937 – член бюро Комиссии партийного контроля при ЦК ВКП(б).

Жена – Мэй Фримен, дочь банкира, купившего титул английского лорда (1911-1917 г.). Дочь – Мэй (1913 г.р.), с 1928 г. проживает в Москве, работает техническим сотрудником в посольстве Англии. Вторая жена (с 1920 г.) – Антонина Захаровна, учительница, 19.06.1938 постановлением ОСО при НКВД СССР осуждена на 8 лет ИТЛ, как "член семьи изменника родины". умерла в 1986 г. Сын – Игорь, архитектор.

Орден Красного Знамени (1927 или 1928).

В 1923-34 - член ЦКК ВКП(б). Член ВЦИК и ЦИК СССР.

Арестован 26 ноября 1937 г. на основании показаний Т.Рыскулова о том, что Петерс был связан с "заговором правых". На следствии признал (протокол допроса от 7.12.1937) "что состоит членом центра латышской антисоветской организации в СССР и с 1911 года - агент-провокатор царской охранки", 7.12.1937 признал, что "является агентом английской разведки".
28 марта 1938 г. Сталин, Молотов, Каганович, Жданов, Ворошилов утвердили представленный НКВД СССР "список лиц, подлежащих суду ВК ВС СССР и рекомендуемых к наказанию по 1-й категории", т.е. ВМН по "Москва-центр" (Я.Петерс в нем №106).
Военной коллегией ВС СССР осужден к ВМН и расстрелян как "враг народа" 25.4.1938. На суде виновным себя признал и подтвердил показания данные на следствии.