Родился 26 января [7 февраля] 1899 года в 2 часа дня на хуторе Мазие Иецавской волости Бауского уезда Курляндской губернии в крестьянской семье "дворохозяина" Йохана Пельше и его жены Лизе. Крещен был в сельской церкви 14 марта того же года[3].

В 1915 году вступил в Социал-демократическую партию Латышского края (СДЛК), позже перешел в партию большевиков.

В годы Первой мировой войны рабочий в Витебске, Харькове, Петрограде, Архангельске; по заданиям местных комитетов РСДРП вел революционную агитацию и пропаганду. Участник Февральской революции 1917 г., член Петроградского совета. Делегат VI съезда РСДРП(б) от Архангельской партийной организации. Активно участвовал в подготовке и проведении Октябрьской революции.
В 1918 г. - сотрудник ВЧК в Москве. Был среди раненых при взрыве в Леонтьевском переулке.
В 1919 г. - ответственный работник Наркомата государственных сооружений Советской Латвии; принимал участие в боях под Ригой против армии Временного правительства Латвийской Республики.
В 1919-1929 гг. - на партийно-политической и преподавательской работе в Красной Армии и Военно-Морском флоте.
В 1931 г. окончил московский Институт красной профессуры, в 1931-1933 гг. - аспирант Института красной профессуры; одновременно с учебой в институте был преподавателем истории партии в Центральной школе НКВД (1929-32).

В 1933-1937 гг. - начальник политотделов Магаджановского, затем Черноиртышского совхозов в Казахской АССР,
зам. директора по политчасти Алма-Атинского обл. молмясотреста
решением бюро Казкрайкома ВКП(б) от 23.11.1936 - "Предоставить т. Пельше 1,5-месячный отпуск по болезни с правим выезда в Москву на лечение;
решением бюро Казкрайкома ВКП(б) от 4-7.02.1937 опросом - "откомандировать т. П. в распоряжение ЦК ВКП(б)"
В 1937 - заместитель начальника сектора Политуправления Наркомата совхозов СССР.
В 1937-1940 гг. - на преподавательской работе в Москве.
В 1941-1959 гг. - секретарь ЦК КП Латвии по пропаганде и агитации.
В 1959-1966 гг. - Первый секретарь ЦК КП Латвии.
С апреля 1966 г. - председатель Комитета партийного контроля при ЦК КПСС.

Делегат XX, XXII-XXVI съездов КПСС; с 1961 г. член ЦК КПСС, с 1966 г. - член Политбюро ЦК КПСС.

Депутат Верховного Совета СССР 2-9-го созывов.

Член-корреспондент АН Латвийской ССР (1946).

Автор работ по вопросам истории КПСС и партстроительства, по истории революционного движения в Латвии, о борьбе с буржуазными националистами, о социалистическом и коммунистическом строительстве в республике.

Дважды Герой Социалистического Труда (06.02.1969, 06.02.1979);
Награжден семью орденами Ленина (31.05.1946, 20.07.1950, 15.02.1958, 01.10.1965, 06.02.1969, 02.12.1971[7][8], 06.02.1979), орденом Октябрьской Революции (06.02.1974) и медалями;
Орден Клемента Готвальда (31.1.1979)

Умер 29 мая 1983 года. Урна с прахом в Кремлевской стене на Красной площади в Москве.

Дети от первого брака: дочь Бирута (умерла) и сын Арвид (погиб на фронте, в базе "Подвиг Народа" гв. мл сержант Пельше Арвид Арвидович 1925 г.р. на 1945 жив). Сын от второго брака Тай (р. 1930) - пенсионер, контактов с отцом после его третьей женитьбы (третья жена Пельше - Лидия - бывшая жена секретаря Сталина Александра Поскребышева) не поддерживал.