После рассмотрения кассационной жалобы осужденного Судебная коллегия по уголовным делам Верховного суда РСФСР своим определением от 08.11.1941 г. отменила приговор краевого суда и возвратила дело на новое рассмотрение. Хакасский областной суд 20.02.1942 г. приговорил Голубцова Н.П. к высшей мере наказания - расстрелу. Определением Верховного Суда СССР от. 16.05.1942 г. высшая мера была заменена лишением свободы на 10 лет с поражением прав на 5 лет и конфискацией лично принадлежащего имущества. Нестер Петрович отбывал срок в Нижнем Тагиле. Работал столяром.
- Город Минусинск был далеко от боевых действий, однако я до сих пор помню грохот рвущихся снарядов, от которых в окнах дрожали стёкла, - рассказывает Павел Нестерович. - От испуга я вместе с сестрёнкой Сашей, которая была на два года старше, прятались под кровать. Наш дом был на краю города, недалеко от которого был военный полигон, где обучались будущие фронтовики. Летом мама каждый вечер ходила встречать корову с пастбища и иногда брала меня с собой. Мы стояли на пригорке, впереди далеко было видно ровное поле. Помню, как согнувшись, бежали по полю люди, одетые в военную форму, и тащили за собой какую-то тележку. Потом раздался взрыв, поднялся огромный столб земли, и людей не стало видно. Позднее я понял, что они спрятались в окопы, а тележка - это был пулемёт.
В 1944 году Тува вошла в состав РСФСР и стала Тувинской автономной областью. В 1945 году всё семейство Голубцовых вернулось обратно в Туву. Теперь уже вместе с ними уехал и брат Нестера, Иван Петрович, со своей семьёй. Поселились в том же селе Медведевке (ныне село Кок-Хаак). Устроились на квартиру. Это была изба 30 м2 без единой перегородки, один стол и одна кровать, на которой лежал сам хозяин - дед со сломанной ногой. В этой избе стали жить две большие семьи в общем количестве 18 человек - 11 взрослых и 7 детей. Все спали на полу, даже под столом. Взрослые устроились на работу в колхоз, зарабатывали трудодни, которые оплачивались раз в год после уборки урожая. 1946 год оказался неурожайным, была сильная засуха, наступил голод.
- Ели лепёшки из лебеды и те не всегда были. Помню, как-то соседи выбросили остатки таких лепёшек курам, а мне так хотелось есть, что я отобрал у куриц эти кусочки и со слезами их съел, - вспоминал Павел Нестерович прошлую жизнь и вновь вытирал слёзы. 1947 год выдался урожайным. Мы построили свой дом. Брат Фёдор женился, сёстры Марфа и Зинаида вышли замуж. Евдокия в Туву не поехала, она вышла замуж и осталась в Минусинске. Марии исполнилось 19 лет, и она решила продолжить прерванную учёбу, пошла учиться в седьмой класс.
При уборке урожая жена Фёдора Мария Петровна вязала снопы, а Паша следом ходил с граблями и собирал колоски. Тем, кто работал в поле, выдавали пайку хлеба-калачи из муки нового урожая. Мальчишке тоже выдали пайку, и он впервые досыта наелся хлеба.
Голубцовы посадили огород, посеяли лён, завели корову, лошадь и других домашних животных. В семье имелись швейная машинка и ткацкий станок, что было большой редкостью на селе. Мелания Дмитриевна с Акулиной Петровной в свободное от работы время ткали холсты, половики. Старшее поколение, Пётр Егорович с Ефимией Симоновной, зимой шили на машинке шубы односельчанам, за это им платили зерном. Весной дед пахал и сеял пшеницу на своём поле, а младший семилетний внук Паша ему помогал, ездил верхом на лошади и боронил вспаханное поле.
Игрушек никаких не было. Все игрушки мальчик изготовлял сам. Видел, как дед гнул полозья, мастерил сани. Паша делал бруски треугольной формы и дощечки из поленьев. К одному из рёбер бруска прикреплял проволоку вместо полозка, получались коньки, которые привязывал к валенкам. А концы дощечек распаривал в кипятке, загибал их и после высыхания заострял, получались лыжи. Летом 1951 года Нестер Петрович вернулся из заключения. С приходом отца круто повернулась жизнь. После того, как он не сработался с колхозниками из-за репутации «врага народа», он устроился на мебельную фабрику в городе Кызыле (столица Республики Тыва). Голубцовы сменили сельский образ жизни на городской.
В 1958 году Павел окончил школу. Учиться дальше средств не было. Его отец вышел на пенсию раньше срока по инвалидности. Стаж работы был небольшой и пенсия соответственно мизерной. Мать пенсию не получала. Повзрослевший сын Павел пошёл работать на стройку учеником каменщика. Отработав два года, поступил учиться в Томский политехнический институт. В 1962 году на базе политехнического института образовался новый институт радиоэлектроники и электронной техники, который он окончил в 1965 году. Получил распределение в город Новосибирск на электровакуумный завод в конструкторский отдел, поселился в общежитии.
Летом после работы Павел ходил на пристань разгружать вагоны, контейнеры со строительным материалом, которые на баржах отправлялись дальше вниз по Оби с нефтяным оборудованием. Это был дополнительный его заработок.