Halldór Gunnar Pálsson fæddist í Hnífsdal þann 5. nóvember 1921.
Foreldrar hans voru hjónin Guðrún Guðríður Guðleifsdóttir, f. 4. júlí 1895, d. 3. mars 1923, og Páll Pálsson, útvegsbóndi í Hnífsdal, f. 10. júlí 1883, d. 26. mars 1975. Seinni kona Páls og stjúpmóðir Halldórs var Kristín Jónsdóttir, f. 17. mars 1881, d. 20. október 1935.
Eldri systkini hans voru: Páll, Jóakim, Helga, Leifur og Kristján.
Halldór kvæntist Ingu Ingimarsdóttur, f. 12. júní 1924, d. 26. október 1981, þann 4. janúar 1949. Foreldrar hennar voru hjónin Sigríður Guðmundsdóttir og Ingimar Finnbjörnsson, útgerðarmaður í Hnífsdal.
Inga átti fyrir eina dóttur; Kristínu, f. 11. janúar 1942, d. 26. mars 2006. Faðir hennar var Kristján, bróðir Halldórs, en hann gekk henni í föður stað.
Kristín var gift Kristni Friðbjörnssyni, f. 22. júní 1936, d. 22. apríl 1991.
Saman áttu Halldór og Inga fimm börn:
1) Ingimar, f. 1. apríl 1949, kvæntur Kristínu Karlsdóttur, f. 10. maí 1952.
2) Páll, f. 17. september 1950, kvæntur Jóhönnu Margréti Hafsteinsdóttur, f. 9. júlí 1958.
3) Sigríður Elísabet, f. 3. október 1954, d. 25. nóvember 2004: Hún var gift Gunnari Finnssyni, f. 8. maí 1950, d. 9. ágúst 2010.
4) Guðrún Guðríður, f. 7. júlí 1958, gift Stefáni Jónssyni, f. 20. júlí 1957.
5) Dagmar, f. 12. febrúar 1961. Hún á þrjá syni og eitt barnabarn.
Halldór var í sambúð með Birnu Sigurðardóttur, f. 5. mars 1923, frá árinu 1988. Þau bjuggu í Hafnarfirði allan sinn búskap og síðustu fimm ár á Hrafnistu í Hafnarfirði.
Halldór fór ungur til náms í matreiðslu og nam þá iðn á Hótel Skjaldbreið í Reykjavík. Hann starfaði við matreiðslu um skeið, meðal annars í Reykholti í Borgarfirði og á Straumnesfjalli þegar verið var að byggja upp ratsjárstöð og var hann matreiðslumaður fyrir íslenska verktaka.
Starfsvettvangur Halldórs var þó aðallega tengdur fiskvinnslu. Hann var yfirverkstjóri hjá Hraðfrystihúsinu í Hnífsdal frá árinu 1958 til ársins 1982. Þá flutti Halldór Gunnar suður til Reykjavíkur og starfaði í eftirlitsdeild Sölumiðstöðvar hraðfrystihúsanna þar til að hann hætti störfum sökum aldurs.
Halldór Gunnar Pálsson lést á Hrafnistu í Hafnarfirði þann 18. apríl 2018
Útför Halldórs Gunnars fór fram frá Víðistaðakirkju í Hafnarfirði þann 11 maí 2018.