Skúli Halldórsson fæddist á Flateyri við Önundarfjörð 28. apríl 1914. Foreldrar hans voru Halldór G. Skúlason, læknir í Reykjavík, og Unnur Skúladóttir Thoroddsen húsmóðir.
Móðir Halldórs var Margrét Eggertsdóttir, bónda á Fossi í Vesturhópi, bróður Helgu, langömmu Björgvins Schram, forseta KSÍ, föður Ellerts B. Schram, fyrrv. forseta ÍSÍ og fyrrv. ritstjóra og alþingismanns.
Unnur var systir Guðmundar læknaprófessors, Katrínar, alþm. og yfirlæknis, Kristínar, yfirhjúkrunarkonu og skólastjóra, Bolla borgarverkfræðings og Sigurðar verkfræðings, föður Dags skálds og afa Katrínar Jakobsdóttur f.v. menntamálaráðherra og núverandi forsætisráðherra.
Unnur var dóttir Skúla Thoroddsen alþm. og Theodóru Thoroddsen skáldkonu. Bróðir Skúla var Þórður, faðir Emils Thoroddsen tónskálds.
Eiginkona Skúla var Steinunn Guðný Magnúsdóttir sem lést 1997, en börn þeirra eru Magnús arkitekt og Unnur fiskifræðingur.
Skúli lauk prófi frá VÍ, prófi í kontrapunkti, tónsmíðum og útsetningu frá Tónlistarskólanum í Reykjavík 1947 og prófi í píanóleik frá sama skóla 1948.
Skúli var skrifstofumaður hjá SVR 1934-44 og skrifstofustjóri þar til 1985. Hann kenndi píanóleik 1948-52, var undirleikari hjá fjölda óperusöngvara og leikara.
Skúli er í hópi þekktustu íslenskra tónskálda síðustu aldar. Hann samdi á annað hundrað sönglög, svo sem Smaladrenginn og Smalastúlkuna, um tuttugu hljómsveitarverk og kammerverk og um tíu píanóverk. Þá komu út eftir hann tólf sönglög við ljóð Jóns Thoroddsen og tíu sönglög við ljóð Theodóru Thoroddsen.
Hann fékk verðlaun frá Ríkisútvarpinu fyrir lagaflokk sinn við ástarljóð Jónasar Hallgrímssonar.
Skúli var í stjórn Tónlistarfélagsins og STEF í tæp 40 ár, var formaður STEF í 20 ár og sat í stjórn BÍL í áratug.
Skúli lést 23. júlí 2004.
