In de jaren vijftig van de twintigste eeuw groeide de behoefte aan sociaal-wetenschappelijke kennis bij de voorbereiding van overheidsbeleid. In 1959 werd op verzoek van de Sociaal-Wetenschappelijke Raad van de Koninklijke Akademie van Wetenschappen een adviescommissie ingesteld die deze behoefte nader onderzocht. Als vervolgstap installeerde de minister van Onderwijs en Wetenschappen in 1968 de Commissie Voorbereiding Onderzoek Toekomstige Maatschappijstructuur (Commissie-De Wolff), die zich boog over de vraag welke organisatiestructuur tot de gewenste integratie van wetenschap en beleid zou kunnen leiden. Deze commissie adviseerde tot de instelling van een raad voor de integrale planning van het overheidsbeleid en – in antwoord op toenemende zorgen over de effecten en grenzen van de welvaartsgroei – een planbureau dat specifiek zou opereren op het terrein van maatschappelijk en cultureel welzijn. Het eerste is uiteindelijk de Wetenschappelijke Raad voor het Regeringsbeleid (WRR) geworden en het tweede het Sociaal en Cultureel Planbureau (SCP).

In de jaren zeventig drong de zogenaamde kritische bestuurskunde door in de gelederen, welke ambtenaren meer beleidsvrijheid schonk. Ofschoon door het tanende geloof in de maakbaarheid van de samenleving de overheid terughoudender gebruik maakte van traditionele instrumenten als regelgeving en planning, bleven de grote planorganen – zij het in een klimaat van opeenvolgende bezuinigingen – wel bestaan. Met de opkomst van de zogenaamde moderne bestuurskunde in de jaren tachtig verschoof de vraagstelling naar de invloed van actoren op beleid in een gedecentraliseerd of gefragmenteerd systeem van machten, doelen, belangen en actoren. Als gevolg kwamen in de discussie over de staatkundige, bestuurlijke en staatsrechtelijke vernieuwing ook de positie en taken van de planbureaus ter sprake. In reactie op een aanbeveling van de Commissie-Wiegel, die de planbureaus een rol als kennisleverancier toekende, institutionaliseerden de directeuren van het CPB, het RIVM, de RPD en het SCP hun overleg.

Na voorbereidende werkzaamheden door vertegenwoordigers van het Centraal Planbureau, de Rijksplanologische Dienst en de ministers uit de Welzijnsraad werd op 30 maart 1973 per koninklijk besluit het Sociaal en Cultureel Planbureau ingesteld. Waar het Centraal Planbureau direct na de oorlog was ingesteld ten behoeve van de coördinatie van de wederopbouw, was het SCP nauw verbonden met de uitbouw van de verzorgingsstaat. Tot 1982 ressorteerde het SCP onder de minister van Cultuur, Recreatie en Maatschappelijk Werk (CRM). In het daarop volgende decennium viel het onder de verantwoordelijkheid van de minister van Welzijn, Volksgezondheid en Cultuur (WVC) en vanaf 1995 onder de minister van Volksgezondheid, Welzijn en Sport (VWS). De minister voert overleg over het SCP-beleid met de overige betrokken ministers op een bepaald deelterrein.

De taken van het SCP, die worden uitgevoerd op basis van een tweejaarlijks werkprogramma dat door de Ministerraad wordt goedgekeurd, worden in het instellingsbesluit als volgt benoemd: Het verrichten van wetenschappelijke verkenningen met het doel te komen tot een samenhangende beschrijving van de situatie van het sociaal en cultureel welzijn hier te lande en van de op dit gebied te verwachten ontwikkelingen; Het bijdragen aan een verantwoorde keuze van beleidsdoeleinden, benevens het aangeven van voor- en nadelen van de verschillende wegen om deze doeleinden te bereiken; Het verwerven van informatie met betrekking tot de uitvoering van interdepartementaal beleid op het gebied van sociaal en cultureel welzijn, teneinde de evaluatie van deze uitvoering mogelijk te maken.

De hieruit volgende rapportages, adviezen en evaluaties dienen ter informering van de beleidsmakers van de rijksoverheid. Belangeloosheid en onafhankelijkheid is het fundamentele uitgangspunt van waaruit het SCP haar activiteiten ontplooit. Derhalve zijn SCP-medewerkers vaak aangesteld vanuit of in de academische wereld en besteedt het SCP geregeld onderzoek uit aan universiteiten of onderzoeksinstellingen. Daarnaast mogen in de keuze van onderzoeksthema's specifieke politieke of departementale belangen niet doorslaggevend zijn. Als gevolg is onderzoek veelal anti-sectoraal en gericht op veronachtzaamde maatschappelijke kwesties.

Tot een van de permanente taken van het SCP behoort het vervaardigen van het Sociaal en Cultureel Rapport (SRC). In dit tweejaarlijkse rapport wordt de situatie van de Nederlandse bevolking en het beleid op sociaal en cultureel terrein beschreven. Ook gaat het rapport in op het overheidsbeleid in algemene zin, veranderingen in het openbaar bestuur, de politieke participatie van burgers en hun opvattingen over het functioneren van de overheid.

Elk jaar wordt in juni op verzoek van de Tweede Kamer de publicatie ‘Sociale en Culturele Verkenningen’ uitgebracht. Hierin worden actuele kerngegevens betreffende sociale en culturele veranderingen en een terreinverkenning van beleidsontwerpen die op de politieke agenda staan of daarop binnenkort zullen verschijnen. Ten behoeve van deze publicaties voert het SCP vierjaarlijks het Aanvullend Voorzieningengebruik Onderzoek (AVO) uit. Dit onderzoek bestaat uit een enquête over het gebruik van voorzieningen in de sfeer van onderwijs, zorg, sociale zekerheid, politie en justitie, openbaar vervoer, cultuur, wonen, vorming en recreatie (de zogenaamde quartaire sector).

In haar beleidsondersteunende en adviserende functie is de directeur van het SCP lid van enkele onderraden van het kabinet en is het bureau vertegenwoordigd in interdepartementale coördinatiecommissies (voorportalen), waaronder de Interdepartementale Coördinatiecommissie Welzijnsbeleid (ICW), in 1990 opgevolgd door de Commissie Sociaal en Cultureel Beleid (CSCB) en in 2002 door de Commissie voor Zorg, Welzijn en Onderwijs (CZWO). Deze commissies, waarvan het SCP het secretariaat voerde, vormden de zogenoemde ambtelijke voorportalen voor de onderraad, dat wil zeggen, de ministerraadvergadering waar de meest direct betrokken ministers en staatssecretarissen wetsvoorstellen en nota’s op het gebied van in dit geval zorg, welzijn en onderwijs bespraken en afhandelden.

Het Begeleidingscollege adviseert het SCP over het werkprogramma en de inhoud van het Sociaal en Cultureel Rapport (SCR). In het college zitten leden op persoonlijke titel, afgevaardigden van de Koninklijke Nederlandse Akademie van Wetenschappen, de wetenschappelijke bureaus van de politieke partijen, het Centraal Planbureau, de Rijksplanologische Dienst, het Centraal Bureau voor de Statistiek, ambtenaren van de betrokken ministeries, het Inter Provinciaal Overleg en de Vereniging van Nederlandse Gemeenten. Deze samenstelling dient de pluriformiteit en belangenbehartiging van het college te waarborgen.

De Interdepartementale Coördinatiecommissie Welzijnsbeleid (ICW) had primair tot taak de eenheid van het regeringsbeleid op welzijnsterrein te bevorderen. De commissie kon hiertoe zelfstandig initiatieven nemen, die zowel betrekking konden hebben op het verder ontwikkelen van het beschikbare instrumentarium als op het doen van voorstellen voor een bepaald (interdepartementaal) beleidsterrein. In het verlengde van de algemene taakopdracht van de ICW lag de voorportaalfunctie voor de Welzijnsraad, dat wil zeggen, de voorbereiding van de vergaderingen van de betrokken onderraad en de toetsing van beleidsvoornemens aan de samenhang in het beleid op welzijnsterrein en de hoofdlijnen van het kabinetsbeleid zoals bijvoorbeeld vastgelegd in regeringsprogramma of (interdepartementale) begrotingstoelichting.

De ICW werd halverwege 1990 opgeheven en vervangen door de Commissie Sociaal en Cultureel Beleid (CSCB). De nieuwe commissie ging in september van datzelfde jaar van start onder leiding van een onafhankelijke voorzitter. Het secretariaat bleef bij het SCP berusten.

De Commissie Sociaal en Cultureel Beleid (CSCB), het ambtelijk voorportaal van de Raad voor het Sociaal en Cultureel Beleid (RSCB), werd door de minister van Welzijn, Volksgezondheid en Cultuur in 1990 ingesteld, met als taak de vergaderingen van de RSCB voor te bereiden, alsmede adviezen uit te brengen ter bevordering van de eenheid in het regeringsbeleid op sociaal en cultureel terrein. Zij verviel met de instelling van de Commissie voor Zorg, Welzijn en Onderwijs (CZWO), maar is formeel pas per 31 december 2004 opgeheven.

De Commissie voor Zorg, Welzijn en Onderwijs (CZWO) werd per 23 augustus 2002 door de ministerraad ingesteld als het ambtelijk voorportaal van de Raad voor Zorg, Welzijn en Onderwijs (RZWO). De Raad bereidde de besluiten voor van de ministerraad over sociaal-cultureel beleid, welzijn, jeugdbeleid, sport, zorg en volksgezondheid, primair en voortgezet onderwijs, cultuur en emancipatie. De minister van VWS en OCW waren de coördinerende ministers van de RZWO. Begin februari 2007 werd deze commissie door de ministerraad opgeheven.

‘Geschiedschrijving van de toekomst. Een onderzoek naar instituties en handelingen met betrekking tot de algemene wetenschappelijke voorbereiding van het Regeringsbeleid, (1892) 1945-1996’, PIVOT-rapport nr. 52 (Den Haag, 1997). Koninklijk Besluit van 30 maart 1973, houdende instelling van een Sociaal en Cultureel Planbureau (Stb. 175). Gewijzigd bij: K.B. van 29 november 1979 (Stb. 778), K.B. van 28 juni 1983 (Stb. 741), K.B. van 8 maart 1974 tot wijziging van artikel 8 (Stb. 187), K.B. van 30 augustus 1974 tot wijziging van de artikelen 1 en 8 (Stb. 552), K.B. van 29 november 1979 tot wijziging van de artikelen 1 en 8 (Stb. 778), K.B van 28 juni 1983 tot wijziging van de artikelen 1 en 8 (Stb. 741), K.B. van 4 maart 1992 tot wijziging van de artikelen 4 en 11. Instellingsbeschikking nr. ICW-U 1834 van 2 december 1985 van de Minister van Welzijn, Volksgezondheid en Cultuur, in overeenstemming met het gevoelen van de Raad van Ministers. Jaarverslagen ICW 1984-1990. Instellingsbeschikking Commissie Sociaal en Cultureel Beleid van 17 juli 1990 van de Minister van Welzijn, Volksgezondheid en Cultuur. ‘Coördinatie op hoog niveau. Institutioneel onderzoek naar de ministeriële coördinatieorganen en de ambtelijke voorportalen, 1945-1990’ (Den Haag, 1992). ‘Naar kerndepartementen. Kiezen voor een hoogwaardige en flexibele rijksdienst’, rapport van de vierde externe commissie staatkundige, bestuurlijke en staatsrechtelijke vernieuwing (Commissie-Wiegel), 24 juni 1993.