Sindikati – ustanovitelji so konfederacijo ustanovili z namenom, da se bodo skupno zavzemali za boljši socialni in materialni položaj javnih uslužbencev, za spoštovanje človekovih pravic, varovanje poklicnih in sindikalnih pravic članstva in skupno nastopanje v organizacijah in predstavniških organih na državni ravni. Statut in resolucija o programskih smernicah, ki so ju sprejeli delegati na 1. kongresu določata, da bo delovanje konfederacije temeljilo na načelih solidarnosti, medsebojnega sodelovanja, izhajajoč iz temeljnih dokumentov Evropske unije, Mednarodne organizacije dela, Evropske socialne listine in Ustave Republike Slovenije. Januarja 2007 se je Konfederaciji sindikatov javnega sektorja Slovenije pridružil še Sindikat delavcev v pravosodju Slovenije.
Konfederacija se je konstituirala na ustanovnem kongresu, 9. marca 2006, kjer je skupno 200 delegatov sprejelo statut, resolucijo o programskih smernicah, resolucijo o uveljavljanju novega plačnega sistema v javnem sektorju ter izvolilo predsedstvo in predsednika.
Predsedstvo je v mesecu maju 2006 imenovalo generalnega sekretarja, ki je junija 2006 pričel z delom na sedežu KSJS, na Dalmatinovi ulici 4, v Ljubljani. Konfederacija je 22. 3. 2007 izvedla svoj drugi kongres, kjer je sprejela program do leta 2010, stališča o plačnem sistemu za javne uslužbence, resolucijo o kakovostnem javnem šolstvu in zdravstvu ter izvolila Branimirja Štruklja za predsednika za mandatno obdobje do leta 2010.