本法第四條規定公務人員協會區分為「機關公務人員協會」、「全國公務人員協會」二級，其組成方式說明如下：
（一）機關公務人員協會之組成方式：
本法第十條規定，機關公務人員協會係以中央政府機關及地方政府機關作為公務人員協會之組織基礎，其中因中央政府機關之機關所在地並無以行政區域為劃分之事實，爰以各部及同層級以上機關為籌組機關公務人員協會範圍，亦即總統府、國家安全會議、五院、各部及同層級機關（含臺灣省政府、福建省政府、臺灣省諮議會）公務人員協會，係由該機關或其所屬機關三十人以上之公務人員所發起、籌組；至地方政府機關之機關所在地，因大多位於行政區域內，且包括地方行政機關與地方立法機關，為考量地方立法機關之編制人數，大多未及本法第十條所定籌組協會之門檻人數（三十人）及保障地方政府機關公務人員結社之實際需要，爰明定地方政府機關公務人員協會，係以各該行政區域內所有之地方機關為籌組範圍，亦即各直轄市、縣（市）機關公務人員協會，係由各直轄市、縣（市）行政區域內地方機關三十人以上之公務人員所發起、籌組。各機關成立之機關公務人員協會以一個為限。
（二）全國公務人員協會之組成方式：
本法第十條規定，全國公務人員協會之發起、籌組，係以機關公務人員協會為範圍，採團體會員制，鑒於目前中央各部及同層級以上機關總數約為五十八個，而地方各直轄市、縣（市）行政區域計二十五個，為考量兩者籌組全國公務人員協會代表性之平衡，爰規定依本法成立之總統府、國家安全會議、五院、各部及同層級機關公務人員協會數超過總統府、國家安全會議、五院、各部及同層級機關總數五分之一時（按：約十二個）及各直轄市、縣（市）機關公務人員協會超過直轄市、縣（市）總數三分之一（按：約九個），即得共同發起、籌組全國公務人員協會。