Kinas Kommunistiske Parti blev oprettet på en hemmelig konference i den franske koncession i Shanghai i 1921. Partiets inspiration var dels 4. maj bevægelsen, der var en kinesisk protestbevægelse mod den fortsatte vestlige imperialisme efter 1. verdenskrig, dels kommunisternes magtovertagelse i Rusland efter 1917.

I partiets tidlige år underlagde det sig i høj grade direktiver fra Moska om at deltage i Guomindang og satse på national enhed, før det søgte at indføre kommunisme. Dette faldt også godt i tråd med den nationalisme, partiet var opstået af og stadig i høj grad støttede sig til. Kommunisterne fik i begyndelsen en del ud af deltagelsen og kom til at dominere Guomindangs venstrefløj og stod Guomindangs leder Sun Yatsen nær.

Kommunistartiet forfulgte i begyndelsen den klassiske kommunistiske ide om, at kommunismen ville blive opnået takket være byernes arbejderklasse, som ville lave revolution mod deres arbejdsgivere. Ideen om arbejderklassens særlige betydning blev en integreret del af Guomindangs strategi for samlingen af Kina, hvor kommunisterne skulle vække byernes arbejdere til den snarlige befrielse for udenlandske undertrykkere.

Disse principer for arbejdet blev dog brudt med Chiang Kaisheks udrensning af kommunister fra Guomindang fra 1927. Herefter blev aktivitet i byerne umulig, idet enhver kommunistisk aktivitet i Kinas større byer blev slået brutalt ned. Ordrene fra Moskva krævede dog stadig arbejderorganisering, hvilket svækkede båndet mellem Kinas Kommunistiske Parti og Sovjetunionen. I stedet organsierede partiet sig i fjerne bjergegne under ledelse af bondesønnen Mao Zedong.

Guomindang og allierede warlords fordrev flere gange kommunisterne fra deres baser på landet. Sidste gang det skete, var i 1934, hvor partiet næsten blev udslettet og søgte til den fjerneste udkant det næsten kunne finde. Under stadige angreb fra Chiang Kaishek opbyggede partiet her en lokal stat, hvor det eksperimenterede med en landligt funderet kommunisme.

Kampene med Guomindang stoppede midlertidigt i 1937, fordi Japan invaderede Kina. Nu gik kommunisterne i alliance med Guomindang mod japanerne. Enheden holdt ikke hele krigen ud, men parterne blev geografisk adskilt og havde vigtigere sager at give sig til end at bekæmpe hinanden. Kommunisterne benyttede denne mulighed og den legitimitet, som kampen mod japanerne gav dem, til at tage kontrollen over større områder i Nordkina og vinde betragtelig popularitet hos Kinas landbefolkning. Dette gjorde, at partiet kunne vinde over Guomindang i den borgerkrig, der fulgte umiddelbart efter Anden Verdenskrig. I 1949 udråbte Mao Zedong Folkerepublikken Kina.