Nascido no norte da ilha mediterrânea da Sardenha, numa aldeia denominada Villa Cisper, Gramsci era o quarto dos sete filhos de Francesco Gramsci, um homem que tinha vários problemas com a polícia.
Tendo sido um bom estudante, Gramsci venceu um prêmio que lhe permitiu estudar literatura na Università di Torino. Gramsci, em Torino, tornou-se jornalista. Seus escritos eram basicamente publicados em jornais de esquerda como Avanti (órgão oficial do Partido Socialista). Sua prosa e a erística de suas observações lhe proporcionaram fama. Sendo escritor de teoria política, Gramsci produziu muito como editor de diversos jornais comunistas na Itália. Entre estes, ele fundou juntamente com Palmiro Togliatti em 1919 L'Ordine Nuovo, e contribuiu para La Città Futura.
O grupo que se reuniu em torno de L'Ordine Nuovo aliou-se com Amadeo Bordiga e a ampla facção Comunista Abstencionista dentro do Partido Socialista. Isto levou à organização do Partido Comunista Italiano (PCI) em 21 de janeiro de 1921. Gramsci viria a ser um dos líderes do partido desde sua fundação, porém subordinado a Bordiga até que este perdeu a liderança em 1924. Suas teses foram adotadas pelo PCI no congresso que o partido realizou em 1926.
Em 1922 Gramsci foi à Rússia representando o partido, e lá conheceu sua esposa, Giulia Schucht, uma jovem violinista com a qual teve dois filhos.
Esta missão na Rússia coincidiu com o advento do fascismo na Itália, e Gramsci - que a princípio havia considerado o fascismo apenas como uma forma a mais de reação da direita - retornou com instruções da Internacional no sentido de incentivar a união dos partidos de esquerda contra o fascismo. Uma frente deste tipo teria idealmente o PCI como centro, o que permitiria aos comunistas influenciarem - e eventualmente conseguirem a hegemonia - das forças de esquerda, até então centradas em torno do Partido Socialista Italiano, que tinha uma certa tradição na Itália, enquanto o Partido Comunista parecia relativamente jovem e radical. Esta proposta encontrou resistências quanto a sua implementação, inclusive dos comunistas, que acreditavam que a Frente Única colocaria o jovem PCI numa posição subordinada ao PSI, do qual havia-se desligado. Outros, inversamente, acreditavam que uma coalizão capitaneada pelos comunistas acabasse ficando distante dos termos predominantes do debate político, o que levaria ao risco do isolamento da Esquerda.
Em 1924, Gramsci foi eleito deputado pelo Veneto. Ele começou a organizar o lançamento do jornal oficial do partido, denominado L'Unità, vivendo em Roma enquanto sua família permanecia em Moscou.
Em 1926, as manobras de Stalin dentro do Partido Bolchevista levaram Gramsci a escrever uma carta ao Komintern, na qual ele deplorava os erros políticos da oposição de Esquerda (dirigida por Lev Davidovitsch Bronstein e Zinoviev) no Partido Comunista Russo, porém apelava ao grupo dirigente de Stalin para que não expulsasse os opositores do Partido. Togliatti, que estava em Moscou como representante do PCI, recebeu a carta e a abriu, leu e decidiu não entregá-la ao destinatário. Este fato deu início a um complicado conflito entre Gramsci e Togliatti que nunca chegou a ser completamente resolvido. Togliatti, posteriormente, divulgaria a obra de Gramsci após sua morte, mas evitou cuidadosamente qualquer menção às suas simpatias por Trotsky.
Em 8 de novembro de 1926, a polícia italiana prendeu Gramsci e o levou a prisão romana Regina Coeli. Foi condenado a 5 anos de confinamento (na remota ilha de Ustica); no ano seguinte ele foi condenado a vinte anos de prisão (em Turi, próximo a Bari, na Puglia). Sua saúde neste momento começava a declinar sensivelmente. Em 1932, um projeto para a troca de prisioneiros políticos entre Itália e União Soviética, que poderia dar a liberdade ao Gramsci, falhou. Em 1934 sua saúde estava seriamente abalada e ele recebeu a liberdade condicional, após ter passado por alguns hospitais em Civitavecchia, Formia e Roma. Gramsci faleceu aos 46 anos, pouco tempo depois de ter sido libertado.
