José Serra nasceu na capital paulista, filho único de Francesco Serra (falecido em 1981), e de Serafina Chirico Serra (falecida em 2007). Apesar dos ganhos modestos de uma família de classe média baixa, foi o suficiente para que o filho chegasse à faculdade sem precisar trabalhar.
Tendo feito curso pré-vestibular junto com o último ano do científico, ingressou, em 1960, no curso de engenharia civil da Escola Politécnica da Universidade de São Paulo - (Poli-USP).
Na universidade, logo se interessou pelo movimento estudantil, que era ativo nos anos 1960, principalmente no ensino superior. Em fins de 1962, Serra foi um dos fundadores da Ação Popular (AP). Participou de congressos em vários estados brasileiros como presidente da UEE-SP, tornando-se conhecido, o que veio a facilitar sua eleição para presidente da União Nacional dos Estudantes (UNE), em julho de 1963, como candidato da Ação Popular, tendo ainda o apoio do Partido Comunista Brasileiro. A UNE, na época, tinha status de partido político, dando a Serra a condição participar da política nacional e a oportunidade de contato com autoridades, governadores, e com o então presidente João Goulart, o Jango.
Consumado o golpe militar, Serra foi primeiro para o Departamento de Correios e Telégrafos do Rio de Janeiro, QG improvisado das forças leais ao presidente Jango. Com o incêndio da sede da UNE pelos militares, Serra tratou de esconder-se por mais alguns dias na casa de amigos, sem contato nem mesmo com a família. Aconselhado por um deputado amigo do ex-presidente Juscelino Kubitschek, refugiou-se na embaixada da Bolívia, onde permaneceu por três meses. Os militares não queriam deixá-lo sair do país, como dissera o então ministro da Guerra, Costa e Silva, aos bolivianos: "Este não deixaremos ir embora. É muito perigoso." Resolvido o impasse, foi então para a Bolívia e depois para a França, onde permaneceu até 1965. Por causa do exílio teve que interromper os estudos, não completando o curso de engenharia.
Depois de catorze anos no exílio, retornou ao país em 1977, sendo um dos poucos que se arriscaram a fazê-lo antes da lei de anistia de 1970. Ao tentar uma cadeira de deputado pelo MDB, teve sua candidatura impugnada, sob a alegação de que continuavam suspensos seus direitos políticos. Coordenou, então, em 1978, a campanha a senador, pelo mesmo partido, de Fernando Henrique Cardoso, que obteve apenas a suplência. Foi admitido como professor de economia da Universidade de Campinas (Unicamp), onde permaneceu até 1983.
Em 1982, José Serra foi convidado para ser Secretário Estadual de Planejamento do então eleito governador de São Paulo, Franco Montoro.
Afastou-se da secretaria de estado em 13 de fevereiro de 1986, para se candidatar a uma vaga na Câmara dos Deputados pelo PMDB. Recebeu cerca de 160 mil votos, elegendo-se com a quarta maior votação do estado.
Na constituinte, Serra foi relator da Comissão do Sistema Tributário, Orçamento e Finanças e também integrou a Comissão de Sistematização. Criticando a atuação sem coordenação de seu partido, o PMDB, não seguiu a orientação partidária em todas as votações.
Foi um dos fundadores do Partido da Social Democracia Brasileira - PSDB, em junho de 1988, presidindo sua comissão executiva até 1991. Nas eleições municipais de 1988, foi candidato à prefeitura de São Paulo, mas, em uma eleição ainda sem segundo turno, foi derrotado, ficando atrás de Luiza Erundina (à época no PT), João Leiva (PMDB) e Paulo Maluf.
Foi reeleito deputado federal em 1990, com cerca de 340 mil votos, a maior votação do Estado.
Em 1994, foi eleito senador com 6,5 milhões de votos, muito à frente do segundo colocado, Romeu Tuma. Cogitado para assumir o Ministério da Fazenda, enquanto empresários de seu estado preferiam vê-lo no Ministério da Indústria e Comércio, o presidente eleito Fernando Henrique escolheu Pedro Malan para a Fazenda, convidando Serra para assumir o Ministério do Planejamento. Sua vaga no Senado foi ocupada por seu suplente, Pedro Piva. Deixou a pasta para disputar a prefeitura de São Paulo, que perdeu para Celso Pitta. Com isso, retornou ao Senado, onde ficou por dois anos.
Assumiu então o Ministério da Saúde (1998-2002). O programa de combate à AIDS implantado na sua gestão foi copiado por outros países e apontado como exemplar pela ONU. Em sua gestão no Ministério da Saúde, foi enviado ao Congresso Nacional o projeto de lei 3.156, de 2000, que tornava mais rigorosa a política anti-tabagista no Brasil, com a proibição da publicidade e a introdução das imagens de impacto em embalagens de cigarro. Aprovado o projeto, foi sancionado dando origem à Lei nº 10.167, de 2000, regulamentada em 2001 pela Anvisa.
Disputou a Presidência da República em 2002, quando obteve mais de 33 milhões de votos no segundo turno (38,73%), perdendo para o então candidato Luiz Inácio Lula da Silva, que obteve quase 53 milhões de votos (61,27%). Dos votos obtidos por Serra, 2,9 milhões o foram na cidade de São Paulo, cidade na qual Lula obteve apenas 127 mil votos a mais, aproximadamente 2% dos votos válidos.
Em 2004, disputou a Prefeitura de São Paulo, sendo eleito no segundo turno com 3,3 milhões de votos (55% dos votos válidos). No dia 1º de janeiro de 2005 tomou posse do cargo de prefeito com mandato para até 1º de janeiro de 2009. Um ano e três meses depois, em 31 de março de 2006, deixou a prefeitura de São Paulo nas mãos do seu vice Gilberto kassab para concorrer às eleições para governador do estado de São Paulo, mesmo tendo assinado uma declaração dizendo que não o faria quando candidato à prefeitura. Alegou que abandonar a prefeitura foi um sacrifício pessoal em prol do seu partido e foi eleito governador em primeiro turno.
Em 1 de outubro de 2006, José Serra foi eleito governador do estado de São Paulo em primeiro turno das eleiçõe, com 12.381.038 votos, correspondente a 57,93% dos votos válidos. Tomou posse em 1 de janeiro de 2007, permanecendo no cargo até o dia de 1 de abril de 2010.