Era nato a Mantes-la-Jolie, regione dell’Île-de-France, nel 1843, fratello di quel Jules Tannery, futuro matematico e filosofo della scienza fra i più noti. Appresi i primi rudimenti della grammatica e del calcolo sulle ginocchia del padre e frequentate in diverse città le scuole primarie, pur dedicandosi parallelamente agli studi classici, si immatricolò all’École polytechnique, dalla quale passò poco più che adolescente all’École d’application des Manufactures de l’État, uscendone col titolo di ingegnere specializzato in tabacchi e andando subito a ricoprire vari ruoli alle dipendenze di diversi ministeri, fino a quello di direttore dei tabacchi del Lot-et-Garonne e della manifattura di Pantin.

Non soddisfatto completamente dagli studi tecnici, durante l’apprendistato si era dedicato al Cours de philosophie positive di Auguste Comte e pur non divenendo mai un adepto della “religione positivista”, ne trasse ispirazione per il proprio futuro di ricercatore. La vicinanza a Parigi lo agevolava nei suoi studi di filologia, filosofia e storia della matematica, il principale dei suoi interessi, che coltivò sempre con grande passione, nonostante il ruolo ricoperto lo portasse a spostarsi sovente in provincia per svolgere le mansioni tecniche più disparate. Nel lavoro sulle fonti fu agevolato dalla perfetta conoscenza di greco, latino, arabo, ebraico, e delle principali lingue moderne.

Nutrita la sua collaborazione alle più importanti riviste francesi ed europee, matrice di un numero impressionante di studi di carattere storico-erudito, che affiancarono volumi di storia della scienza antica ed edizioni critiche pubblicate in sedi prestigiose: un esempio per tutti, gli Opera omnia di Diofanto Alessandrino preparati per la Teubner. Centrali per i rapporti con Antonio Favaro furono i due lavori monumentali delle Œuvres de Descartes e delle Œuvres de Fermat, la prima pressoché compiuta, la seconda non interamente. «Paolo Tannery – scriveva Antonio Favaro – è ormai il terzo, potrei quasi dire compagno di lavoro ch’io vedo cader sulla breccia senza aver compito l’opera dei suoi sogni; monito severamente triste a chi si accinge alle grandi e necessariamente lunghe imprese letterarie».

Il confronto continuo sui metodi prolungatosi per oltre vent’anni si era trasformato in una sincera amicizia che Favaro e Tannery condivisero e coltivarono. Per le celebrazioni del terzo centenario della cattedra di Galileo a Padova Favaro volle anche Tannery fra gli storici della scienza invitati a partecipare. Lodandone la «grandezza d’animo» raccontava di come più di una volta lo studioso francese avesse fatto un passo indietro cedendo ad altri documenti da lui reperiti o rinunciando alla paternità di risultati cui era giunto autonomamente.

Tannery si dedicò anche all’insegnamento, tenendo corsi di storia dell’aritmetica alla Sorbona e di filosofia greca e latina al Collège de France in sostituzione di Charles Lévêque. Ma la cattedra di storia generale delle scienze, resasi vacante alla morte di Pierre Laffitte, gli fu negata per intrighi politico-accademici, nella riprovazione generale, energica quanto inutile, che Tannery stesso contribuì a sopire. A Tannery si deve anche un impegno incessante per la diffusione e l’insegnamento della storia della scienza, per la quale pretese una sezione autonoma (di cui fu nominato presidente) al congresso storico internazionale svoltosi nel 1900 a Parigi. Si impegnò anche per far ritagliare un ruolo di primo piano alla sua materia nei congressi di matematica e di filosofia che nel 1904 si tennero rispettivamente a Heidelberg e a Ginevra, poco prima della sua morte prematura sopravvenuta in quell’anno a Pantin.