Con la fondazione ad Alessandria della Biblioteca e del Museo, che raccoglievano le più grandi menti dell'epoca, la città egizia divenne il centro culturale più importante dell'età ellenistica. In questo periodo si trovano studi di Apollonio di Perga (262-190 a.C. ca.), di Euclide (367-283 a.C. ca.) e di Archimede di Siracusa (284-218 a.C. ca.).
Il primo è noto soprattutto per l'imponente opera Le Coniche nella quale definiva e studiava le sezioni coniche: ellisse, parabola e iperbolee che ebbe grande importanza nel mondo europeo.Gli Elementi in cui raccoglie teoremi elementari di Aritmetica ma soprattutto di Geometria, per esempio i principali teoremi di geometria piana e solida come il Teorema di Pitagora e la costruzione dei solidi regolari o una dimostrazione dell'infinità dei numeri primi, diventa l'opera più importante di Euclide.
Gli Elementi è stato considerato il più attendibile manuale di matematica per secoli e secoli.
L'importanza di questo capolavoro è fondato su pochi princìpi fondamentali (in particolare su cinque che riguardano la geometria) tutta la matematica elementare e dimostra un uso esemplare della logica matematica.
L'accettazione del trattato era tale che questo era conosciuto da tutte le persone colte dell'Occidente fino al XX secolo. Si dice che Isaac Newton abbia riso una sola volta, quando gli domandarono se valesse la pena studiare gli Elementi.
Ha lasciato molte opere nelle quali dimostra una grande inventiva. Riuscì ad approssimare circoscrivendolo tra due numeri limite, a scoprire la formula per calcolare il volume e la superficie della sfera e l'area del cerchio.
Tracciò la costruzione dei solidi semiregolari o archimedei e anticipò in molti testi il calcolo infinitesimale, come nell'opera Sulle spirali, in cui si trova la tangente e la lunghezza di un arco di spirale archimedea o nella Quadratura della parabola dove in appendice calcola addirittura il risultato di una serie geometrica.
Fu anche un abile ingegnere e costruendo opere meccaniche che secondo la leggenda avrebbe costruito e per mezzo di queste macchine avrebbe difeso la città di Siracusa dall'assedio romano.
Una volta conquistata la città, nonostante il console Marcello avesse ordinato di non ucciderlo, sarebbe stato assassinato da un soldato entrato in casa mentre era intento nei suoi calcoli.
In realtà lo stesso Plutarco ha trasmesso ben tre versioni della morte di Archimede nell'assedio di Siracusa.
Ipparco di Nicea redisse la prima tavola trigonometrica con l'aiuto della quale poteva risolvere qualsiasi triangolo. Il suo lavoro fu riesaminato da Claudio Tolomeo che ottenne le formule di addizione e sottrazione del seno e del coseno. Entrambi furono anche eccellenti astronomi.
Dopo questi sviluppi la matematica ellenistica entrò in crisi.
I romani non ebbero alcun interesse verso la matematica sempre più emarginata e assimilata all'astrologia, salvando soltanto le nozioni che servivano per l'ingegneria, Anche l'inadeguatezza dell'algebra geometrica greca può aver contribuito al tramonto della matematica greco-ellenistica.
Gli ultimi matematici di riguardevole importanza sono stati Diofanto di Alessandria che nella sua Aritmetica gettò le basi per la teoria delle equazioni diofantee e lo studioso di Geometria Pappo di Alessandria che dimostrò importanti teoremi come il Teorema dell'esagono e il teorema di Pappo Guldino.
Anche i cristiani e le popolazioni barbariche manifestarono poco interesse per la matematica, anche se in teoria aritmetica e geometria facevano parte del Quadrivio. Le nozioni studiate erano ridottissime. La scuola alessandrina, che si occupava di matematica e filosofia, subì un colpo mortale quando Ipazia, la sua più rappresentante, venne trucidata dai "parabolani", fanatici cristiani sorretti dal vescovo Cirillo.
