Koncem června 1894 psal Gustav Mahler (1860–1911) z pobytu u Attersee v Horním Rakousku svému příteli, filozofu a archeologovi Fritzi Löhrovi do Vídně: „Hlásím tímto šťastné zrození zdravé, silné, poslední věty druhé symfonie. Otec i dítě se cítí v rámci okolností dobře, dítě ještě není zcela mimo nebezpečí.“ Symfonii č. 2 začal psát roku 1888, bezprostředně po dokončení První symfonie (kterou ovšem ještě několikrát přepracovával; konečná verze měla premiéru roku 1896). Stal se právě kapelníkem německé opery v Budapešti a problémy s vedením divadla i pochybnosti, které Mahlerův tvůrčí proces stále provázely, vedly k odkladu. K rozpracované symfonii se vrátil o tři roky později, když nastoupil do Městského divadla v Hamburku. V té době měl rozvrženou první větu a nazval ji Totenfeier (Smuteční slavnost). Na klavíru ji přehrál pianistovi a dirigentovi Hansi von Bülow, který obdivoval Mahlerovo dirigentské umění a jeho nástup v Hamburku s nadšením přivítal. Pro Mahlera jako skladatele však Bülow projevil jen málo pochopení, a tak jeho pochybnosti ještě prohloubil. Fritzi Löhrovi se tehdy Mahler svěřil, že Bülowa „zachvátil nervózní úděs a prohlásil, že Tristan je proti mé skladbě haydnovská symfonie. [...] Už tomu pomalu začínám věřit: Buď jsou moje věci zmatené nesmysly – nebo – doplň si sám! Mě to unavuje...“ Symfonii tedy opět odložil, ne snad jen z důvodu Bülovowa odsudku; opět musel většinu času a energie věnovat práci v opeře a koncertnímu dirigování. Po další přestávce zkomponoval v létě 1893 písně Kázání svatého Antonína rybám (Des Antonius von Padua Fischpredigt) a Prasvětlo (Urlicht) ze sbírky Chlapcův kouzelný roh a obě našly v symfonii uplatnění. Hans von Bülow zemřel 12. února 1894 v Káhiře, kam se odjel léčit. A byl to právě on, kdo nyní – posmrtně – Mahlerovi pomohl najít klíč k poslední větě symfonie. Mahler byl přítomen smuteční slavnosti za Bülowa v hamburském chrámu sv. Michala a zaznamenal své pocity: „Atmosféra, ve které jsem tam seděl, a mé myšlenky na zesnulého zcela odpovídaly duchu díla, které jsem tehdy v sobě nosil. Vtom začal sbor zpívat s doprovodem varhan Klopstockovo Vzkříšení! Zasáhlo mě to jako blesk a v mé duši bylo náhle jasno! Na takový blesk tvůrce čeká, to je pro něj ‚svaté zvěstování‘!“ Po zdráhání se odvážil použít v závěrečné větě sbor; dosud váhal z obavy, aby nebyl považován za Beethovenova napodobitele.
První věta symfonie (název Totenfeier už se v tištěném vydání díla neobjevil), je smuteční pochod ve formě sonátové věty. Otevírá ho tremolo hlubokých smyčců, k němuž se přidávají dechové nástroje, a pozvolna vyrůstá heroické hlavní téma. Další téma, slavnostního charakteru, se také objevuje ve fuze finální věty a rámuje tak celou skladbu. Druhá věta má charakter pomalého ländleru, je transformací rondové formy a má být vzpomínkou na „blažený okamžik života drahého zesnulého“. Ve třetí větě použil Mahler hudební materiál Kázání sv. Antonína rybám, a píseň Prasvětlo zařadil jako altové sólo do čtvrté věty navazující na třetí bez přerušení. Podle skladatelových slov měla vyjadřovat „zápas duše a tázání po Bohu a po božské existenci, která následuje po životě na zemi“. Také pátá věta je připojena attacca. Verše Friedricha Gottlieba Klopstocka (1724–1803), které v ní použil, Mahler upravil a větu charakterizoval takto: „Přišel konec všeho živého, ohlašuje se Poslední soud...“. Nad obrazem apokalypsy však převáží obraz boží lásky, která „nás prozařuje blaženým věděním a bytím“. Ve finále Druhé symfonie Mahler uplatnil představu prostorového zvuku, když připojil hlasy lesních rohů, trubek a tympánů v zákulisí. Pro závěrečný instrumentační efekt symfonie hledal zvony, o jejichž zvuku měl konkrétní představu. Nalezl je u jakéhosi zvonaře ve vesnici blízko Hamburku.
Druhá symfonie byla poprvé provedena pod Mahlerovou taktovkou 4. března 1895 v Berlíně, ovšem bez vokálních vět. Kritika takové fragmentární provedení označila za nevhodné, neboť publikum má právo poznat dílo celé. Tento názor dokumentuje proměnu, jakou prošlo vnímání symfonického díla coby souvislého strukturálního celku od Beethovenových dob. Pochopení Mahlerovy hudby to však neusnadnilo: „Pan Mahler se představil jako skladatel a dirigent. Ačkoli ani jako dirigent nepůsobí právě příjemně pro oko, přece daleko lépe diriguje, než komponuje.“ Recenzenti v díle postrádali formu, vytkli Mahlerovi zálibu v disonancích, které tahají za uši a v krkolomných modulacích, dokonce se ozvalo doporučení, aby symfonie raději nepsal.
Premiéra kompletního díla se konala 13. prosince téhož roku také v Berlíně, opět za řízení skladatele. Sopránové sólo zpívala sólistka hamburské opery Josephine von Artner, která pocházela z Prahy, a Mahler se s ní seznámil již během svého působení v Lipsku. Altový part interpretovala tehdy jednadvacetiletá Hedwig Felden, rovněž rodačka z Čech (narodila se v Teplicích), která rok předtím v Hamburku pod Mahlerovou taktovkou debutovala. I tentokrát někteří recenzenti psali, že autorovi schází první a základní podmínka symfonika, jakou je ovládnutí formy. Vokální složku však přijali s porozuměním a závěrečný sbor označili za „nejlepší část celku“, jež „po symfonii trvající půldruhé hodiny představuje rozhodně působivý, smířlivý závěr“. Dirigent Bruno Walter později prohlásil, že „tímto dnem začal Mahlerův vzestup.“
Pražskou premiéru Mahlerovy Druhé symfonie provedl 18. prosince 1903 Oskar Nedbal s Českou filharmonií posílenou o hráče orchestru Nového německého divadla za spoluúčinkování pražského sboru Hlahol a Vinohradského Hlaholu, sólistkami byly (později spíše jako operetní herečka působící) Božena Durasová (1886–1961) a Gabriela Horváthová (1877–1967). To už kritika psala o díle „hlubokého duchovního ponoru, jež odvahou koncepce, velikostí myšlenek a často ohromující mocí výrazu posluchačem otřásá a zároveň jej povznáší. Existuje jen málo hudebních básní, v nichž je množství instrumentálních a vokálních prostředků vypočítáno tak málo na efekt, zde je vše umělecky zdůvodněno a organicky nezbytné.“
