Místo poblíž osady Hájek začalo vznikat již roku 1703 - dne 25.7. večer se kolem vrchu zvaného Tannaberg vracel domů nemocný učitel a regenschori ze Všerub František Payer. Náhle uviděl na vrcholu kopce jasnou záři. Ze zvědavosti se vydal nahoru a spatřil silné světlo vycházející přímo ze země. Když pak světlo zmizelo, pocítil Payer, že i jeho nemoc je náhle pryč. Učitel pak nechal na vrcholu kopce z vděčnosti postavit malou dřevěnou kapli zasvěcenou sv. Anně (k události došlo v předvečer jejího svátku), která se po třech letech stavby stala cílem mnoha poutníků z širokého okolí, z nichž velká část se na místě zázračně uzdravila, což přispělo k další popularitě místa. V letech 1712-17 nahradil z popudu všerubského faráře Schüebela nedostačující kapli velký poutní kostel zbudovaný v barokním stylu klatovským stavitelem Markem Antoniem Gilmettim. V letech 1725-27 byl interiér vyzdoben nákladnými freskami. R. 1723 nechal hraběcí rod Stadionů postavit u kostela poutnický dům (později hospoda s ubytováním) a r. 1747 faru s nadací pro dva kněze - od té doby se Tannaberg stal samostatnou farností. Od r.1816 fungovala na Tannabergu škola. V r. 1865 kostel úderem blesku vyhořel a přes rychlou opravu, při níž byla pod kostelem vyhloubena hrobka Stadionů, začal význam poutního místa upadat. V době 1. republiky byl u hostince přistavěn kulečník.

Po 2. sv. válce začalo celé místo propadat zkáze. V letech 1948-50 byla v kostele stáj pro koně vojáků, vnitřní vybavení bylo rozkradeno a zničeno a postupně byly strženy všechny objekty kolem. V 60.letech byl zpustošen interiér kostela i hraběcí hrobka. V uvolněném roce 1968 byla svatyně zčásti opravena a zohavené ostatky Stadionů si odvezli jejich příbuzní Schönbornové do Německa. Další část obnovy proběhla v letech 1978-79. Až v letech 1992-95 proběhla z iniciativy německých rodáků kompletní rekonstrukce kostela a byla obnovena tradice svatoanenských poutí.