Přesné datum vzniku městského znaku není známo. Předpokládá se, že městečko Nepomuk přejalo znak stejnojmenného cisterciáckého kláštera ležícího na druhé straně Zelené hory, i když dochovaná pečeť kláštera tomu neodpovídá. Patrně byl ale tento znak za cisterciáků městu přidělen. Prvním dochovaným dokladem je pečetidlo z roku 1560, které má opis v latině "pečeť města Nepomuku 1413, obnovena 1560". Je na něm kostel se třemi vysokými okny a křížem na vrcholu střechy. Na štítové straně byl vchod, v němž stála postava Madony s Ježíškem.


Další podobu znaku užívalo město od roku 1719, kdy byl znak rozšířen. Od toho roku bylo užíváno i nové pečetidlo. Kostel byl posazen na zelený trávník a na barokním štítě nad vchodem byl přidán poloviční obraz (na pečetidle reliéf) sv. Jana Nepomuckého. 26. srpna 1730 při povýšení Nepomuka na město byl takto upravený znak potvrzen císařem Karlem VI. Stalo se to rok po svatořečení Jana Nepomuckého. Je zajímavé, že Nepomučtí tento znak dlouho neužívali, ačkoli si ho sami navrhli a císařem nechali potvrdit. Záhy se vrátili k původní podobě znaku, která je užívána dodnes. V některých pramenech se uvádí, že byl určitý čas užíván ve znaku kostel se dvěma průčelími, ale ani tato podoba nevydržela. Znak, který je nyní užíván, je vyobrazen na kašně z roku 1867 na náměstí a byl zobrazován v 19. stol. na praporech. Základem je modrý štít. V něm stojí na zeleném trávníku stříbrný kostel s průčelím napravo, viditelný z boční i štítové strany. Kostel je z kvádrového zdiva, se třemi vysokými, půlkruhem zakončenými, okny. Na hřebenu červené střechy nad oltářem stojí zlatý kříž. Průčelí kostela je zvýšené, ve vrcholu má ozdobný štít. Ve vchodu stojí Madona v červeném a modrém rouchu s bíle oděným Ježíškem na ruce.
