Pierwszy kościół wybudowano w Nowej Karczmie około 1600 roku. Jest również cmentarz mennonicki z XVIII wieku. Wędrujące wydmy powodowały, że osada na przestrzeni wieków kilkakrotnie zmieniała swoje położenie. Do 1793 roku miejscowość należała do Gdańska, w tym w latach 1466–1772 była w składzie województwa pomorskiego i wraz z tym miastem do I Rzeczypospolitej. Granica z Prusami Książęcymi przebiegała w tamtym czasie dopiero niespełna 1 km na wschód od sąsiedniej wioski rybackiej Narmeln Polski (obecnie nieistniejąca na terytorium Federacji Rosyjskiej).
Ruchome piaski zasypywały systematycznie zabudowania wsi. Ostatnia taka migracja miała miejsce w 1825 roku.
W czasie II wojny światowej Nowa Karczma uległa zniszczeniu. 1 maja 1945 roku została zajęta przez wojska radzieckie. Z czasem przejęła ją administracja polska, a po wytyczeniu granicy przybyli pierwsi polscy osadnicy.