W miejscowym merostwie znajduje się obraz Charlesa Ginoux z 1736 przedstawiający wieś Lavandou i żony rybaków piorące ubrania.
Historia W czasach imperium rzymskiego istniała założona przez Greków osada Alconis, znajdująca się w pobliżu Le Lavandou, w zatoce Cavalière. Już od dawna w okolicy istniała przystań. Okolice były często najeżdżane i niszczone przez korsarzy (m.in. w 730, 1393 i 1529) i inne wojska. W 1831 roku miejscowość liczyła 146 mieszkańców; wielu z nich miało pochodzenie genueńskie i katalońskie. Port został wybudowany w roku 1880. Mieszkańcy utrzymywali się głównie z rybołówstwa (w 1901 roku wyłowili 135 t ryb).
Przez lata Le Lavandou było częścią gminy Bormes-les-Mimosas. Wniosek o odłączenie został złożony w roku 1909 i przyjęty przez władze centralne w 1913. 25 maja 1913 Le Lavandou stało się samodzielną gminą. W 1926 powstało pierwsze biuro informacji turystycznej.
8 listopada 1942, podczas II wojny światowej siły alianckie wylądowały w Maroku i Algierii, w odpowiedzi na co wojska niemieckie i włoskie zajęły południową, wcześniej nieokupowaną część Francji, w tym Le Lavandou. Część mieszkańców była prześladowana lub deportowana.