Allmanowie zaczęli występować przed publicznością w 1961, grając w różnych lokalnych zespołach. Wkrótce później Duane porzucił szkołę średnią, aby móc skupić się na nauce gry na gitarze. W 1963 wraz z bratem grał w zespole The House Rockers, a w 1965 wspólnie założyli formację Allman Joys. Zespół koncertował w południowo-zachodnich stanach USA. Wraz z bratem osiedlił się w Saint Louis w stanie Missouri. W latach 1967–1968 występował jako muzyk sesyjny w zespole The Hour Glass, z którym nagrał dwa albumy: The Hour Glass (1967) i Power of Love (1968).
W tamtym okresie zaczął również grać na gitarze slide po tym, jak usłyszał muzyka Taj Mahala wykonującego klasyczny utwór Williego McTella „Statesboro Blues”; utwór ten stał się później znakiem rozpoznawczym The Allman Brothers Band. Do gry używał pustej butelki po lekarstwie Coricidin, którą trzymał na drugim palcu (tak samo grali później inni muzycy grający na gitarze slide, m.in. Bonnie Raitt, Rory Gallagher i Gary Rossington). Po rozpadzie zespołu Hour Glass w 1968 wraz z bratem powrócił na Florydę, gdzie nagrali demo z zespołem folkowym 31st of February, którego perkusistą był Butch Trucks.