Jego utwory literackie, pisane w jidysz, zyskały olbrzymią popularność, a on sam należy dziś do klasyków poezji żydowskiej.
Jeszcze przed I wojną światową Abraham Goldberg związał się z pochodzącą z bogatej rodziny żydowskiej Anną Różańską – rzeźbiarką, która jako jedna z pierwszych kobiet w Polsce posiadała prawo jazdy. Ze związku tego urodziło się troje dzieci: córka Judyta (Jula) oraz synowie: Beniamin (Nioma) i Józef, znani później jako Jerzy Borejsza i Józef Różański, zbrodniarz komunistyczny. W 1909 Goldbergowie rozeszli się – dwoje starszych dzieci zamieszkało z ojcem, a Józef z matką (do 1914).
W 1914 bracia Goldbergowie rozpoczęli naukę w żydowskim gimnazjum Chinuch, w którym nauczanie kończyło się maturą hebrajską, a później polską. Naukę kończyli już w niepodległej Polsce, ale maturę zdobył tylko młodszy brat Józef. Beniamin miesiąc przed maturą (1924) uciekł z domu i wyjechał do Niemiec. Został złapany na granicy z walizką pełną nielegalnych gazetek, aresztowany i skazany na pół roku więzienia. To właśnie w gimnazjum Beniamin zetknął się na poważnie ze światem idei rewolucyjnych – anarchistycznych i komunistycznych.