Pracę w szkolnictwie rozpoczął w 1885 r., mając absolutorium wyższej uczelni. W latach 1897–1910 był prezesem Towarzystwa Nauczycieli i Nauczycielek Żydów oraz członkiem Komitetu Walki z Analfabetyzmem. W 1910 r. założył przy ul. Spacerowej 29 (al. Kościuszki) 7-klasową Żeńską Szkołę Handlową (w 1913 r. przeniósł ją na ul. Zieloną 8). W 1921 r. szkoła została przekształcona na Gimnazjum Żeńskie o profilu humanistycznym i ulokowana w budynku obok przy ul. Zielonej 10. W 1925 r. Józef Ab pozostawał jej właścicielem, choć szkoła została przejęta przez nauczycieli zorganizowanych w Zrzeszenie Pedagogów Sp. z o.o. W 1931 r. zakończył pracę, a placówka otrzymała honorowo jego imię. Dyrektorem szkoły został Ludwik Krajeński, a w latach 1933–1939 kierowała nią Stella Estera Reinowa. Nauczanie odbywało się w języku polskim, a lekcje języka hebrajskiego traktowano jako nadobowiązkowe. Placówka uzyskała status szkoły państwowej dopiero w roku szkolnym 1938/39, natomiast liceum nadal nie posiadało tych uprawnień.
W latach 30. XX w. Ab mieszkał z córką Nadieżdą przy ul. Piotrkowskiej 118. Jego żona Berta, z zawodu dentystka, zmarła w 1934 r., a syn Michał poległ na wojnie w 1916 r. W okresie okupacji Józef Ab trafił do łódzkiego getta, zamieszkał przy ul. Dworskiej 14 (ul. Org. “WiN”), gdzie zmarł 7 lutego 1941 r. Został pochowany na cmentarzu żydowskim przy ul. Brackiej.
