Tóth József Mezősason (Bihar megye) született, ahol apja néptanító volt. A debreceni református főiskolában tanult, jogi tanulmányait a pesti egyetemen végezte. 1860-tól 1876-ig a Pejacsevichek, Zichy grófok és Ürményiek családjában foglalt el nevelői állást. Alig fél évig tartó Sopron megyei segédtanfelügyelői szereplése után 1877. február 10-én foglalta el Pest-Pilis-Solt-Kiskun vármegye tanfelügyelői tisztségét, melyet 1905-ig töltött be. 1887-ben Újpest díszpolgárává választotta.

Hivatalos teendőin kívül tevékenyen részt vett a tanügy társadalmi mozgalmaiban is. Az országos tanítói árvaházi egyesületnek megalakítása után csakhamar elnöke lett. Másodelnöke volt az 1884-ben alakult Országos Magyar Iskolaegyesületnek. Célja az volt, hogy támogasson minden törekvést, ami Magyarország területén, különösen pedig a nem magyar ajkú polgárok által lakott vidékeken és a fővárosban a magyar nyelv terjesztését, a magyar szellem ébresztését és fenntartását szolgálta.  Megjutalmazta a nem magyar ajkú, de a magyar nyelv elsajátításában kiváló tanulókat, tanítókat. Népszerű irodalmi termékeket adott ki, felolvasásokat rendezett. Olvasószobákat (népkaszinókat), ifjúsági és népkönyvtárakat, gyermekkerteket, gyermekmenhelyeket és -óvókat létesített. A felnőtt nem magyar ajkúak számára magyar nyelvű tanfolyamokat rendezett és támogatott. A nem magyar ajkú vidékeken magyar nép-, sőt szakiskolák létesülését mozdította elő. A kormány, hogy szép és fontos tervét, a főváros környékének magyarosítását elősegítse, nagy költséggel 45 állami iskolát és 14 kisdedóvó-intézetet állított fel. Pest megye hatósága előterjesztésére 1879 óta évente 300, majd 400 forint jutalmat adott a magyar nyelv tanításában érdemeket szerzett tanítók javára.

Tóth Józsefnek jelentékeny része volt a barlanglakások felszámolásával kapcsolatos első nagyközségi rendelet megszületésében. 1902-ben Budafok díszpolgárává avatták. 1903-ban vonult nyugállományba, érdemeinek elismeréséül 1904-ben Budafok képviselőtestülete egy 400 négyszögöles telekkel ajándékozta meg, amit Tóth József a református templom építésére ajánlott fel (1910-re ezen a telken épült fel az első budafoki református imaház). Számos pedagógiai cikkét közölte a Néptanítók Lapja és a Magyar Tanügy. Gödön hunyt el 1912. augusztus 21-én, élete 74., házasságának 43. évében., Budafokon az egykori Diófa utcát még 1890-ben róla nevezték el, Kispesten is névadója egy utcának. 2004-ben a Savoyai Jenő Asztaltársaság emléktáblát állított tiszteletére a Savoyai Jenő téren.

Tóth József nevét viseli a legjobb kerületi pedagógusok kitüntetésére alapított önkormányzati díj. A kerületi önkormányzat a Budapesti Városvédő Egyesület Promontor-Tétény munkacsoportja kezdeményezésére, Újpest önkormányzatával közösen síremléket állíttat a centenáriumra. Ezzel is erősíteni kívánjuk a múlt és a jelen közötti szellemi folytonosságot, nagy elődeink hagyományának vállalását.