Мост был внебрачным ребёнком, вскоре после рождения его мать умерла от холеры. Был жертвой физического насилия со стороны мачехи, его отвращение к религии приводило к конфликтам в школе. В двенадцать лет Мост организовал забастовку учеников против особенно ненавистного учителя, в результате чего его исключили из школы. В детстве Мост получил обморожение левой части лица, приведшее к раку. Его жизнь была спасена хирургической операцией, которая необратимо обезобразила его лицо.

Мост стал подмастерьем переплётчика. Ему приходилось работать с рассвета до заката, что позже было описано им как рабство. В 17 лет он стал странствовать по Европе, постоянно меняя род деятельности. С 1863 до 1868 года он посетил 50 городов в 6 странах Он научился делать деревянные ящики для шляп и сигар и продавал их на улице, пока полиция Вены не положила конец его торговле из-за отсутствия лицензии.

В 1874-78 годах Мост был депутатом Рейхстага от Социал-демократической партии Германии. Разочарование в парламентаризме превратило его в убеждённого анархиста. Переехав в Лондон, он основал революционную газету Die Freiheit, где, в частности, приветствовал убийство царя Александра II в России как образец для подражания. За это британские власти посадили его в тюрьму на полтора года. 

В 1882 г. Мост эмигрировал в США, где благодаря ораторскому мастерству у него появились последователи, в том числе Эмма Голдман и Александр Беркман. В Нью-Йорке Мост возобновил издание Freiheit. Он был заключён в тюрьму в 1886 г., снова в 1887 г. и в 1902 году, в последний раз - на два месяца за публикацию после убийства президента Мак-Кинли передовой статьи, в которой он утверждал, что убийство правителя не является преступлением. К концу же своей жизни Мост стал воинствующим атеистом.

В 1892 году Беркман осуществил "пропаганду действием", совершив покушение на Генри Фрика, повинного в репрессиях против рабочих. Однако Беркман не получил поддержки Моста, считавшего, что это повредило делу револщции, вызвав симпатии к Фрику. Разгневанная Гольдман публично хлестнула Моста кнутом по лицу, обвинив того в трусости.

В 1885 г. вышла самая известная книга Моста под названием "Наука революционных военных действий: руководство по использованию и приготовлению нитроглицерина, динамита, пироксилина, гремучей ртути, бомб, запалов, ядов и прочего". В 1906 г. Мост умер в Цинциннати, покинутый своими прежними единомышленниками.

Имя Иоганн - немецкая форма библейского имени Йехоханан, означающего "Яхве милостив".  Имя Джозеф - английская форма библейского имени Иосиф. Фамилия Мост произошла, вероятно, от названия деревни Мосты в Витебской губернии.