Беркман был младшим из четырёх детей в состоятельной религиозной семье. Учился в хедере, затем в гимназии в Ковно, откуда был исключён за участие в революционном кружке. В 1888 г. уехал в США. Оказавшись в Нью-Йорке без языка и профессии, Беркман работал посыльным, начал сотрудничать с первыми еврейскими профсоюзами. Позже он познакомился с Эммой Голдман, вместе с ней сблизился с группой немецких анархистов во главе с Йоганном Мостом и начал публиковать в газете Моста "Freiheit" свои статьи с критикой капиталистического общества.

Беркман участвовал в создании первых в США еврейских анархистских кружков "Пионире дер фрайhайт" (Пионеры свободы). Блестящий оратор и яркий публицист, он принадлежал к антиклерикальному направлению анархистской идеологии конца 19-го - начала 20-го века. Современный анархизм считает его, наравне с Эммой Голдман, выразителем космополитических тенденций в движении.

Беркман был активным сторонником "пропаганды действием". В 1892 г., "во имя помощи голодающим семьям бастующих рабочих", он совершил покушение на Генри Фрика, управляющего промышленным концерном Карнеги в Питтсбурге. Беркман был приговорён к 22 годам заключения, вышел на свободу в 1906 г. Работал в школе, редактировал журнал "Mother Earth" (Мать-Земля) и газету "The Blast". В 1914 г. он руководил стачечным комитетом Нью-Йорка.

Во время Первой мировой войны Беркман вёл интенсивную антивоенную пропаганду. В 1919 г. он был приговорён за это к двум годам заключения, а затем был высылан из США вместе с ещё 247 "нежелательными элементами". Беркман и Голдман отправились в Советскую Россию, где оставались до 1921 г. Их горячая симпатия к Советской России вскоре сменилась полным разочарованием в большевистском режиме.

Какое-то время Беркман был иностранным наблюдателем при Реввоенсовете и Культпросветотделе Украинской революционной повстанческой армии (махновцев). После разгрома армии Махно, Кронштадтского восстания и всего анархистского движения в Советской России Беркман и Голдман бежали на Запад.

 Беркман некоторое время жил в Германии, Дании и др. С 1925 г. он жил в Париже, зарабатывал литературным трудом, был секретарём международного "Чёрного Креста" - организации, занимавшейся в те годы в основном помощью анархистам, сидевшим в советских тюрьмах и лагерях. Он автор книг "Тюремные воспоминания анархиста" (Нью-Йорк, 1914), "Русская трагедия", "Кронштадтский мятеж". В 1925 г. вышла его книга "Миф большевизма", в 1929 г. - "Что такое коммунистический анархизм".

В последние годы жизни  Беркман страдал от неизлечимой болезни и застрелился, не в силах выносить постоянную боль..

Имя Овсей восходит к древнегреческому эусебиос - "благочестивый". Осипович - русский патрони от библейского имени Иосиф. Фамилия Беркман произошла от идишского мужского имени Бер, которое означает "медведь", или от идишского слова бирк, которое означает "берёза".