Родился в 1928 году в Москве. В начале 1940-х занимался в художественной студии Евгения Кропивницкого при Доме пионеров Ленинградского района. В 1946–1948 году учился в Рижской академии художеств, откуда перевелся в Суриковский институт на курс Сергея Герасимова (исключен в 1949 году за «формализм»).

С 1958 года в своем бараке в окраинном районе Москвы Лианозово устраивает воскресные показы работ и поэтические чтения, что позже даст повод называть Рабина главой «Лианозовской школы», в которую вошли художники Николай Вечтомов, Лидия Мастеркова, Владимир Немухин, Лев Кропивницкий, поэты Генрих Сапгир, Игорь Холин, Ян Сатуновский, Всеволод Некрасов. Осенью 1974 стал одним из организаторов знаменитого и разогнанного властями «первого осеннего просмотра картин на открытом воздухе» на пересечении улиц Профсоюзная и Островитянова, который вошел в историю российского современного искусства под названием «Бульдозерной выставки».

В 1977 году под давлением властей покинул СССР. С 1978 года художник, которого в том же году лишили советского гражданства (возвращено в 1990 году), живет во Франции. Среди наиболее значительных его работ — «Паспорт» (1964, частное собрание) и «Натюрморт с рыбой и газетой "Правда"» (1968, Музей искусств Джейн Вурхис Зиммерли Университета Ратгерс, Нью-Джерси).

Лауреат Государственной премии в области современного искусства «Инновация-2005» за творческий вклад в развитие современного искусства. Кавалер ордена Российской академии художеств «За служение искусству».

Произведения Оскара Рабина входят в многочисленные частные и музейные коллекции, в том числе в собрание Центра Помпиду и Музея Майоля в Париже. А сам художник при жизни не покидал десятку самых дорогих ныне живущих российских художников.