Учился в студии художника С.М. Зайденберга в Ленинграде (1930-1932) и в Академии художеств (1932-1939).

Грицай - продолжатель традиций русского лирического пейзажа конца XIX - начала ХХ вв.; писал преимущественно пейзажи Подмосковья. Картины Грицая запоминаются камерностью, задушевностью. Их главная притягательность - в простоте мотива, во внимании к малой, незаметной части природы. Грицай писал природу ради нее самой, ее самые укромные, тихие и будничные уголки. Художник ставил перед собой задачу - создавать не торжественные оды, а что-то вроде лирических стихотворений. Таковы знаменитые "Подснежники. Осинник" (1957), получившие бронзовую медаль на Всемирной выставке в Брюсселе (1958).

Грицай также любил писать животных ("Первая зелень. Стадо", 1957; "Туман. Телята", 1962). Художника привлекали и зимние, и осенние мотивы, но он во всем предпочитал переходные моменты, также и во времени дня (любимое время - сумерки). Мотивы часто повторяются, складываются в серии картин, повествующих о световоздушной ткани природы в разных условиях. Грицай большое внимание уделял колориту картины, который у него всегда гармоничен. Работы его написаны легко и свободно, но за ними стоит, как правило, долгая работа. Художник на протяжении многих лет оставался верен избранным образам и темам.

Долгое время Грицай преподавал в Художественном училище памяти 1905 года и в Московском государственном художественном институте имени Сурикова. Работы хранятся во многих музеях России.