Родился в Елисаветграде в обедневшей дворянской семье. Детские и юношеские годы Олеши прошли в Одессе, где началась и его литературная деятельность.
Двадцатилетний Олеша вместе с молодым Катаевым и только начинавшими Ильфом и Багрицким был одним из самых активных сотрудников «Бюро украинской печати» (подобно Окнам РОСТА), входил в «Коллектив поэтов», писал стихи.
С 1922 Олеша жил в Москве, работал в железнодорожной газете «Гудок», где почти каждый день появлялись его стихотворные фельетоны, выходившие под псевдонимом «Зубило». Работая в газете, он много ездил, повидал многих людей, накопил большой запас жизненных наблюдений. Фельетонист «Зубило» очень помог писателю Олеше.
В 1927 был опубликован его роман «Зависть», в 1928 вышла в свет яркая и увлекательная книга — «Три толстяка», сразу принятая детьми и продолжающая оставаться любимым детским чтением.
Э. Казакевич, большой друг Олеши, писал: «Олеша — один из тех писателей, которые не написали ни единого слова фальши. У него оказалось достаточно силы характера, чтобы не писать то, чего он не хотел».
В 1931 вышел сборник «Вишневая косточка», объединивший рассказы Олеши разных лет. В это же время на сцене Театра им. Вс. Мейерхольда состоялась премьера пьесы «Список благодеяний». Киноповесть «Строгий юноша» была опубликована в 1934, после чего имя Олеши встречалось в печати только под статьями, рецензиями, заметками, очерковыми зарисовками, иногда — рассказами. Он написал воспоминания о современниках (Маяковском, А.Толстом, Ильфе и др.), этюды о русских и зарубежных писателях, чье творчество особенно ценил (Стендале, Чехове, Марке Твене и др.).
Повествовательная манера Ю. Олеши отличается причудливым сочетанием красок, неожиданностью ассоциативных сближений. Произведения Олеши переведены на многие иностранные языки.
По сценариям Олеши были поставлены фильмы «Болотные солдаты» и «Ошибка инженера Кочина»; для театра им. Евг. Вахтангова Олеша инсценировал роман «Идиот». Главным делом в последний период жизни считал работу, которую вел изо дня в день, придумав условное название «Ни дня без строчки», предполагая позднее написать роман. Смерть от инфаркта 10 мая 1960 оборвала работу.