Уорделл Грей родился в Оклахома-Сити и был младшим из четырех детей. Его ранние детские годы прошли в Оклахоме, прежде чем он переехал с семьей в Детройт в 1929 году.

В начале 1935 года Грей начал посещать Северо-восточную среднюю школу, а затем перешел в среднюю техническую школу Касса, выпускниками которой были Дональд Берд, Лаки Томпсон и Эл МакКиббон.