EP je izvorno u prosincu 1998. godine trebala objaviti diskografska kuća Iron Fist Productions na sedmoinčnoj gramofonskoj ploči (ta je inačica trebala sadržavati samo prve tri pjesme), no to se nije dogodilo. Na koncu ga je 2001. godine objavio The End Records s dvije dodatne pjesme: "Kneel to the Cross", koja je bila snimljena 2001., i "A Poem by Yeats", koja je bila snimljena 2000. godine. Navedeno je izdanje bilo ograničeno na 2500 primjeraka. Naslovnica EP-a preuzeta je sa slike Le Cerf Se Voyant Dans L'EauGustavea Doréa.[2][3]
Eduardo Rivadavia, glazbeni kritičar sa stranice AllMusic, dodijelio je albumu dvije i pol od pet zvjezdica te je izjavio: "Of Stone, Wind, and Pillor sadrži materijal koji je bio izbačen s prvog Agallochovog albuma, vrlo impresivnog Pale Folklorea iz 1999. godine. Njegove prve tri pjesme [...] vrlo su slične depresivnom ambijentalnom folk metalu koji smo mogli čuti na prvijencu skupine. Preostale dvije pjesme prikazuju veći odmak; među njima se nalazi čudna obrada Sol Invictusovog "Kneel to the Crossa" i skromna ambijentalna skladba pod imenom "A Poem by Yeats". Na neki je način ovo djelo moglo poslužiti kao dobar uvod u Agallochov zahtjevan zvuk čak i u obrnutom kronološkom nizu, ali kad se čuju izvan konteksta cjelovitog albuma, ove kratke snimke zvuče previše razbacano i neusredotočeno."[4]
