Which x That

A Baptist missionary in Africa was just walking when he heard the sound of a lion behind him.
"Oh Lord," prayed the missionary, "Grant in thy goodness that the lion walking behind me is a good Christian lion."
In the silence that followed, the missionary heard the lion praying too: "Oh Lord," he prayed, "I thank thee for the meal which I am about to enjoy"

Para entender essa diferença, primeiro precisamos saber o que são as relative clauses.

Defining relative clauses trazem uma informação importante e são introduzidas por who quando falamos de pessoas e which quando de coisas:

Every man has a woman who loves him.
The book which I bought yesterday is very good.

No primeiro caso, é melhor manter o who: that é raramente usado para se referir a pessoas e você não vai querer escrever isso em algo o minímo formal. Já o segundo caso até prefere o uso do that:

The book that I bought yesterday is very good.

É nas non-defining relatives clauses que o uso do which impera sem rivais. Essas orações, geralmente entre vírgulas, fornecem uma informação que poderia ser omitida.

The book, which I bought yesterday, is very good.

Nessas orações é desaconselhável o uso do that.

Há tambeém uma outra situação em que which não pode ser substituído por that: é quando which é igual "o fato". Veja:

She had to leave earlier, which made me sad.

"O fato" de que ela tinha que ir embora mais cedo me deixou triste.