Ответ:

Причастный оборот стоит после определяемого слова «книга», поэтому отделяется запятой.

Книга лежавшая на столе, была открыта на первой странице.

Правильно: Книга, лежавшая на столе, была открыта на первой странице.