В данном предложении необходимо выбрать относительное местоимение, которое будет связывать главное предложение ('Yesterday I saw a man') с придаточным ('works at the library').
Придаточное предложение описывает человека ('a man'), который выполняет действие ('works at the library').
Для описания человека в таком контексте используется местоимение 'who'.
'Which' используется для предметов или животных.
'Where' используется для указания места.
'Whose' используется для обозначения принадлежности.