В данном предложении слово 'me' не является необходимым. Предложение 'He said it wasn't his book' уже грамматически верно и несет полный смысл. Добавление 'me' ('He said to me it wasn't his book') изменило бы смысл, указав, кому он это сказал, но в рамках данного задания, где нужно решить, нужно ли слово в предложении, оно не является обязательным для понимания основного утверждения.