Выражение "be sorry for" (извиняться за что-то) используется, когда речь идет о причине извинения. В данном случае Джеймс извиняется за то, что забыл день рождения.
James said he was sorry for forgetting my birthday.