После того как Джим попал к пиратам, Джон Сильвер взял его под свою опеку, стараясь использовать его как заложника и прикрываясь его невинностью. Пираты держали Джима при себе, но в целом не проявляли к нему особой жестокости, хотя и держали под постоянным надзором.