Рекомендую следующие книги по дробному исчислению:

Kilbas A.A,. Srivastava H.M., Trujillo J.J. Theory and Applications of Fractional Differential Equations, – Amsterdam: Elsevier, 2006. – 523 c.

Учайкин В.В. Метод дробных производных. – Ульяновск: Артишок, 2008. 512 с.

Нахушев А.М. Дробное исчисление и его применение.- М.: Физматлит., 2003.- 272 с.

Последнюю можно скачать на www.poiskknig.ru