На отрезке АВ выбрана точка С так, что АС=5 и ВС=8.

Точка касания пусть будет D.
Получили прямоугольный треугольник ABD.
AD = AC=5
AB= 5+8=13
BD (КАТЕТ), AB (гипотенуза),  AD(катет).
По теореме Пифагора квадрат гипотенузы равен сумме квадратов катетов.
13*13- 5*5=144
корень из 144 равен 12.