Так что да, имеются кривые Безье и отрезки, более того, они образуют замкнутые фигуры, и точка замыкания контура известна (т.е. точка, которая является первой и одновременно последней в контуре). Действительно, самая большая проблема - это определить, лежит ли данная точка внутри контура или нет. Все остальное уже готово и работает - не могу лишь придумать, как быстро определять, какая точка внутри контура, а какая - нет.
Создатели cairo советуют читать книги по вычислительной геометрии, в частности, про алгоритм Бентли-Оттмана.
Spoiler:
По сути, этот алгоритм позволяет определить с наименьшими затратами, какие из прямых пересекают текущую строку (sweeping line) и в каких координатах.Похоже, тем не менее, что наилучший способ - это тот, что используется во FreeType, и главное - правильно определить, на сколько линий разбивать кривую Безье.