La historia de Tales of Xillia está protagonizada por Jude Mathis, un estudiante de medicina que trabaja en el hospital de la ciudad de Fenmont realizando prácticas, y Milla Maxwell, una misteriosa joven con el poder de invocar a los cuatro espíritus elementales y unas habilidades mágicas sobrenaturales.
La aventura transcurre en el mundo de Rieze Maxia, donde los seres humanos y espíritus conviven en armonía. El reino de Rashugal ha estado experimentando con un poderoso artefacto que ha estado absorbiendo el maná, y conscientes del daño que esto le puede provocar al mundo, Milla y Jude parten en una aventura cuyo objetivo será destruir dicho artefacto y devolver el maná al mundo.