Yo creo que es poco probable, pero no imposible.
Como dice Paola, si donde él ha tocado con sus dedos había espermatozoides (y en el líquido preseminal los hay) éstos pueden haber entrado en tu vagina cuando él la tocó.
De igual forma también pueden entrar si la eyaculación sucede sobre de la vagina, aunque no esté dentro, porque los espermatozoides se mueven por su propio impulso y puede darse la casualidad de que entren.