Java tokenize une chaîne

Question

Je voudrais tokenize la chaîne suivante. "Je suis allé à la maison avec le frère de Mark, pour jouer à un jeu vidéo." résultat devrait être comme ça.

I 
went 
home 
with 
Mark 
' 
s 
brother 
to 
, 
play 
a 
video 
game 
. 

Pouvez-vous s'il vous plaît me dire comment le faire en utilisant regex.

Answer 1

Si vous voulez vraiment les ,, . et ' sous forme de jetons séparés, vous pouvez diviser comme ceci:

String str = "I went home with Mark's brother, to play a video game."; 
String[] tokens = str.split("(\\s|(?=[,.'])|(?<=[,.']))");