confluent-3.2.0 Paramètres de la partition par défaut du connecteur S3

Question

J'ai réussi à écrire le flux de données de ma rubrique dans mon compartiment s3, mais les données sont partitionnées numériquement (partition = 0).

affichage actuel: (Amazon S3> Godet nom> Thèmes> Test> partition = 0

Est-il possible de partitionner les données par date (aaaa-mm-dd) Et si oui, où serait le? configuration pour remplacer les paramètres de partition par défaut.

Merci pour votre aide, Warsame

Answer 1

Comme il est indiqué dans le documentation, le connecteur a un partitionneur connectable et intégré TimeBasedPartitioner qui peut diviser les données en fonction lors de l'ingestion Les divers partitioner configuration parameters al faible vous de contrôler des choses comme la structure du répertoire. Il y a même un DailyPartitioner qui est une spécialisation de TimeBasedPartitioner qui produit une structure de chemin comme /year=2017/month=12/day=07.

Si aucune de ces méthodes ne fonctionne, vous avez toujours la possibilité d'implémenter une classe Partitioner personnalisée ou de spécialiser la classe TimeBasedPartitioner (ou l'une de ses sous-classes) si cela est plus facile.