Comment faire fonctionner ActiveRecord avec des bases de données/tables partitionnées/partagées héritées?

Question

merci pour votre temps d'abord ... après toute la recherche sur google, github et ici, et a obtenu plus confus au sujet des grands mots (partition/tesson/fedorate), je me dis que je dois décrire le problème spécifique que j'ai rencontré et Demande autour de toi.

Mes bases de données de l'entreprise traite des utilisateurs massifs et les commandes, donc nous avons divisé les bases de données et des tables de différentes manières, certains sont décrits ci-dessous:

way    database and table name  shard by (maybe it's should be called partitioned by?) 
YZ.X   db_YZ.tb_X     order serial number last three digits 
YYYYMMDD.  db_YYYYMMDD.tb    date 
YYYYMM.DD  db_YYYYMM.tb_ DD    date too 

Le concept de base est que les bases de données et tables sont séparées acording à un champ (pas nessissarily la clé primaire), et il y a trop de bases de données et trop de tables, de sorte que l'écriture ou la génération magique d'une database.yml config pour chaque base de données et un modèle pour chaque table n'est pas possible ou du moins pas la meilleure solution . J'ai examiné les solutions magiques de drnic, et datafabric, et même le code source d'enregistrement actif, peut-être que je pourrais utiliser ERB pour générer database.yml et faire une connexion de base de données autour du filtre, et peut-être que je pourrais utiliser named_scope le nom de la table pour trouver, mais les opérations de mise à jour/création sont limitées à "self.class.quoted_table_name" de sorte que je ne pourrais pas facilement résoudre mon problème. Et même je pourrais générer un modèle pour chaque table, parce que sa quantité est jusqu'à 30 plus.

Mais ce n'est tout simplement pas sec!

Ce que je besoin est une solution propre comme le DSL suivante:

class Order < ActiveRecord::Base 
    shard_by :order_serialno do |key| 
     [get_db_config_by(key), #because some or all of the databaes might share the same machine in a regular way or can be configed by a hash of regex, and it can also be a const 
     get_db_name_by(key), 
     get_tb_name_by(key),   
     ] 
    end 
end 

Quelqu'un peut-il me illuminera? Toute aide serait grandement appréciée ~~~~

Answer 1

Le deuxième cas (où seuls les changements de nom de base de données) est assez facile à implémenter avec DbCharmer. Vous devez créer votre own sharding method dans DbCharmer, cela retournerait un hash de paramètres de connexion basé sur la clé.

deux autres cas ne sont pas pris en charge tout de suite, mais ils pourraient être facilement ajoutés à votre système:

1. Vous implémenter la méthode de sharding qui sait comment traiter les noms de base de données dans votre fragmentées dabatase, cela vous donnera une possibilité de faire shard_for(key) appels à votre modèle pour changer de connexion db.

2. vous ajoutez une méthode comme ceci:

   class MyModel < ActiveRecord::Base 
       db_magic :sharded => { :sharded_connection => :my_sharding_method } 
   
       def switch_shard(key) 
       set_table_name(table_for_key(key)) # switch table 
       shard_for(key)      # switch connection 
       end 
   end 
   

3. Maintenant, vous pouvez utiliser votre modèle comme celui-ci:

   MyModel.switch_shard(key).first 
   MyModel.switch_shard(key).count 
   

   et, étant donné que vous avez shard_for(key) résultats d'appels renvoyés par la méthode switch_shard, vous pouvez l'utiliser comme ceci:

   m = MyModel.switch_shard(key) # Switch connection and get a connection proxy 
   m.first      # Call any AR methods on the proxy 
   m.count 
   

Answer 2

Si vous voulez ce DSL particulier, ou quelque chose qui correspond à la logique derrière le sharding hérité, vous aurez besoin de creuser dans ActiveRecord et écrire une gemme pour vous donner ce genre de aptitude. Toutes les solutions existantes que vous mentionnez n'ont pas nécessairement été écrites en tenant compte de votre situation. Vous serez peut-être capable de plier n'importe quel nombre de solutions à votre volonté, mais à la fin vous devrez probablement écrire du code personnalisé pour obtenir ce que vous cherchez.

Answer 3

Cela ressemble, dans ce cas, vous ne devriez pas utiliser SQL.

Si les ensembles de données sont gros et peuvent être exprimés en paires clé/valeur (avec une légère dénormalisation), vous devriez vous pencher sur les solutions couchDB ou autres solutions noSQL. Ces solutions sont rapides, entièrement évolutives et basées sur REST. Elles sont donc faciles à développer, à sauvegarder et à répliquer.

Nous avons tous réussi à résoudre tous nos problèmes avec le même outil (Croyez-moi, j'essaie aussi).

Il serait beaucoup plus facile de passer à une solution noSQL puis de réécrire activeRecord.