kernel meurt lors de l'optimisation avec scikit

Question

Je suis en train d'effectuer une optimisation avec scikit sur un problème d'apprentissage automatique fonctionnant avec un fichier de 75 mb avec 42k lignes et 784 colonnes contenant des nombres. Travail sur ordinateur portable jupyter. Mais le noyau meurt lorsque j'exécute le code. La même chose avec le terminal.

Y at-il un moyen de gérer ce problème? Train

def (auto, X, Y):

def train(self, X, Y): 

    self.X = X 
    self.Y = Y 

    self.J = [] 

    params0 = self.N.getParams() 

    options = {'maxiter':1, 'disp': True} 

    _res = optimize.minimize(self.costFunctionWrapper, params0, jac=True, 
          method='BFGS', args = (X, Y), 
          options=options, callback = self.callbackF) 
    self.N.setParams(_res.x) 
    self.optimizationResults = _res 

Answer 1

je suis tombé sur la même question, mes recherches me dire que c'est une panne de mémoire.

Beaucoup de gens sur stackoverflow and github de recommander l'aide d'un .py script au lieu d'un cahier jupyter mais parfois cela n'aide pas du tout. Essayez de faire attention à la mémoire que vous utilisez par rapport aux capacités de votre système.