L1 Régularité des moindres carrés

Question

J'essaye de résoudre la fonction d'optimisation de lasso ci-dessous par la méthode des moindres carrés régularisés L1. J'utilise python pour mon projet.

α'* = arg min (||y’–B’α’||_2^2 + λ||α’||_1) 

Ici α'* est un vecteur. Dimension de B’=(m+p)*p, y’=(m+p)*1, α‘=p*1

Je n'ai pas pu résoudre cette équation. S'il vous plaît, n'importe qui expliquer le eqn et la méthode pour résoudre cet eqn dans la méthode des moindres carrés régularisée L1.

Answer 1

Ceci est un problème typique qui peut résoudre avec ODL:

import odl 
import numpy as np 

m = 2 
p = 100 
lam = 0.00001 

# Define B 
B = odl.MatrixOperator(np.random.rand(p, m + p)) 
alpha_true = np.random.rand(m + p) 
y = B(alpha_true) 

# Define functionals 
l2dist = odl.solvers.L2NormSquared(B.range) * (B - y) 
l1 = lam * odl.solvers.L1Norm(B.domain) 
func = l2dist + l1 

# Initial point 
alpha = B.domain.zero() 

# Solve using steepest descent 
odl.solvers.steepest_descent(func, alpha, 
          line_search=0.0003, maxiter=10000, 
          callback=lambda x: print(func(x))) 

Si vous voulez une solution plus rapide, vous devriez regarder dans les méthodes proximales (également disponible en EOD). Un tel exemple est la méthode Fista:

import odl 
import numpy as np 

m = 2 
p = 100 
lam = 0.00001 

# Define B 
B = odl.MatrixOperator(np.random.rand(p, m + p)) 
alpha_true = np.random.rand(m + p) 
y = B(alpha_true) 

# Define functionals 
l2dist = odl.solvers.L2NormSquared(B.range) * (B - y) 
l1 = lam * odl.solvers.L1Norm(B.domain) 
func = l2dist + l1 

# Use FISTA 
alpha = B.domain.zero() 
odl.solvers.accelerated_proximal_gradient(alpha, l1, l2dist, 
              gamma=0.0001, niter=1000, 
              callback=lambda x: print(func(x)))