Group-based FS¶
Hierarchical feature selection of the superdataset, port of dac_fs in
FS_I+D.R. The evaluators and searches that the script took from Weka
(ReliefF, CfsSubsetEval, BestFirst, TabuSearch, WrapperSubsetEval) are
implemented natively.
Inputs: Data (table with class, output of SuperDataset or
GA Training; rows without class are dropped), Events (optional; to
group the features by substring of the event variable names, as in R —
without it the source variable is parsed from the name generated by
SuperDataset, and OUT_* form the OUT group) and Learner
(optional; algorithm for the wrapper phase, Random Forest by default).
Outputs: Reduced Data (only the selected features; class and meta attributes kept), Group Relevance (per group: max ReliefF, number of features, CFS-selected, CFS merit, relevant) and Features (per feature: ReliefF weight, group, phase reached, selected).
Phases
Groups: one group per source event variable.
ReliefF per group (RReliefF for a numeric class): the group relevance is the maximum weight of its features. As in R a group is discarded only if its maximum is exactly 0; a threshold can also be required. Manhattan distance on normalised features; a missing value counts as the maximum difference.
CFS + BestFirst per group: merit
k·r_cf / sqrt(k + k(k-1)·r_ff)with Pearson correlation (numeric class) or symmetric uncertainty on quantile-discretised features (nominal class). BestFirst stops after N expansions without improvement; optionally the locally predictive features are added (CfsSubsetEval default). The selections of all groups are united.Express (optional): global CFS on the union with tabu search.
Wrapper (optional): BestFirst scoring each subset with the learner’s cross-validation (−RMSE in regression, accuracy in classification). The most expensive phase.
The run happens in the background and can be cancelled.
Selección jerárquica de atributos del superdataset, port de dac_fs en
FS_I+D.R. Los evaluadores y búsquedas que allí se tomaban de Weka
(ReliefF, CfsSubsetEval, BestFirst, TabuSearch, WrapperSubsetEval) están
implementados de forma nativa.
Entradas: Data (tabla con clase, salida de SuperDataset o de
GA Training; las filas sin clase se descartan), Events (opcional;
para agrupar los atributos por subcadena del nombre de sus variables, como
R — sin ella la variable de origen se extrae del nombre generado por
SuperDataset, y los OUT_* forman el grupo OUT) y Learner
(opcional; algoritmo para la fase wrapper, Random Forest por defecto).
Salidas: Reduced Data (solo los atributos seleccionados; clase y metadatos conservados), Group Relevance (por grupo: máximo ReliefF, número de atributos, seleccionados por CFS, mérito CFS, relevante) y Features (por atributo: peso ReliefF, grupo, fase alcanzada, seleccionado).
Fases
Grupos: un grupo por variable de eventos de origen.
ReliefF por grupo (RReliefF si la clase es numérica): la relevancia del grupo es el máximo peso de sus atributos. Como en R, un grupo se descarta solo si su máximo es exactamente 0; también puede exigirse un umbral. Distancia Manhattan sobre atributos normalizados; un valor ausente cuenta como diferencia máxima.
CFS + BestFirst por grupo: mérito
k·r_cf / sqrt(k + k(k-1)·r_ff)con correlación de Pearson (clase numérica) o incertidumbre simétrica sobre atributos discretizados por cuantiles (clase nominal). BestFirst termina tras N expansiones sin mejora; opcionalmente se añaden los atributos localmente predictivos (comportamiento por defecto de CfsSubsetEval). Se unen los seleccionados de todos los grupos.Express (opcional): CFS global sobre la unión con búsqueda tabú.
Wrapper (opcional): BestFirst evaluando cada subconjunto con la validación cruzada del learner (−RMSE en regresión, exactitud en clasificación). Es la fase más costosa.
La ejecución corre en segundo plano y puede cancelarse.