Group-based FS

Hierarchical feature selection of the superdataset, port of dac_fs in FS_I+D.R. The evaluators and searches that the script took from Weka (ReliefF, CfsSubsetEval, BestFirst, TabuSearch, WrapperSubsetEval) are implemented natively.

Inputs: Data (table with class, output of SuperDataset or GA Training; rows without class are dropped), Events (optional; to group the features by substring of the event variable names, as in R — without it the source variable is parsed from the name generated by SuperDataset, and OUT_* form the OUT group) and Learner (optional; algorithm for the wrapper phase, Random Forest by default).

Outputs: Reduced Data (only the selected features; class and meta attributes kept), Group Relevance (per group: max ReliefF, number of features, CFS-selected, CFS merit, relevant) and Features (per feature: ReliefF weight, group, phase reached, selected).

Phases

  1. Groups: one group per source event variable.

  2. ReliefF per group (RReliefF for a numeric class): the group relevance is the maximum weight of its features. As in R a group is discarded only if its maximum is exactly 0; a threshold can also be required. Manhattan distance on normalised features; a missing value counts as the maximum difference.

  3. CFS + BestFirst per group: merit k·r_cf / sqrt(k + k(k-1)·r_ff) with Pearson correlation (numeric class) or symmetric uncertainty on quantile-discretised features (nominal class). BestFirst stops after N expansions without improvement; optionally the locally predictive features are added (CfsSubsetEval default). The selections of all groups are united.

  4. Express (optional): global CFS on the union with tabu search.

  5. Wrapper (optional): BestFirst scoring each subset with the learner’s cross-validation (−RMSE in regression, accuracy in classification). The most expensive phase.

The run happens in the background and can be cancelled.

Selección jerárquica de atributos del superdataset, port de dac_fs en FS_I+D.R. Los evaluadores y búsquedas que allí se tomaban de Weka (ReliefF, CfsSubsetEval, BestFirst, TabuSearch, WrapperSubsetEval) están implementados de forma nativa.

Entradas: Data (tabla con clase, salida de SuperDataset o de GA Training; las filas sin clase se descartan), Events (opcional; para agrupar los atributos por subcadena del nombre de sus variables, como R — sin ella la variable de origen se extrae del nombre generado por SuperDataset, y los OUT_* forman el grupo OUT) y Learner (opcional; algoritmo para la fase wrapper, Random Forest por defecto).

Salidas: Reduced Data (solo los atributos seleccionados; clase y metadatos conservados), Group Relevance (por grupo: máximo ReliefF, número de atributos, seleccionados por CFS, mérito CFS, relevante) y Features (por atributo: peso ReliefF, grupo, fase alcanzada, seleccionado).

Fases

  1. Grupos: un grupo por variable de eventos de origen.

  2. ReliefF por grupo (RReliefF si la clase es numérica): la relevancia del grupo es el máximo peso de sus atributos. Como en R, un grupo se descarta solo si su máximo es exactamente 0; también puede exigirse un umbral. Distancia Manhattan sobre atributos normalizados; un valor ausente cuenta como diferencia máxima.

  3. CFS + BestFirst por grupo: mérito k·r_cf / sqrt(k + k(k-1)·r_ff) con correlación de Pearson (clase numérica) o incertidumbre simétrica sobre atributos discretizados por cuantiles (clase nominal). BestFirst termina tras N expansiones sin mejora; opcionalmente se añaden los atributos localmente predictivos (comportamiento por defecto de CfsSubsetEval). Se unen los seleccionados de todos los grupos.

  4. Express (opcional): CFS global sobre la unión con búsqueda tabú.

  5. Wrapper (opcional): BestFirst evaluando cada subconjunto con la validación cruzada del learner (−RMSE en regresión, exactitud en clasificación). Es la fase más costosa.

La ejecución corre en segundo plano y puede cancelarse.