Отбор признаков

Отбор признаков, также известный как отбор переменных, отбор атрибутов или отбор предикторов (в редких случаях, генерализация) — это разновидность абстрагирования, процесс отбора подмножества значимых признаков (как зависимых, так и независимых переменных) для построения модели. Отбор признаков используется по четырём причинам: * упрощение модели для повышения интерпретируемости * для сокращения времени обучения * во избежание проклятия размерности * улучшение обобщающей способности модели и борьба с переобучением. Центральный посыл использования техники отбора признаков – мысль, согласно которой данные содержат некоторые признаки, если мысли излишни или незначительны, могут быть удалены без существенной потери информации. "Излишний" и "незначительный" являются двумя различными понятиями, поскольку один значимый признак может быть излишним при присутствии другого значимого признака, с которым он сильно коррелирует. Отбор признаков следует отличать от выделения признаков. Выделение признаков создаёт новые признаки, как функции от оригинальных признаков, в то время как отбор признаков возвращает подмножество признаков. Техники отбора признаков часто используются в областях, где имеется много признаков и выборки сравнительно малы (мало точек данных). Классическими местами применения отбора признаков являются анализ рукописных текстов и ДНК-микрочипы, где имеются много тысяч признаков и от десятков до сотен экземпляров выборки.