В последните си четири блога говорих за линейна регресия, функция на разходите, градиентно спускане и някои от начините за оценка на ефективността на линейните модели. Сега, в този блог, ще започнем да изучаваме моделите на класификация и първият от тях е логистичната регресия.
Какво е логистична регресия?
Статистически модел, който обикновено се използва за моделиране на двоично зависима променлива с помощта на логистична функция. Друго име за логистичната функция е сигмоидна функция и се дава от:
Тази функция помага на логистичния регресионен модел да свие стойностите от (-k,k) до (0,1). Логистичната регресия се използва предимно за задачи за двоична класификация; въпреки това може да се използва за многокласова класификация
защо наричаме модел на класификация логистична „регресия“?
Причината за това е, че точно като линейната регресия, логистичната регресия започва от линейно уравнение. Това уравнение обаче се състои от логаритмични коефициенти, които допълнително се предават през сигмоидна функция, която свива изхода на линейното уравнение до вероятност между 0 и 1. И можем да определим граница на решение и да използваме тази вероятност за изпълнение на задача за класификация. Например, да приемем, че прогнозираме дали утре ще вали или не въз основа на дадения набор от данни и ако след прилагане на логистичния модел вероятността излезе 90%, тогава със сигурност можем да кажем, че е много възможно да вали утре От друга страна, ако вероятността излезе 10%, можем да кажем, че утре няма да вали, и по този начин можем да преобразуваме вероятностите в двоични.
Математиката зад логистичната регресия
Можем да започнем, като приемем, че p(x) е линейната функция. Проблемът обаче е, че p е вероятността, която трябва да варира от 0 до 1, докато p(x) е неограничено линейно уравнение. За да разрешим този проблем, нека приемем, че log p(x) е линейна функция на x и освен това, за да я ограничим между диапазон от (0,1), ще използваме логит трансформация. Следователно ще разгледаме log p(x)/(1-p(x)). След това ще направим тази функция линейна:
След решаване на p(x):
За да направим логистичната регресия линеен класификатор, можем да изберем определен праг, напр. 0,5. Сега степента на грешна класификация може да бъде сведена до минимум, ако прогнозираме y=1, когато p ≥ 0,5 и y=0, когато p‹0,5. Тук 1 и 0 са класовете.
Тъй като логистичната регресия предвижда вероятности, можем да я напаснем с помощта на вероятност. Следователно, за всяка точка от данни за обучение x, прогнозираният клас е y. Вероятността за y е или p, ако y=1, или 1-p, ако y=0. Сега вероятността може да бъде записана като:
Умножението може да се преобразува в сума, като се вземе дневникът:
Освен това, след поставяне на стойността на p(x):
Следващата стъпка е да се вземе максимум от горната функция на вероятността, тъй като в случай на логистична регресия се прилага градиентно изкачване (обратно на градиентно спускане).
Оценка на максималната вероятност (MLE)
Метод за оценяване на параметрите на вероятностното разпределение чрез максимизиране на функция на вероятността, за да се увеличи вероятността за възникване на наблюдаваните данни. Можем да намерим MLE, като диференцираме горното уравнение по отношение на различни параметри и го зададем на нула. Например, производната по отношение на един от компонентите на параметъра алфа, т.е. a_j, се дава от:
Надяваме се, че тази публикация ви е помогнала да разберете основното разбиране на математиката зад логистичната регресия.
Препратки
Дърво SN. Обобщени адитивни модели: въведение с R. CRC press; 2017 18 май.
