مرجع دانلود پاورپوینت های درسی

حجم فایل : 792.2 KB
نوع فایل : پاور پوینت
تعداد اسلاید ها : 27
بنام خدا 1 2 Logistic Regression ایده اصلی دسته بندی کننده بیزی برای محاسبه P(Y|X) لازم دارد تا مقادیر P(Y) و P(X|Y) را یاد بگیرد.
چرا مستقیما P(Y|X) یاد گرفته نشود؟
لجستیک رگراسیون مقدار احتمال فوق را محاسبه میکند.
دسته بندی کننده بیزی یک دسته بندی مولد است در حالیکه لجستیک رگراسیون یک دسته بندی کننده discriminative است.
3 4 مقدمه بر خلاف نامش این روش برای دسته بندی مورد استفاده قرار میگیرد نه رگراسیون.
برای حالت K = 2 این مدل بسیار ساده بوده و از یک تابع خطی بهره می جوید.
بردار ورودی بصورت < X1 … Xn > و بردارخروجی Y بولین در نظر گرفته میشود.
تمام Xi ها از Y مستقل فرض شده و مقدار P(Xi | Y = yk) گوسی در نظر گرفته میشود. N(μik,σi)
همچنین توزیع P(Y) بصورت برنولی در نظر گرفته میشود.
مقایسه با رگراسیون خطی برای مدل کردن متغیرهائی که مقادیر محدودی به خود میگیرند بهتر از رگراسیون خطی عمل میکند زیرا مدل خطی هر مقداری را در خروجی تولید میکند درحالی که برای چنین متغیرهائی مقادیر محدودی مورد نیاز است.
در رگراسیون خطی مقدار متغیر مورد نظر از ترکیب خطی متغیرهای مستقل بدست می آید در حالیکه در لجستیک رگراسیون از ترکیب خطی تابع logit استفاده میشود.
در رگراسیون خطی پارامترها به روش least squares بدست می آیند در حالیکه این روش برای لجستیک رگراسیون فاقد کارائی بوده و از روش maximum likelihood estimation برای پیدا کردن پارامترها استفاده میشود. 5 logistic function مقدار این تابع و مشتق آن توسط روابط زیر تعریف میشود: 6 احتمال تعلق به دسته ها احتمال تعلق به هر دسته را میتوان بصورت تابع لجستيک در نظر گرفت:

ضرایب w با استفاده از gradient ascent تعیین میشود. 7 احتمال تعلق به دسته ها برای مقادیر پیوسته رابطه بصورت زیر است 8 فرضیات رابطه قبل برای بدست آوردن رابطه فوق از فرض گوسی بودن توزیع احتمال استفاده شده است: 9 سایر نتایج 10
Discriminant functions مدل LR یک مرز خطی
بین دو دسته تعیین میکند.
برای مرز دو دسته داریم:

از اینرو خواهیم داشت:

11 برای حالت چند کلاسه 12 بدست آوردن وزنها فرض میشود که تعداد L داده آموزشی داشته باشیم.

برای بدست آوردن وزنها میتوان ازmaximum likelihood estimate استفاده کرد:


باید وزنهای W=<w0, ... wn> طوری انتخاب شوند که مقدار درستنمائی داده ماکزیمم شود.
بجای رابطه فوق از درست نمائی شرطی استفاده میشود: 13 Expressing Conditional Log Likelihood میتوان برای محاسبه مقدار فوق از log عبارت فوق استفاده نمود. 14 با فرض اینکه Y فقط یکی از دو مقدار 0 یا 1 را دارد خواهیمداشت: Maximizing Conditional Log Likelihood هیچ راه حل بسته ای برای ماکزیمم کردن درست نمائی شرطی وجود ندارد.


استفاده از تکنیک نزول گرادیان یکی ...