مرجع دانلود پاورپوینت های درسی

حجم فایل : 1.1 MB
نوع فایل : پاور پوینت
تعداد اسلاید ها : 73
بنام خدا 1 2 Mixture of Experts مقدمه ایده اصلی در این است که نواحی مختلف ورودی با یادگیرهای مختلفی پوشش داده شوند. 3 روش سه روش در ادامه مورد بحث قرار خواهند گرفت.
Mixtures of linear regression models
Mixtures of logistic regression models
Mixture of experts model
4 Maximum Likelihood Estimation قبل از ادامه بحث مقدماتی در مورد MLE ارائه میشود:



Likelihood = Probability (Data | Model)
Maximum likelihood:
Best estimate is the set of parameter values which gives the highest possible likelihood.
در واقع میخواهیم بهترین مدلی را پیدا کنیم که باعث بوجود آمدن داده شده است. در یک تابع درستنمائی داده ثابت فرض شده و بدنبال بهترین مدل ( در حقیقت بهترین پارامترهای یک مدل از پیش فرض شده) هستیم.


5 Likelihood Function مثال Suppose the following are marks in a course
55.5, 67, 87, 48, 63
Marks typically follow a Normal distribution whose density function is


Now, we want to find the best , such that مثال Suppose we have data about heights of people (in cm)
185,140,134,150,170
Heights follow a normal (log normal) distribution but men on average are taller than women. This suggests a mixture of two distributions
A Mixture Distribution Maximum Likelihood Estimation در عمل مسئله انتخاب بهترین مدل به مسئله انتخاب بهترین پارامتر برای مدل از پیش فرض شده تقلیل داده میشود. چرا؟
لذا قصد داریم پارمتری مثل p را که احتمال تولید داده توسط مدل را حداکثر میکند بدست آوریم. پارامتر p را maximum likelihood estimator مینامند.
برای پیدا کردن مقدار ماکزیمم میتوان از مشتق گیری استفاده نمود. Example of MLE


Now, choose p which maximizes L(p). Instead we will maximize l(p)= LogL(p) Two Important Facts If A1,,An are independent then


The log function is monotonically increasing. x · y ! Log(x) · Log(y)

Therefore if a function f(x) >= 0, achieves a maximum at x1, then log(f(x)) also achieves a maximum at x1. Properties of MLE There are several technical properties of the estimator but lets look at the most intuitive one:
As the number of data points increase we become more sure about the parameter p Properties of MLE r is the number of data points. As the number of data points increase the
confidence of the estimator increases. Matlab commands [phat,ci]=mle(Data,’distribution’,’Bernoulli’);

[phi,ci]=mle(Data,’distribution’,’Normal’);


راه حل مسئله Problem:
Describe data with...