مرجع دانلود پاورپوینت های درسی

حجم فایل : 211.3 KB
نوع فایل : پاور پوینت
تعداد اسلاید ها : 21
ریشه یابی کلمات فارسی مقدمه
امروزه با گسترش کاربرد زبان در سیستم های رایانه ای، نیاز به پردازش متون در این سیستم ها، بیش از پیش احساس می شود.

ریشه یابی لغات نه به معنای زبان شناسی آن بلکه به معنای دسته بندی کلمات در گروه های معنایی یکسان، امری است که در بسیاری از زمینه های پردازش زبان طبیعی مدنظر می باشد.

فعالیت بر روی زبان فارسی به دلیل حجم کم تلاشها بر روی ریشه یابی کلمات فارسی، کامل بودن گرامر زبان فارسی و همچنین قابلیت بسط الگوریتم های به دست آمده به خانواده ی زبانهای هند و اروپایی به دلیل قرابت ساختاری آنها بسیار قابل توجه می باشد.

به جز مشکلاتی که در زمینه ی رسم الخط فارسی برای سامانه های رایانه ای وجود دارد (کوشا،1381)، مشکلات دیگری نیز در دل دستور زبان فارسی هست که ماهیتاً پردازش آن را برای یک نرم افزار پیچیده می کند. انواع الگوریتم های ریشه یابی الگوریتم های مبتنی بر دیکشنری : کاملترین الگوریتمهای ریشه یابی هستند. مشکلاتی نظیر :
قابلیت گسترش پایین (no scalability)
ناتوانی در دسته بندی کلمات در گروه های معنایی همسان
درجه زمانی و مکانی بسیار بالا
الگوریتم های مبتنی بر قانون : این الگوریتمها، بر روی به دست آوردن ریشه ی کلمات از طریق تعدادی قوانین از پیش تعیین شده کار می کنند.
قوانین موجود ساختارهای زبانشناسی نیستند.
مشکلات روش قبل را ندارند.
از لحاظ مؤفقیت از درصد پایینی برخوردار هستند.
از این دسته الگوریتمها می توان به الگوریتمهای معروف Porter و Lovins و Krovetz... بر روی زبان انگلیسی و الگوریتم ریشه یابی کاظم تقوی و ... بر روی زبان فارسی اشاره کرد.
بررسی الگوریتم porter : در هر برنامه جداسازي پسوند در سيستم هاي IR دو مورد بايستي مد نظر باشد.
اول آنكه در سيستم هاي IR پسوندها به هدف افزايش كارائي سيستم حذف مي شوند و نه به لحاظ عمليات زبانشناسي. اين بدان معني است كه لزومي ندارد تا بفهميم تحت چه شرايطي يك پسوند بايستي حذف گردد.
نكته دوم آن است كه با استفاده از روشي كه توضيح داده خواهد شد؛ يعني با استفاده از ليست پسوندها با قوانين اِعمال متعدد، ضريب موفقيت در حذف پسوندها جدا از آنكه اين پردازش چگونه ارزيابي شود، مطمئناً كمتر از 100 درصد خواهد بود.

ريشه ياب پورتر ريشه ياب كاهش دهندة ادغامي براي زبان انگليسي است كه توسط مارتين پورتر در دانشگاه كمبريج در سال 1980 ارائه شد.

اين ريشه ياب بصورت مرحله اي(5 مرحله كه در هر مرحله قوانين خاصي اِعمال مي شود) و خطي می باشد که در ادامه به این مراحل اشاره می کنیم. در هر مرحله عملیات کاهش یا افزایش روی کلمات صورت می گیرد.
بررسی الگوریتم porter : در زبان انگليسي يك حرف بي صدا(Consonant) در يك كلمه حرفي غير از A,E,I,O,U و Y بعد از يك حرف صدادار است.(واقعيت آن است كه تعريف حرف بي صدا بصورت بازگ...