آموزش پردازش زبان طبیعی (NLP) – مقدمه

امروزه پیشرفت حوزه پردازش زبان طبیعی (Natural Language Processing) که با نام مخفف NLP نیز شناخته می‌شود، به‌گونه‌ای بوده که در اکثر فعالیت‌ها و ابزارهایی که به طور روزمره استفاده می‌کنیم، قابل‌مشاهده است.

از دستیار صوتی هوشمند اپل یعنی Siri گرفته تا ابزارهای تصحیح خودکار غلط‌های املایی متون، چت‌بات‌ها و پیشنهادهای گوگل برای ما هنگام جست‌وجو کردن یا همان Google Suggest.

طبق آماری که توسط گوگل منتشر شده، این پیشنهادها بازدهی بالایی دارند زیرا باعث کاهش 25 درصدی تایپ متن، توسط کاربران می‌شوند.

فناوری NLP به ما کمک می‌کند تا متون مختلف را ترجمه کنیم، ایمیل‌های اسپم یا هرزنامه‌ها را از سایر ایمیل‌ها جدا کنیم و همچنین خبرهای جعلی را شناسایی کنیم. به طور خلاصه، با استفاده از NLP، ماشین‌ها و رایانه‌ها این توانایی را دارند که زبان‌ انسان‌ها را درک، پردازش و تفسیر کنند.

سؤالی که ممکن است برای خیلی از ما پیش آید، این است که سازوکار واقعی NLP چیست؟ یعنی چگونه با استفاده از NLP می‌توان زبان انسان را به چیزی تبدیل کرد که توسط رایانه قابل‌درک باشد؟

قرار است در مجموعه‌ای از مقالات که به‌صورت یک آموزش جامع برای شما تهیه شده، به این دسته از سؤالات پاسخ بدهیم. به‌طورکلی مجموعه آموزش پردازش زبان طبیعی شامل سه بخش می‌شود.

در بخش اول، با نحوه پیش‌پردازش داده‌های متنی آشنا‌ شده و داده‌های خود را برای گام‌های بعدی پروژه آماده می‌کنیم.

هنگام کار با داده‌های متنی، باید از متن موردنظر ویژگی‌هایی را استخراج کرده و به بردار (text vectorization) تبدیل کنیم. برای این کار تکنیک‌های مختلفی وجود دارد.

در بخش دوم آموزش پردازش زبان طبیعی، تکنیک Bag-of-Words را معرفی کرده و پروژه‌های دسته‌بندی مانند تحلیل احساسات (Sentiment Analysis) را پیاده‌سازی می‌کنیم.

در بخش سوم و پایانی، با تکنیک Word Embeddings آشنا می‌شویم و آن را در بررسی و تحلیل متنی، به کار می‌بریم.