فهرست مطالب
در مقاله پردازش زبان طبیعی چیست فهمیدیم راه ارتباطی انسان‌ها و ماشین‌ها، از NLP می‌گذرد. در بین حوزه‌های مختلف علوم کامپیوتر NLP رشد بسیار سریعی داشته و جایگاه خود را در دنیای تکنولوژی و زندگی روزمره پیدا کرده است. در این مقاله، ابتدا درباره کاربردهای پردازش زبان طبیعی صحبت می‌کنیم تا بیشتر با این جایگاه آشنا شویم. سپس دو مولفه اصلی NLP، یعنی NLU و NLG را تعریف می‌کنیم.
کاربردهای پردازش زبان طبیعی
تعدادی از کاربردهای NLP عبارت‌اند از:
- ترجمه ماشینی (Machine Translation)
- تشخیص گفتار (Speech Recognition)
- تجزیه‌وتحلیل احساسات (Sentiment Analysis)
- پرسش‌وپاسخ (Question Answering)
- خلاصه‌سازی متن (Summarization of Text)
- چت‌بات (Chatbot)
- سیستم‌های هوشمند (Intelligent Systems)
- دسته‌بندی متن (Text Classifications)
- تشخیص کاراکتر (Character Recognition)
- بررسی املای متون (Spell Checking)
- تشخیص اسپم یا هرزنامه (Spam Detection)
- تکمیل خودکار (Autocomplete)
- شناسایی موجودیت‌های نامدار (Named Entity Recognition)
- پیش‌بینی کلمات بعدی (Predictive Typing)
- استخراج اطلاعات (Information Extraction)
حال به بررسی برخی از کاربردهای ذکر شده می‌پردازیم:
پرسش‌وپاسخ (Question Answering)
سیستم‌هایی که به طور خودکار به سؤالات پاسخ می‌دهند. مثلاً اینکه یک سیستم هوشمند به‌صورت خودکار به سوال “اولین پایتخت ایران کجا بود؟” جواب بدهد.
تشخیص اسپم یا هرزنامه (Spam Detection)
یکی از کاربردهای پردازش زبان طبیعی تشخیص اسپم یا هرزنامه است. از تشخیص اسپم برای شناسایی ایمیل‌های ناخواسته‌ای که برای یک کاربر ارسال شده‌اند، استفاده می‌شود.
تجزیه‌وتحلیل احساسات (Sentiment Analysis)
تجزیه‌وتحلیل احساسات با نام دیگر عقیده کاوی نیز شناخته می‌شود که می‌توان از آن در وب و سایر شبکه‌های اجتماعی برای تجزیه‌وتحلیل حالت، رفتار و احساسات کاربران استفاده کرد. برای پیاده‌سازی آن می‌توانیم از پردازش زبان طبیعی (NLP) همراه با آمار استفاده کنیم تا تعیین کنیم که محتوای یک متن، (مثبت، منفی یا خنثی) بوده و کاربر با نوشتن آن چه احساسی داشته؛ یعنی هنگام نوشتن متن (شاد، غمگین، عصبانی و …) بوده است.
اگر می‌خواهید کار بر روی پروژه‌های واقعی NLP را یاد بگیرید، دوره آموزش پردازش زبان طبیعی مقدماتی را از دست ندهید.
ترجمه ماشینی (Machine Translation)
از دیگر کاربردهای پردازش زبان طبیعی ترجمه ماشینی می‌باشد. ترجمه ماشینی برای تبدیل متن یا گفتار از یک زبان طبیعی (ورودی) به زبان طبیعی دیگر (خروجی)، استفاده می‌شود.
غلط یابی و اصلاح نگارش(Spell Checking)
دو نرم‌افزار پرکاربردی که برای پردازش کلمات، بررسی و اصلاح املای متون استفاده می‌شوند، MS-word و PowerPoint هستند که توسط شرکت مایکروسافت ارائه شده‌اند.
تشخیص گفتار (Speech Recognition)
کاربردهای پردازش زبان طبیعی حوزه های مختلفی چون تشخیص گفتار را شامل می‌شود. در تشخیص گفتار، محتوای صوتی به متن تبدیل می‌شود که می‌توان در اپلیکیشن‌های موبایل، اتوماسیون خانگی، بازیابی ویدئو، بیومتریک صوتی (احراز هویت از طریق صوت)، رابط کاربری صوتی، تبدیل گفتار به نوشتار توسط Microsoft Word از آن استفاده کرد. از معروف‌ترین نمونه‌های آن، دستیار صوتی آمازون (الکسا) است.
چت‌بات (Chatbot)
از مهم‌ترین کاربردهای پردازش زبان طبیعی پیاده‌سازی چت‌بات است که توسط بسیاری از شرکت‌ها به‌عنوان یکی از راه‌های ارتباط با مشتریان استفاده می‌شود و هدف آن، پاسخ‌دهی خودکار به سؤالات مشتریان بدون دخالت نیروی انسانی است. فرض کنید وارد یک سایت شده‌اید و در قسمت پایین سایت، یک صفحه چت باز شده و “سلام، وقت به خیر. چه کمکی می‌توان بکنم؟” قابل‌مشاهده است. اگر به سوالات شما به‌صورت خودکار پاسخ داده شود، شما با یک چت‌بات صحبت می‌کنید.
استخراج اطلاعات (Information Extraction)
استخراج اطلاعات یکی دیگر از مهم‌ترین کاربردهای پردازش زبان طبیعی است و برای استخراج اطلاعات ساخت‌یافته (Structured Information) از اطلاعات غیر ساخت‌یافته (Unstructured Information) یا نیمه‌ساخت‌یافته (Semi-structured Information) استفاده می‌شود که برای ماشین‌ها و رایانه‌ها بسیار مفید خواهد بود. مثلاً استخراج کد ملی از روزنامه‌های رسمی.
در صورتی که با NLP آشنایی کافی دارید، دوره آموزش متن کاوی فارسی با شبکه‌های عصبی را تهیه کنید. در این دوره، با تمرکز روی زبان فارسی، جدیدترین تکنیک های پردازش زبان طبیعی با کدنویسی فراوان آموزش داده می شود.
مراحل پردازش زبان طبیعی
اگر دید کلان به پردازش زبان طبیعی داشته باشیم، دو تقسیم‌بندی کلی وجود دارد:
درک زبان طبیعی چیست؟
درک زبان طبیعی (NLU: Natural-language understanding)، به ماشین‌ها و رایانه‌ها کمک می‌کند تا با استخراج فراداده (metadata) از محتوای ارائه شده مانند مفاهیم (concepts)، موجودیت‌ها (entities)، کلمات کلیدی (keywords)، احساسات (emotion)، روابط (relations) و نقش‌های معنایی (semantic roles)، زبان انسان‌ها را درک، تجزیه‌وتحلیل کنند. پس هدف اصلی NLU درک متون است.
عمدتاً NLU در برنامه‌های تجاری، برای درک مشکل مشتری و شکایت که به‌صورت زبان گفتاری یا نوشتاری بیان شده، استفاده می‌شود.
وظایف NLU عبارت‌اند از:
- نگاشت ورودی زبان طبیعی داده شده به‌صورت نمایشی مفید و قابل تفسیر، به عبارت ساده‌تر تبدیل کلمات و جملات به بردارهای عددی معنادار.
- تجزیه‌وتحلیل جنبه‌های مختلف زبان: طبیعتاً پس از درک یک متن گام بعدی تجزیه‌وتحلیل آن است.
نکته: شاید برایتان سؤال باشد که چرا باید جملات به بردار تبدیل شود؟ دلیل آن ساده است، زیرا کامپیوتر فقط عدد و رقم می‌شناسد و نمی‌توان چیزی به جز عدد به‌عنوان ورودی برایش ارسال کرد.
تولید زبان طبیعی چیست؟
تولید زبان طبیعی (NLG: Natural language generation)، همانند مترجمی است که داده‌های رایانه‌ای را دریافت کرده و به زبان طبیعی تبدیل کرده و نمایش می‌دهد که عمدتاً شامل درک کردن متن، طراحی متن و طراحی جمله است. در NLU متن درک شده و پس از تجزیه‌وتحلیل آن، باید جواب مناسبی در قالب یکسری کلمه تولید شود. NLG مثل یک شاعری است که با استفاده از ذهن خودش، متن جدید تولید می‌کند.
تفاوت NLU و NLG
در جدول زیر مفاهیم درک زبان طبیعی و تولید زبان طبیعی مقایسه شده اند.
نکته: NLU در مقایسه با NLG دشوارتر است.
- درک زبان طبیعی NLU
- NLU شامل فرایند خواندن و تفسیر زبان می‌شود.
- زبان طبیعی را به‌عنوان ورودی گرفته و خروجی‌های غیرزبانی تولید می‌کند.
- تولید زبان طبیعی NLG
- NLG شامل فرایند نوشتن یا تولید زبان می‌شود.
- ورودی‌های غیرزبانی را دریافت کرده و خروجی‌هایی به‌صورت زبان طبیعی (جملات و کلمات) ایجاد می‌کند.
در کانال تلگرام پرشین دیتا، به دیتاست رایگان برای پروژه‌های پردازش زبان طبیعی دسترسی داشته باشید.
در این مقاله با برخی از کاربردهای پردازش زبان طبیعی آشنا شدیم. از آن جا که برخی از این کاربردها بخشی از زندگی روزانه ما شده و به راحتی از آن‌ها استفاده می‌کنیم، ممکن است دچار این اشتباه شویم که چقدر ارتباط با ماشین‌ها ساده است. اما مانند هر حوزه دیگری در هوش مصنوعی، NLP نیز با چالش‌های مختلفی روبرو است. در مقاله بعد، چالش‌های پردازش زبان طبیعی و راه حل آن‌ها را بررسی می‌کنیم.
2 دیدگاه
به گفتگوی ما بپیوندید و دیدگاه خود را با ما در میان بگذارید.
سلام….بسیار عالی….
مرسی از همراهی شما