معرفی انواع شبکه های عصبی مهم و کاربردی

مدل Bert و تاثیر آن پردازش زبان طبیعی (NLP)

Bert مخفف عبارت Bidirectional Encoder Representations from Transformers است.

Bidirectional یعنی از دو طرف به یک دنباله نگاه می‌کند.

Bert با داده‌های زیادی آموزش دیده و همان‌طور که گفته شد، Bert از Encoder ترنسفورمر استفاده می‌کند. خروجی لایه Encoder، وزن یا word embedding است. بنابراین بعد از پایان آموزش، Bert وزن تمام کلمات را می‌دهد. پس می‌توان از این مدل که قبلاً آموزش داده شده، استفاده کرد و فقط کمی آن را بهبود بخشید (fine tune). زیرا ترنسفورمر پارامترهای زیادی دارد و اگر بخواهیم از ابتدا Bert را برای مدل خودآموزش دهیم زمان بسیار زیادی لازم دارد و با سیستم‌های معمولی چنین کاری امکان‌پذیر نیست.

در روش‌هایی مانند word2vec و حتی روش‌های بهتر مثل fast text یا Glove، دو محدودیت جدی داشتیم:

• word2vec از شبکه‌هایی استفاده می‌کرد که تعداد لایه‌هایشان خیلی کم بود (shallow)، ولی Bert معماری بزرگ‌تری دارد. طبیعی است که هرچقدر معماری بهتر باشد شانس موفقیت بیشتر است.
• همچنین مدل‌های قدیمی به context و معنا و مفهوم توجه نمی‌کنند اما Bert به محتوا و مفهوم کلمات هم توجه می‌کند. مثلاً در دو مثال زیر، معنی کلمه بانک در جمله متفاوت است.

در جمله اول به معنای ساحل و در جمله دوم به معنای بانک است. Bert به محتوا و معنای کلمه‌ها نیز توجه می‌کند و برای کلمه بانک در این مثال، دو word embedding تولید می‌کند.

Bert دو ورژن دارد: یک ورژن base و یک ورژن large

ورژن base، 12 لایه دارد. یعنی 12 Encoder پشت هم قرار گرفته‌اند. ورژن large، 24 لایه‌ای است. در ورژن base 12 تا multi head attention داریم یعنی 12 هد داریم که در آن محاسبات به صورت موازی انجام می‌شوند و در مدل لارج 16 تا multi head attention داریم. در زیر مشخصات این دو ورژن به همراه تعداد پارامترها مشخص شده است.

BERT-Base: 12-layer, 768-hidden-nodes, 12-attention-heads, 110M parameters

BERT-Large: 24-layer, 1024-hidden-nodes, 16-attention-heads, 340M parameters

Bert از روی 2,500 میلیون کلمه ویکی‌پدیا و 800 میلیون کلمه از کتب مختلف آموزش داده شده است. آموزش چنین مدلی با چنین دیتای آموزشی با سیستم‌های عادی امکان‌پذیر نیست. به همین دلیل از مدل از پیش آموزش داده شده (pre-trained) استفاده می‌کنیم و می‌توانیم آن را بهبود بخشیم.

اگر بخواهیم از مدل Bert استفاده کنیم، دو کار می‌توانیم انجام دهیم:

 1- خودمان Bert را از ابتدا آموزش دهیم. یعنی به مدل Bert داده‌های زیادی بدهیم و وزن هر کلمه را تولید کنیم و word embedding خاص خود را داشته باشیم. با hugging face می‌توانیم این کار را انجام دهیم؛ ولی سیستم عادی می‌سوزد.

زمانی که بخواهیم Bert اولیه را آموزش دهیم، دو مرحله باید انجام شود:

• Masked Language Modeling
• Next Sentence Prediction

در مرحله Masked Language Modeling، 15 درصد کلمات ماسک می‌شوند و مدل باید این کلمات را پیش‌بینی کند.

در مرحله Next Sentence Prediction نیز مدل باید پیش‌بینی کند که جمله دوم در ادامه جمله اول هست یا نه.

2- به جای اینکه Bert را آموزش دهیم، از Bert آموزش‌دیده استفاده کنیم. مدل Bert یک خروجی دارد و می‌توان روی خروجی این مدل، لایه‌های دلخواه را استفاده کرد. مثلاً در لایه خروجی می‌توان از تابع softmax استفاده کرد یا یک لایه fully connected و بعد از آن یک تابع softmax قرار داد.

برای بهبوددادن نتایج Bert به صورت زیر عمل می‌کنیم:

در ابتدا Bert یک توکن خاص به نام CLS می‌گیرد. CLS مخفف classification است و به این صورت مشخص می‌شود که Bert باید classification انجام دهد.

دو جمله A وB  داریم و می‌خواهیم این دو جمله را به مدل Bert بدهیم که پیش‌بینی کند جمله B می‌تواند بعد ازA بیاید یا نه.

جمله اول را به مدل می‌دهیم و وقتی به آخر جمله رسید، یک علامت جداکننده، مانند نقطه یا ویرگول و غیره در انتهای جمله قرار می‌گیرد. سپس جمله دوم به مدل داده می‌شود و با تمام‌شدن جمله دوم علامت جداکننده دیگری در انتهای جمله قرار می‌گیرد. علامتی که جملات را از هم جدا می‌کند، به نام  SEP شناخته می‌شود(مخفف SEParator).

همچنین در هر جمله یک کلمه پنهان شده است (Mask شده).

کل این دو جمله را به Bert می‌دهیم.

Bert بسته به اینکه مدل base است یا large، یک خروجی می‌دهد. در این مثال خروجی ۵۱۲تایی بوده است و در پایان روی خروجی اول یک softmax و یک fully connected قرار گرفته است.

Is next و not next نشان‌دهنده احتمال این است که جمله دوم، ادامه جمله اول هست یا نه. در واقع احتمال اینکه جمله دوم ادامه جمله اول هست یا نه مشخص می‌شود.

در مثال بعدی کلمه‌ای از جمله Mask شده و هدف، پیش‌بینی این کلمه است. پس در لایه خروجی یک fully connected به همراه یک softmax قرار گرفته و احتمال اینکه کلمه Mask شده کدام کلمه است، محاسبه می‌شود.

شکل زیر نیز مثالی از نحوه طبقه‌بندی توسط Bert را برای تشخیص اسپم بودن یا نبودن یک پیام نشان می‌دهد:

در اینجا طبقه‌بندی بسیار ساده انجام شده است و در لایه خروجی، یک لایه  feed- forward و fully connected با تابع softmax قرار گرفته و در خروجی احتمال اسپم بودن یا نبودن حساب می‌شود. به این کار در اصطلاح   fine tune کردن گفته می‌شود. درواقع لازم نیست Bert از ابتدا آموزش داده شود و تنها لایه‌هایی که در خروجی قرار می‌دهیم نتیجه و وزن‌های Bert را برای کار مخصوصی که داشتیم، کمی بهبود می‌دهند. (که در مثال ما  spam detection بود)

نکته: ورودی که Bert می‌گیرد به صورت زیر است:  

به عبارتی، علاوه بر token embeddings و segment embeddings، باید جایگاه کلمات یا Position Embeddings را هم بگیرد. ترنسفورمرها  جایگاه را ذخیره نمی‌کردند به همین دلیل جایگاه کلمات نیز به‌عنوان ورودی باید به مدل Bert داده شود.

token embeddings ، embedding کلمات است. یا همان وزن کلمات.

segment embeddings، مشخص می‌کند هر کلمه مربوط به جمله اول است یا دوم.

Position Embeddings مشخص‌کننده جایگاه کلمه‌ها است.

بنابراین اگر بخواهیم با Bert مدلی بسازیم، ابتدا باید داده‌ها را پیش‌پردازش کنیم و ورودی ما باید به صورت token embeddings + segment embeddings + Position Embeddings باشد.

پیاده‌سازی برت (Bert)

در پیاده‌سازی به جای اینکه از ابتدا Bert را شروع کنیم، از فریم‌ورک‌های آماده شروع می‌کنیم. مثل فریم‌ورک‌های زیر:

• huggingface/ transformers
• fastbert
• Deeppavlov
• BERT as service

به صورت خلاصه، اگر بخواهیم با مدل Bert طبقه‌بندی انجام دهیم، ابتدا دیتای خام را پیش‌پردازش کرده و سپس آن را به Bert می‌دهیم و وقتی Bert پیش‌بینی کرد، در خروجی Fully Conntected یا softmax قرار می‌دهیم (اولین خروجی).

مشکل اصلی Bert حجیم بودن آن است که سخت‌افزارهای خیلی قوی برای پردازش نیاز دارد. به همین دلیل مدل‌های دیگری وجود دارد که سعی کرده‌اند بدون کم‌شدن دقت از حجیم بودن Bert بکاهند و آن را سبک کند. این مدل‌ها در جدول زیر آورده شده‌اند: