آموزش خلاصه سازی متن با هوش مصنوعی Hugging Face

آموزش خلاصه‌سازی متن با هوش مصنوعی و Hugging Face با عنوان اصلی AI Text Summarization with Hugging Face یکی دیگر از آموزش‌های گروه آموزشی پرووید می‌باشد که در این قسمت آن را به شما معرفی می‌کنیم. در این دوره، روش‌های مختلف خلاصه‌سازی متن با استفاده از تکنیک‌های هوش مصنوعی و ابزارهای Hugging Face بررسی می‌شوند و مخاطب با رویکردهای Extractive و Abstractive، مدل‌های Transformer، معیارهای ارزیابی خلاصه‌ها و Fine-Tuning مدل‌ها آشنا می‌شود.

آشنایی با روش‌های خلاصه‌سازی متن

در ابتدای دوره، مفهوم Extractive Text Summarization بررسی می‌شود؛ روشی که با انتخاب بخش‌های مهم متن، خلاصه‌ای از محتوای اصلی ایجاد می‌کند. در ادامه، Intermediate Representationها و معیارهای ارزیابی خلاصه‌ها مورد بررسی قرار می‌گیرند و نحوه استفاده از کتابخانه sumy و قابلیت‌های Hugging Face برای انجام خلاصه‌سازی Extractive آموزش داده می‌شود. سپس رویکرد Abstractive Text Summarization معرفی می‌شود که با استفاده از مدل‌های زبانی می‌تواند خلاصه‌ای جدید بر اساس مفهوم متن تولید کند.

استفاده از Transformerها و Hugging Face برای خلاصه‌سازی

بخش مهمی از دوره به درک ساختار Transformerها اختصاص دارد. مخاطب با Sequence-to-Sequence Models، مفهوم Attention و نحوه استفاده از Transformerها در Hugging Face آشنا می‌شود. سپس با استفاده از Google Colab و دیتاست CNN Daily Mail، داده‌های متنی آماده و پاک‌سازی شده و خلاصه‌ها با استفاده از Hugging Face Transformers تولید می‌شوند. همچنین نحوه ارزیابی خلاصه‌های تولیدشده با معیار ROUGE و محاسبه امتیازهای تجمیعی ROUGE بررسی می‌شود.

Fine-Tuning و مقایسه مدل‌های مختلف برای خلاصه‌سازی

در ادامه، Tokenizerها معرفی می‌شوند و یک مدل T5 small برای انجام وظیفه خلاصه‌سازی Fine-Tune می‌شود. سپس مدل آموزش‌دیده در Hugging Face Hub قرار می‌گیرد و برای تولید خلاصه مورد استفاده قرار می‌گیرد. در بخش پایانی، مدل‌هایی مانند Pegasus و BART روی مجموعه داده BBC News بررسی می‌شوند و نحوه تولید چندین خلاصه و محاسبه معیارهای ROUGE برای مقایسه نتایج آن‌ها آموزش داده می‌شود.

سرفصل مطالب آموزش ویدئویی خلاصه‌سازی متن با هوش مصنوعی و Hugging Face

فصل ۱: مقدمه

• خلاصه‌سازی متن با هوش مصنوعی و Hugging Face

فصل ۲: آشنایی با Extractive Text Summarization

• پیش‌نیازها
• خلاصه‌سازی Extractive متن
• Intermediate Representationها برای خلاصه‌سازی Extractive
• معیارهای ارزیابی خلاصه‌ها

فصل ۳: انجام خلاصه‌سازی Extractive با استفاده از Hugging Face

• آشنایی با Hugging Face
• ثبت‌نام در Hugging Face
• کتابخانه sumy برای خلاصه‌سازی Extractive
• خلاصه‌سازی Extractive متن در Hugging Face

فصل ۴: آشنایی با Abstractive Text Summarization

• خلاصه‌سازی Abstractive متن
• خلاصه‌سازی Abstractive با استفاده از Hosted Inference API در Hugging Face

فصل ۵: آشنایی با Transformerها

• مدل‌های Sequence-to-Sequence
• Attention در مدل‌های Sequence-to-Sequence
• معرفی مختصر Transformerها
• Transformerها در Hugging Face

فصل ۶: انجام خلاصه‌سازی با استفاده از Hugging Face Pipeline

• استفاده از Colab برای کار با Hugging Face Transformers
• بارگذاری دیتاست CNN Daily Mail
• پاک‌سازی داده‌های متنی
• تولید خلاصه با Hugging Face Transformers
• ارزیابی خلاصه‌ها با استفاده از امتیازهای ROUGE
• خلاصه‌سازی متن و محاسبه امتیازهای تجمیعی ROUGE

فصل ۷: Fine-Tuning یک مدل Transformer برای خلاصه‌سازی

• آشنایی با Tokenizerها
• Fine-Tuning مدل T5 small
• انتقال مدل به Hugging Face Hub
• خلاصه‌سازی متن با استفاده از مدل Fine-Tune شده

فصل ۸: بررسی Transformerهای مختلف Hugging Face برای خلاصه‌سازی

• دسترسی به دیتاست BBC در Google Drive
• ایجاد نمونه و پاک‌سازی دیتاست خلاصه‌های BBC News
• تولید خلاصه با استفاده از Pegasus
• تولید چندین خلاصه و محاسبه امتیازهای تجمیعی ROUGE
• تولید خلاصه با استفاده از BART
• محاسبه معیارهای ROUGE برای مجموعه‌ای از خلاصه‌ها

فصل ۹: جمع‌بندی

• جمع‌بندی و گام‌های بعدی