بیش‌برازش Overfitting

بیش‌برازش معمولاً نتیجه ساخت مدلی بیش‌ازحد پیچیده است که سعی می‌کند تمام جزئیات و حتی نوسانات تصادفی (Noise) در داده‌ها را توضیح دهد.
در واقع:

• داده‌ها همیشه مقداری خطا یا تصادف آماری دارند
• تطبیق کامل مدل با این نوسانات، باعث یادگیری اشتباه می‌شود

📌 مدلی که نویز را یاد می‌گیرد، نه الگوهای واقعی را.

مثال ساده از Overfitting

✅ مثال روزمره:
فرض کنید می‌خواهید با داده‌های ۱۰ روز گذشته، قیمت یک سهم را پیش‌بینی کنید. اگر مدلی بسازید که برای هر نوسان کوچک گذشته یک قانون جداگانه تعریف کند:

• مدل روی همان ۱۰ روز تقریباً بی‌نقص عمل می‌کند
• اما برای روز یازدهم، پیش‌بینی کاملاً نادرست خواهد بود

این دقیقاً یک مدل Overfit است.

Overfitting در تحلیل مالی و بازار سرمایه

در تحلیل‌های مالی، بیش‌برازش می‌تواند:

• باعث سیگنال‌های خرید و فروش اشتباه شود
• استراتژی‌های معاملاتی را در داده واقعی ناکارآمد کند
• ریسک زیان سرمایه‌گذاری را افزایش دهد

🔎 به همین دلیل، بک‌تست گرفتن صرفاً روی داده‌های گذشته بدون تست بیرونی بسیار خطرناک است.

ویژگی‌های یک مدل Overfit

مدل‌های بیش‌برازش‌شده معمولاً دارای خصوصیات زیر هستند:

• Bias (سوگیری) پایین
• Variance (واریانس) بالا
• دقت بالا روی داده آموزشی
• دقت پایین روی داده واقعی یا جدید

⚠️ این ترکیب باعث می‌شود مدل در عمل غیرقابل اعتماد باشد.

چگونه Overfitting را تشخیص دهیم؟

مهم‌ترین روش تشخیص:

• تست مدل روی داده‌های بیرونی (Out-of-Sample Data)

اگر:

• دقت مدل در آموزش بالا
• اما در داده جدید به‌شدت پایین باشد
  احتمال Overfitting بسیار زیاد است.

روش‌های جلوگیری از Overfitting

برای کاهش یا جلوگیری از بیش‌برازش، از راهکارهای زیر استفاده می‌شود:

• اعتبارسنجی متقاطع (Cross-Validation)
• روش‌های Ensemble (مانند Random Forest)
• ساده‌سازی مدل و کاهش پارامترها
• افزایش حجم داده‌ها
• محدود کردن پیچیدگی مدل

✅ این روش‌ها کمک می‌کنند مدل الگوهای پایدار را یاد بگیرد، نه نویز را.

Overfitting در برابر Underfitting

• Overfitting: مدل بیش‌ازحد پیچیده، دقت ظاهری بالا، عملکرد واقعی ضعیف
• Underfitting: مدل بیش‌ازحد ساده، ناتوان در یادگیری الگوها

⚖️ هدف، رسیدن به تعادل بین سادگی و دقت است.

جمع‌بندی مفهوم Overfitting

• Overfitting یک خطای رایج در مدلسازی آماری و یادگیری ماشین است
• باعث کاهش قدرت پیش‌بینی مدل می‌شود
• با تست بیرونی و روش‌های کنترلی قابل شناسایی و کاهش است
• سادگی معقول، کلید ساخت مدل قابل اعتماد است