feat: add topic tagging, semantic duplicate detection, and per-provider vision toggle

This commit is contained in:
mamad
2026-08-28 20:45:42 +03:30
parent b12ddc1bfd
commit 6a5971bc08
11 changed files with 409 additions and 46 deletions
+12 -15
View File
@@ -2,6 +2,18 @@
👤 <b>ویرایش‌کننده:</b> <code>mamad</code>
🔹 <b>تشخیص هوشمند محتوای تکراری و برچسب‌گذاری موضوعی (AI Semantic Dedup & Tagging):</b>
• استخراج خودکار برچسب‌های موضوعی (Tags) و عنوان موضوع (Subject) برای هر پست دریافتی.
• جایگزینی هش ساده با مقایسه مفهومی هوش مصنوعی: جمع‌آوری پست‌های مرتبط بر اساس برچسب‌ها و تحلیل تشابه معنایی توسط هوش مصنوعی.
• ثبت وضعیت تکراری، شناسه پست اصلی و دلیل تشابه در پایگاه‌داده.
📁 <i>فایل‌های تغییریافته:</i> <code>services/ai_processor.py</code>, <code>services/collector.py</code>, <code>db/repository.py</code>, <code>tests/test_semantic_dedup_and_vision.py</code>
🔹 <b>پیکربندی تفکیکی پردازش تصویر در ارائه‌دهندگان (Provider Vision Toggle):</b>
• امکان فعال یا غیرفعال کردن دریافت تصویر برای هر ارائه‌دهنده به صورت جداگانه (با حالت پیش‌فرض فقط متن).
• دکمه تغییر وضعیت پردازش تصویر در منوی تنظیمات اختصاصی هر سرویس‌دهنده در ربات تلگرام.
• ارسال انحصاری تصویر به مدل‌هایی که پشتیبانی از تصویر در آن‌ها روشن است.
📁 <i>فایل‌های تغییریافته:</i> <code>core/llm.py</code>, <code>db/database.py</code>, <code>db/models.py</code>, <code>services/admin_bot.py</code>
🔹 <b>پایش و نمودار فضای ذخیره‌سازی دیسک سرور:</b>
• متمرکزسازی روی یک نمودار کامل ۲۴ ستونه برای نمایش روند زمانی فضای آزاد درایوها.
• فیلتر کردن متریک‌های قدیمی و حذف ردیف‌های نامعتبر در نمودار گرافانا.
@@ -13,18 +25,3 @@
• منوی تنظیم دستی ارائه‌دهنده پشتیبان برای هر سرویس هوش مصنوعی به صورت زنجیره‌ای مستقیم.
• دستورات <code>/changes</code> و <code>/notes</code> جهت مشاهده گزارش تغییرات.
📁 <i>فایل‌های تغییریافته:</i> <code>services/admin_bot.py</code>, <code>tests/test_fallback_and_stop.py</code>
🔹 <b>پشتیبانی از تصاویر و بازنویسی مالتی‌مدال (Vision):</b>
• ارسال تصاویر پست‌های ورودی به ارائه‌دهندگان هوش مصنوعی و درک محتوای بصری عکس‌ها و نمودارها.
• تنظیم عمق تفکر و استدلال (Reasoning Effort) برای مدل‌ها.
📁 <i>فایل‌های تغییریافته:</i> <code>core/llm.py</code>, <code>services/ai_processor.py</code>
🔹 <b>بهینه‌سازی خط لوله جمع‌آوری، انتشار و صف‌بندی:</b>
• ارسال مستقیم پست‌های خام به کانال بررسی ادمین با دکمه‌های اقدام سریع بازنویسی.
• صف انتشار زمان‌بندی‌شده و منظم در ردیس (Paced Queue).
📁 <i>فایل‌های تغییریافته:</i> <code>services/collector.py</code>, <code>services/publisher.py</code>, <code>services/metrics_reporter.py</code>
🔹 <b>مدیریت پایگاه‌داده و دسته‌بندی کانال‌ها:</b>
• ایجاد جداول دسته‌بندی کانال‌ها (Channel Categories) و ارائه‌دهندگان هوش مصنوعی با پشتیبانی از ارائه‌دهنده پشتیبان.
• پشتیبانی از لحن (Personality)، فوتر اختصاصی و پرامپت سفارشی برای هر کانال مقصد.
📁 <i>فایل‌های تغییریافته:</i> <code>db/database.py</code>, <code>db/models.py</code>, <code>db/repository.py</code>