آموزش جامع کار با فلایکراول: راهنمای کامل آپشنها و امبدینگ
در این راهنما یاد میگیرید هر آپشن در سیستم چه کاری انجام میدهد، چطور بردهای ۱۵۳۶ و ۳۰۷۲ بعدی وب را آماده RAG و دیتابیسهای برداری میکنند و فرمول کسر کردیت چگونه کار میکند.
🚀 ۵ مرحله ساده: از هر صفحه وب تا پایگاههای برداری هوش مصنوعی
برای مشاهده جزئیات تصویری هر مرحله، روی تبهای زیر کلیک کنید:
وارد کردن آدرس دلخواه یا انتخاب از مخزن ۲۰۰ سایت منتخب
در فلایکراول هیچ محدودیتی وجود ندارد. میتوانید آدرس هر وبسایت مدرن (React، Vue، Next.js)، پورتالهای مستندات فنی، فروشگاههای اینترنتی یا سایتهای خبری را وارد کنید. برای تست فوری در حالت مهمان، کافیست روی چیپهای ۲۰۰ سایت مرجع بنچمارک کلیک کنید تا در کمتر از ۲۰۰ میلیثانیه پاسخ بگیرید.
تنظیم عمق خزش، سقف صفحات و کشور پروکسی
موتور خزش را دقیقاً مطابق با نیازتان تنظیم کنید: آیا فقط همین یک صفحه را میخواهید یا قصد دارید تمام زیرصفحات و داکیومنتها را به صورت شبکهای کراول کنید؟ همچنین کشور پراکسی را تغییر دهید تا به دیتای بومی آن منطقه دسترسی داشته باشید.
- عمق ۰: استخراج فقط همان صفحه (سریعترین حالت، ۱ کردیت).
- عمق ۱ تا ۳: خزش زنجیرهای و استخراج خودکار تمام لینکهای داخلی درون صفحه.
- پراکسی کشورها: چرخش خودکار IP از کشورهای آمریکا، آلمان، انگلیس و فرانسه جهت دور زدن محدودیتهای جغرافیایی.
فعالسازی چانکبندی هوشمند و انتخاب مدل امبدینگ
با زدن تیک چانکبندی و امبدینگ، محتوای استخراج شده به صورت هوشمند بر اساس سرفصلها برش خورده و به بردهای عددی تبدیل میشود تا مستقیماً در چتبات یا موتور جستجوی معنایی استفاده شود.
- ⚡ FlyCrawl Native (1536-dim): کاملاً رایگان، بدون نیاز به هیچ کلیدی، سرعت زیر ۱۰ میلیثانیه.
- 🔥 FlyCrawl Native Large (3072-dim): رزولوشن ۳۰۷۲ بعدی بسیار دقیق بدون هیچ هزینه خارجی.
- 🟢 OpenAI text-embedding-3-small (1536-dim): مدل استاندارد اوپنایآی.
- 🚀 OpenAI text-embedding-3-large (3072-dim): دقیقترین مدل درک معنایی جهان (BYOK یا پلتفرم).
اجرای استخراج و مشاهده لایو کسر شفاف کردیت
روی دکمه استخراج کلیک کنید. کادر هوشمند تخمین هزینه، دقیقاً قبل از کلیک مبلغ کردیت را شفاف اعلام میکند. اگر سرور مقصد در دسترس نباشد یا خطایی رخ دهد، دقیقاً ۰ کردیت کسر شده و اعتبارتان حفظ میشود.
خروجی با یک کلیک برای Pinecone، Qdrant و فرمت JSONL
پس از اتمام استخراج، کافیست روی دکمه «Copy Vector Payload» کلیک کنید تا ساختار استاندارد بردارها با متادیتای بخش، آدرس مرجع و مقادیر ۳۰۷۲ یا ۱۵۳۶ بعدی کپی شود. این پیلود مستقیماً آماده Upsert در پایگاههای برداری بدون نیاز به هیچ تبدیل کدی است.
{
"upsert_request": {
"namespace": "flycrawl-production",
"model": "text-embedding-3-large",
"dimensions": 3072,
"vectors": [
{
"id": "vec_1725368400_1",
"values": [0.0142, -0.0381, ... 3072 floats],
"metadata": {
"source": "https://en.wikipedia.org/wiki/AI",
"section": "Machine Learning",
"engine": "FlyCrawl High-Dim Engine"
}
}
]
}
}
راهنمای تخصصی تکتک گزینهها و تنظیمات
بررسی عمیق عملکرد هر کلید، چرایی استفاده از آن و نحوه محاسبه کردیت آن.
عمق خزش (کراول بازگشتی لینکها)
عمق ۰ فقط همان یک آدرس را استخراج میکند. عمق ۱ تمام لینکهای داخلی درون آن صفحه را یافته و تا سقف مجاز استخراج میکند. عمقهای ۲ و ۳ خزش درختوار را در عمق دامنهها ادامه میدهند.
سقف صفحات و موازیسازی
تعیینکننده حداکثر صفحاتی است که در یک نشست خزش دانلود و پالایش میشوند. توسط ۴ وُرکر پسزمینه همزمان مدیریت میشود تا سرعت به حداکثر برسد و سرور مقصد بلاک نکند.
پراکسی کشوری و دور زدن رباتگیر
درخواست را از طریق آیپیهای خانگی کشور انتخابی ارسال میکند. برای سایتهایی که قیمتهای منطقهای دارند یا آیپیهای خاصی را مسدود میکنند حیاتی است.
فرمت مارکداون فشرده در برابر JSON
۹۵٪ از زبالههای کدهای HTML و بنرهای تبلیغاتی را حذف کرده و متنی پالایششده با سرفصل و جدول تولید میکند که مصرف توکن در چتجیپیتی و کلود را تا ۸۰٪ کاهش میدهد.
چانکبندی هوشمند بر اساس تیترها
به جای برش کورکورانه کاراکترها، ساختار معنایی متن حفظ میشود و پاراگرافها زیر تیتر مربوطه دستهبندی میشوند. همپوشانی (Overlap) مانع بریدگی جملات بین چانکها میشود.
مدلهای وکتور (۱۵۳۶ بعدی و ۳۰۷۲ بعدی)
امکان انتخاب بین مدل بومی فوقسریع و رایگان فلایکراول (۱۵۳۶ یا ۳۰۷۲ بعدی) یا مدلهای رسمی اوپنایآی با خروجی بردار عددی نرمالشده و سازگار با فرمول شباهت کسینوسی.
فراخوانی و دریافت وکتورها در ۳ خط کد
سازگار کامل با پایتون، لنگچین، لاماایندکس و ادیتورهای کورسور و کلود.
import requests
response = requests.post(
"https://flycrawl.net/api/v1/scrape",
headers={"Authorization": "Bearer fly_live_your_api_key"},
json={
"url": "https://en.wikipedia.org/wiki/Artificial_intelligence",
"formats": ["markdown", "embeddings"],
"embeddings": {
"model": "text-embedding-3-large",
"dimensions": 3072
}
}
)
data = response.json()
print(f"Extracted {len(data['chunks'])} chunks with 3072-dim vectors!")
آمادهاید خودتان در عمل تست کنید؟
وارد زمینبازی تعاملی شوید، هر وبسایت دلخواهی را امتحان کنید و دیتای پالایششده به همراه بردارهای هوش مصنوعی را در کسری از ثانیه تحویل بگیرید.