كيف نقيّم؟How we rate

الفكرة باختصارIn short

  • كل أداة لها نوع واحد أساسي (مثلاً: مساعد محادثة، أو أداة متخصصة، أو نموذج). النوع هو اللي يحدد معايير تقييمها.
  • لو الأداة لها أشكال ثانية نحطها كشارة، مثل «فيه API» أو «فيه إضافة Chrome».
  • ما فيه رقم إجمالي. كل معيار له تقييمه لحاله.
  • نقارن بس داخل النوع الواحد. ما نقارن مساعد محادثة بأداة تصميم.
  • اللهجة السعودية نقيّمها بس في: النماذج، ومساعدات المحادثة، وأدوات ونماذج الصوت (تحويل النص لصوت TTS، وتحويل الصوت لنص STT، ووكلاء الصوت). في أدوات الصوت نقيس النطق السعودي والنجدي، أو فهم كلام اللهجة. أدوات التصميم والصور والفيديو والترجمة وغيرها ما فيها معيار لهجة.
  • العربي أول. أول معيار في كل نوع هو العربي، إلا لو العربي يعتمد على النموذج اللي تختاره أنت، وقتها نكتب «حسب النموذج» ونقترح نماذج.
  • كل أداة فيها «يناسب مين» و«ما يناسب مين» بدل الرقم الإجمالي.
  • Every tool has one main type (for example: chat assistant, specialized tool or model). The type decides its criteria.
  • Other forms of the same product show as badges, such as “Has an API” or “Has a Chrome extension”.
  • No overall score. Each criterion stands on its own.
  • We only compare within a type. We don’t compare a chat assistant with a design tool.
  • We rate Saudi dialect only for models, chat assistants, and voice tools and models (text-to-speech, speech-to-text and voice agents). For voice tools we check natural Saudi/Najdi pronunciation, or understanding of dialect speech. Design, image, video, translation and other tools have no dialect criterion.
  • Arabic first. The first criterion of every type is Arabic, except where Arabic depends on the model you pick; then we write “depends on the model” and suggest models.
  • Each tool gets “who it suits” and “who it doesn’t suit” instead of an overall number.

وش معنى العلامات؟What the labels mean

  • جرّبناهWe tried it تقييمنا إحنا: جرّبنا الأداة أو حكمنا عليها من استخدامنا.جرّبناهWe tried it Our own rating: we used the tool or judged it from our own use.
  • حسب كلام الشركةCompany says من صفحات الشركة الرسمية، وما تحققنا منه بتجربة.حسب كلام الشركةCompany says From the company’s official pages; we haven’t verified it by testing.
  • حسب مؤشر مستقلIndependent index من لوحة مقارنة مستقلة ومنشورة.حسب مؤشر مستقلIndependent index From a published, independent leaderboard.
  • غير مؤكدNot confirmed ما قدرنا نتأكد، وما نحط رقم.غير مؤكدNot confirmed We couldn’t confirm it, so no number is shown.
  • لم نجرّبه بعدNot tested yet يحتاج تجربة وما جرّبناه للحين، وما نحط رقم.لم نجرّبه بعدNot tested yet Needs testing that we haven’t done yet, so no number is shown.
  • قديمOutdated فات وقت مراجعته أو نزل إصدار كبير بعده.قديمOutdated Its review date has passed or a major release came out after it.

كل رقم من 1 إلى 5، و5 أحسن شي. جنب كل رقم تاريخ التقييم.Every number is from 1 to 5, where 5 is best. Each number shows the date it was given.

معلومات نكتبها وما نقيّمهاFacts we list but don’t score

  • الشركة والبلد، والمنصات.
  • السعر بالريال: لو الشركة تكتب السعر بالدولار بس، نحوله على 3.75 ريال ونكتب الدولار جنبه.
  • الخطة المجانية: «مجاني فعلاً» أو «تجربة محدودة» أو «مدفوع فقط».
  • التوفر في السعودية: «متوفر رسمياً» (بس لو السعودية مكتوبة في قائمة الدول الرسمية أو الشركة تقولها صراحة)، أو «يشتغل بس مو رسمي»، أو «غير متوفر»، أو «غير مؤكد».
  • تاريخ التقييم، وتاريخ المراجعة الجاية.
  • Maker and country, and platforms.
  • Price in SAR: when only dollars are listed, we convert at 3.75 SAR and show the dollar price next to it.
  • Free plan: “Truly free”, “Limited trial” or “Paid only”.
  • Availability in KSA: “Officially available” (only when Saudi Arabia is on the official country list or the company states it), “Works, not official”, “Not available” or “Not confirmed”.
  • Rating date and next review date.

المعايير لكل نوع (شغّالة الحين)Criteria per type (live now)

هذي الأنواع الخمسة اللي بدأنا فيها. كل معيار له وصف واضح للدرجة 5 و3 و1.These are the five types we have so far. Each criterion has a clear description for 5, 3 and 1.

نموذجModel

المعيارCriterion531كيف نعرفهHow we get it
العربي الفصيحModern Standard Arabicيتنشر زي ما هوSend as isيحتاج تعديلات بسيطةSmall fixesمكسّرBrokenنجرّبه (اختبارات سالفة الخمسة)We test it (salfa’s 5 Arabic tests)
اللهجة السعوديةSaudi dialectطبيعيNaturalيفهم بس يرد بالفصحىUnderstands, replies in MSAما يفهمDoesn’t understandنجرّبه. نماذج الصوت: نختبر النطق (TTS) أو فهم الكلام (STT) باللهجةWe test it. Voice models: we test pronunciation (TTS) or speech understanding (STT) in dialect
المقاييس المستقلةIndependent benchmarksمن الأوائلTop tierبالنصMiddleتحت أو مو موجودBottom or not listedلوحات مستقلة مثل Open Arabic LLM Leaderboard وArtificial Analysis وLMArena، وأرقام الشركة تنعرض لحالهاIndependent boards such as the Open Arabic LLM Leaderboard, Artificial Analysis and LMArena; the company’s own numbers are shown separately
سهولة الوصولAccessتطبيق محادثة مجاني + APIFree chat app + APIAPI بسAPI onlyتحمّله وتشغّله بنفسكDownload and run it yourselfمن الصفحات الرسميةFrom official pages
الانفتاحOpenness
يطلع كوصف، مو رقمShown as a label, not a number
أوزان مفتوحة للاستخدام التجاريOpen weights, commercial useمفتوح بقيودOpen with restrictionsمغلقClosedمن رخصة النموذجFrom the model licence

مساعد محادثةChat assistant

المعيارCriterion531كيف نعرفهHow we get it
العربي الفصيحModern Standard Arabicيتنشر زي ما هوSend as isيحتاج تعديلات بسيطةSmall fixesمكسّرBrokenنجرّبه (اختبارات سالفة الخمسة)We test it (salfa’s 5 Arabic tests)
اللهجة السعوديةSaudi dialectطبيعيNaturalيفهم بس يرد بالفصحىUnderstands, replies in MSAما يفهمDoesn’t understandنجرّبهWe test it
الصوت بالعربيArabic voiceيفهم كلامك باللهجةUnderstands dialect speechالفصحى بسMSA onlyما فيهNoneنجرّبه بـ 3 طلبات صوتيةWe test it with 3 voice requests
الواجهة والاتجاهInterface & RTLعربي كامل بدون مشاكلFull Arabic, no glitchesفيه مشاكل بسيطةSome glitchesإنجليزي بسEnglish onlyنجرّبه، ومعه نص عربي وإنجليزي مخلوطWe test it, including mixed Arabic/English text
الخطة المجانيةFree planأغلبه مجانيNearly all freeاستخدام يومي محدودLimited daily useمدفوع بسPaid onlyمن صفحة الأسعار الرسميةFrom the official pricing page
الخصوصيةPrivacyبياناتك داخل السعودية + تقدر تمنع التدريبData in KSA + training opt-outتقدر تمنع التدريب بسOpt-out onlyيدرّب عليها وما تقدر تمنعهTrains by default, no opt-outنقرأ صفحة المنتج وسياسة الخصوصيةWe read the product page and the privacy policy

أداة متخصصةSpecialized tool

المعيارCriterion531كيف نعرفهHow we get it
اللهجة السعوديةSaudi dialect
لأدوات الصوت بسVoice tools only
نطق سعودي ونجدي طبيعي، أو يفهم كلام اللهجة كاملNatural Saudi/Najdi pronunciation, or fully understands Saudi speechمفهوم بس النطق ثقيل، أو يفوّت كلمات كثيرةUnderstandable but stiff, or misses many wordsفصحى بس، أو ما يفهم اللهجةMSA only, or doesn’t understand the dialectلأدوات الصوت بس. تحويل النص لصوت (TTS): نسمع النطق السعودي والنجدي. تحويل الصوت لنص (STT): نختبر فهمه لكلام سعوديVoice tools only. Text-to-speech (TTS): we listen to Saudi/Najdi pronunciation. Speech-to-text (STT): we test how well it understands Saudi speech
جودة النتيجة بالعربيArabic output qualityجاهزةReadyتحتاج تعديلNeeds editsما تنفعUnusableنجرّبه بمهمة ثابتة لكل نوع أداةWe test one fixed task per kind of tool
الاتجاه والنص المخلوطRTL & mixed textمضبوطPerfectفيه كسر بسيطSmall breaksمكسّرBrokenنجرّبه في الناتج والملف اللي تصدّرهWe test the output and the exported file
التصدير والتعديلExport & editingملفات تنعدل وتحفظ الاتجاهEditable standard files that keep RTLPDF أو صورة بسPDF or image onlyعالق داخل الأداةStuck in the toolمن الصفحات الرسمية، وبعدين نجرّبهOfficial pages, then we test it
سهولة البدءEase of startأقل من 5 دقايقUnder 5 minutesيحتاج إعدادNeeds setupيحتاج تدريبNeeds trainingنجرّبهWe test it
القيمة مقابل السعرValue for moneyالمجاني يكفيFree plan does the jobمدفوع بسعر رخيصCheap paid planغاليExpensiveمن صفحة الأسعار الرسميةFrom the official pricing page

وكيلAgent

المعيارCriterion531كيف نعرفهHow we get it
إنجاز المهمةTask completionيخلّصها صحFinishes correctlyيخلّصها بتعديلاتWith fixesيفشلFailsنجرّبه بمهمة ثابتة: «قارن 3 باقات جوال سعودية وسوّ جدول وعرض من 5 شرايح»We test one fixed task: compare 3 Saudi mobile plans, make a table and a 5-slide deck
العربي في الناتجArabic in deliverablesصحيحCorrectفيه أخطاءSome errorsمكسّرBrokenنجرّبهWe test it
التحكم والاستئذانControl & approvalsيستأذن دايم وتقدر توقفه بسهولةAlways asks, easy to stopأحياناًSometimesيتصرف لحالهActs aloneنجرّبه ونقرأ الصفحات الرسميةWe test it and read official pages
الشفافيةTransparencyسجل كامل بالمصادرFull log with sourcesجزئيPartialصندوق أسودBlack boxنجرّبهWe test it
تكلفة المهمةCost per taskداخل المجانيWithin the free planأقل من 20 ريالUnder 20 SARأكثر من 50 ريالOver 50 SARنقيسها في تجربتناWe measure it in our test
الخصوصيةPrivacyتقدر تمنع التدريب في كل الباقاتTraining opt-out on every planفي المدفوع بسPaid plans onlyما تقدرNoمن الصفحات الرسميةFrom official pages

منصة تشغيل وكيلAgent harness

المعيارCriterion531كيف نعرفهHow we get it
العربي واللهجةArabic & dialectحسب النموذج: ما نعطي رقم للمنصةDepends on the model: the harness gets no numberالعربي واللهجة يعتمدون على النموذج اللي تربطه، فما نعطي رقم للمنصة. نكتب «حسب النموذج» ونقترح نماذج جرّبناهاArabic and dialect depend on the model you connect, so the harness gets no number. We write “depends on the model” and point to models we tested
حرية اختيار النموذجModel choiceأي مزوّد + نموذج محليAny provider + local modelsكم مزوّدA few providersمزوّد واحدOne providerمن الصفحات الرسمية، وبعدين نجرّبهOfficial pages, then we test it
سهولة التركيبSetupتطبيق كمبيوتر بضغطة وحدةDesktop app, one clickمثبّت + مفتاح APIInstaller + API keyترمنال أو سيرفرTerminal or serverنجرّبهWe test it
الأمان والعزلSafety & sandboxعزل افتراضي + يستأذنSandbox by default + asks firstاختياريOptionalصلاحيات كاملةFull accessمن الصفحات الرسمية، وبعدين نجرّبهOfficial pages, then we test it
القنوات والتكاملChannels & integrationsقنوات كثيرة + MCP ومهاراتMany channels + MCP and skillsبعضهاSomeقناة وحدةOneمن الصفحات الرسميةFrom official pages
الذاكرة والجدولةMemory & schedulingالاثنينBothواحد منهمOne of themولا واحدNeitherنجرّبهWe test it
الصيانة والرخصةMaintenance & licenceإصدارات متكررة ورخصة مفتوحةFrequent releases, open licenceبطيءSlowمتروكAbandonedمن GitHubFrom GitHub

الأنواع الـ14 كلهاAll 14 types

كل نوع له نظامه الخاص. الأنواع اللي مكتوب جنبها «المرحلة الجاية» أو «لاحقاً» نعرض معلوماتها الحين، وتقييمها ينزل لما نطلق نظامها.Each type has its own system. For types marked “Next phase” or “Later”, we show the facts now; ratings come when their system launches.

النماذج والبياناتModels & data

  • 1. نموذجModel شغّال الحينLive now
  • 2. مجموعة بياناتDataset لاحقاًLater
    المعايير: أصالة العربي، التغطية والحجم، التوثيق، التحقق من الجودة، الترخيصCriteria: Arabic authenticity, Coverage & size, Documentation, Quality checks, Licence

التطبيقاتApps

  • 3. مساعد محادثةChat assistant شغّال الحينLive now
  • 4. أداة متخصصةSpecialized tool شغّال الحينLive now
  • 5. وكيلAgent شغّال الحينLive now
  • 6. منصة تشغيل وكيلAgent harness شغّال الحينLive now
  • 7. أتمتةWorkflow automation لاحقاًLater
    المعايير: العربي من أول خطوة لآخرها، التطبيقات اللي نحتاجها، سهولة البناء، الموثوقية، وضوح التكلفةCriteria: Arabic end to end, Apps on our Saudi checklist, Ease of building, Reliability, Cost predictability

الإضافات والموصّلاتAdd-ons & connectors

  • 8. إضافةAdd-on / plugin المرحلة الجايةNext phase
    المعايير: الصلاحيات مقابل الوظيفة، الناشر، الأمان أثناء العمل، الشغل على محتوى عربي، يشتغل وينCriteria: Permissions fit, Publisher, Safety controls, Arabic content, Where it runs
  • 9. موصّل MCPMCP connector المرحلة الجايةNext phase
    المعايير: رسمي أو مجتمعي، أقل صلاحية، طريقة الدخول، طريقة التشغيل، التوافق، الصيانةCriteria: Official or community, Least privilege, Sign-in method, Hosting, Clients, Maintenance
  • 10. مهارةSkill المرحلة الجايةNext phase
    المعايير: النتيجة بالعربي، وضوح التعليمات، قابلية النقل، الأمان، المصدر والترخيصCriteria: Arabic result, Instruction quality, Portability, Safety, Source & licence

للمطوّرينFor developers

  • 11. واجهة برمجية (API)API لاحقاًLater
    المعايير: جودة العربي، تكلفة مهمة قياسية، الحصة المجانية، التوثيق والأمثلة، التسجيل والدفع من السعوديةCriteria: Arabic quality, Standard-job cost, Free allowance, Docs & examples, Sign-up & payment from KSA
  • 12. إطار تطويرFramework / SDK لاحقاًLater
    المعايير: سهولة التعلم، مرونة النماذج، المزايا الأساسية، مثال عربي، النضج والصيانةCriteria: Learning curve, Model-agnostic, Core features, Arabic example, Maturity
  • 13. منصة بناء بدون برمجةNo-code builder لاحقاًLater
    المعايير: التطبيق بالعربي، من الفكرة للنشر، ملكية الكود، وضوح التكلفة، الأمان الافتراضيCriteria: Arabic app (RTL), Idea to live, Code ownership, Cost predictability, Default security

الأجهزةDevices

  • 14. جهازDevice لاحقاًLater
    المعايير: التوفر الرسمي والضمان، المساعد بالعربي، مزايا تشتغل في السعودية، الخصوصية، البطارية والراحةCriteria: Official availability & warranty, Arabic assistant, Features in KSA, Privacy, Battery & comfort

اختبارات سالفة العربية الخمسةsalfa’s five Arabic tests

نفس الأوامر الخمسة نعطيها لكل مساعد محادثة وكل نموذج، عشان المقارنة تكون عادلة. ننشرها هنا عشان تقدر تجربها بنفسك.We give the same five prompts to every chat assistant and model, so the comparison is fair. We publish them so you can try them yourself.

1) طلب باللهجة النجديةNajdi dialect request

أبيك تساعدني أرتب عزيمة عشا لعشرة أنفار يوم الخميس بالبيت. وش الأكلات اللي تنفع، وكم تقريباً بتكلفني؟ رد علي بالسعودي وبنقاط قصيرة.

2) طلب باللهجة الحجازيةHijazi dialect request

أبغى أروح من جدة لمكة يوم الجمعة الصباح وأرجع بالليل. إيش أحسن وقت أطلع فيه عشان الزحمة؟ وإيش لازم آخذ معايا؟ كلمني بالحجازي.

3) خطاب رسمي بالفصحىFormal letter in MSA

اكتب خطاباً رسمياً بالعربية الفصحى إلى مدير الموارد البشرية، أطلب فيه إجازة اضطرارية لمدة ثلاثة أيام تبدأ من يوم الأحد بسبب ظرف عائلي. اجعل الأسلوب مهذباً ومختصراً، وأضف التحية والختام.

4) تلخيص نص عربيArabic summary

لخّص النص التالي في خمس نقاط قصيرة بالعربي البسيط، ولا تضيف أي معلومة مو موجودة فيه:

«يستهلك كثير من البيوت مويه أكثر من حاجتها بدون ما تنتبه. الحنفية اللي تنقّط، والدش الطويل، وغسيل السيارة بالخرطوم، كلها تزيد الفاتورة. أول خطوة إنك تصلّح أي تسريب في البيت، لأن التسريب الصغير يضيّع مويه كثيرة مع الوقت. الخطوة الثانية إنك تركّب رشاشات موفّرة للدش والمغاسل، وهي رخيصة وسهلة التركيب. والثالثة إنك تشغّل الغسالة وغسالة الصحون وهي مليانة بس. وأخيراً، اسقِ الزرع الصبح بدري أو بعد المغرب عشان ما يتبخر الماء بسرعة.»

5) عربي وإنجليزي مخلوطMixed Arabic/English

عندي meeting مع الـ client بكرة الساعة 10 الصبح. اكتب لي email قصير بالإنجليزي أأكد فيه الموعد وأطلب الـ agenda، وبعدها اشرح لي بالعربي وش كتبت في سطرين.

متى نراجع التقييم؟When we re-review

  • النماذج والمساعدات والوكلاء: كل 3 شهور، أو مع أي إصدار كبير.
  • الأدوات المتخصصة والإضافات والموصّلات والأتمتة ومنصات البناء: كل 6 شهور، أو إذا تغيّرت الصلاحيات.
  • مجموعات البيانات وأطر التطوير: كل 12 شهر، أو مع إصدار جديد.
  • الأجهزة: مع كل جيل جديد، أو إذا تغيّر توفرها في السعودية.
  • Models, assistants and agents: every 3 months, or on a major release.
  • Specialized tools, add-ons, connectors, automation and builders: every 6 months, or when permissions change.
  • Datasets and frameworks: every 12 months, or on a new version.
  • Devices: with each new generation, or when KSA availability changes.

الرعاية ما تشتري تقييم أبداً. لقيت معلومة غلط؟Sponsorship never buys a rating. Spotted a mistake? قل لناTell us.