نبذة عن Turing:
يقع مقر Turing في سان فرانسيسكو بولاية كاليفورنيا، وهي المؤسسة الرائدة عالميًا في تسريع الأبحاث لمختبرات الذكاء الاصطناعي المتطورة، وشريك موثوق للمؤسسات العالمية التي تنشر أنظمة ذكاء اصطناعي متقدمة. تدعم Turing العملاء بطريقتين: أولاً، من خلال تسريع الأبحاث المتطورة ببيانات عالية الجودة، وخطوط أنابيب تدريب متقدمة، بالإضافة إلى نخبة من باحثي الذكاء الاصطناعي المتخصصين في البرمجة، والاستنتاج، ومجالات العلوم والتكنولوجيا والهندسة والرياضيات (STEM)، وتعدد اللغات، وتعدد الوسائط، والوكلاء؛ وثانياً، من خلال تطبيق هذه الخبرة لمساعدة المؤسسات على تحويل الذكاء الاصطناعي من إثبات مفهوم إلى ذكاء خاص بأنظمة تعمل بشكل موثوق، وتحقق تأثيرًا ملموسًا، وتدفع بنتائج دائمة على الربح والخسارة.
نظرة عامة على الدور:
نحن نبحث عن مهندسي تقييم ذكاء اصطناعي ذوي خبرة (محاكاة وتصميم هندسي) لتأليف والتحقق من مشكلات التصميم الهندسي القائمة على المحاكاة والمصممة لـ "اختبار حدود النماذج"، وذلك لتدريب وتقييم وكلاء الذكاء الاصطناعي المتطورين. ومن خلال العمل عبر التخصصات الهندسية الرئيسية - بما في ذلك الهندسة الكهربائية، والميكانيكية، وأنظمة التحكم، وهندسة الطيران، وهندسة النظم، والروبوتات - ستقوم بإنشاء مهام معقدة ومتعددة القيود حيث يتعين على وكلاء الذكاء الاصطناعي تفسير المتطلبات، والتعامل مع المقايضات، وتكوين أدوات المحاكاة مفتوحة المصدر، وتشخيص الأعطال، والتكرار للوصول إلى حلول صالحة. ستقوم بتحليل سجلات تنفيذ الوكلاء، وكشف فجوات الاستدلال المنهجية، وبناء مصنفات (مقيمات) آلية وموضوعية لرفع أداء النماذج المتطورة.
متطلبات الوظيفة:
- التعليم والخبرة: درجة الماجستير أو الدكتوراه في الهندسة الكهربائية، أو الميكانيكية، أو هندسة الطيران، مع أكثر من 10 سنوات من الخبرة العملية في التصميم الهندسي.
- أدوات المحاكاة: إتقان استخدام حزمة محاكاة واحدة على الأقل مفتوحة المصدر ذات صلة بالمجال (مثل ngspice، PySpice، OpenFOAM، FEniCSx، CalculiX، python-control، CadQuery، build123d، OpenModelica، Cantera، Gmsh) بالإضافة إلى مهارات قوية في برمجة Python.
- تقييم الذكاء الاصطناعي وتشخيص الأعطال: خبرة عملية مع نماذج اللغات الكبيرة (LLMs)/وكلاء البرمجة ومفاهيم التقييم (pass@k، تحليل نمط الفشل، السلوك غير الحتمي)، مع القدرة على تدقيق سجلات المسار وعزل فشل الاستدلال الأساسي/استخدام الأدوات.
- دقة المجال والصرامة: اهتمام لا يلين بالمعقولية الفيزيائية، واتساق الوحدات، والشروط الحدية، ومعايير التقارب، والتوثيق الفني.
- التوفر والالتزام: يجب أن يتمتع الموهوب بتوفر للعمل في عطلات نهاية الأسبوع عند الطلب (يُقبل العمل بدوام جزئي).
- البنية التحتية التقنية: سطح مكتب/كمبيوتر محمول شخصي مجهز باتصال إنترنت مستقر وعالي السرعة في بيئة عمل عن بُعد.
مسؤوليات الوظيفة:
- تصميم مشكلات اختبار النماذج: تأليف مهام تصميم هندسي أصلية ومكتفية ذاتيًا ذات قيود متنافسة، وأهداف تحسين صريحة، وحلول مرجعية معتمدة، ومصنفات آلية موضوعية.
- تكامل البيئة والمحاكاة: بناء وتشغيل والتحقق من بيئات المشكلات باستخدام أدوات محاكاة مفتوحة المصدر ومنصات اختبار Python مخصصة.
- تحليل المسار وتصنيف أنماط الفشل: تقييم مخرجات وكلاء البرمجة وسجلات التنفيذ عبر تجارب متكررة لتحديد أنماط الفشل المنهجية (مثل إساءة تفسير ملاحظات المحاكي، التقارب المبكر للتصميم، الأشكال الهندسية المستحيلة فيزيائيًا).
- معايرة الصعوبة وتحسين المعايير: تحسين صعوبة المشكلة بشكل تكراري بناءً على بيانات أداء النموذج التجريبية دون تقديم غموض أو فقدان معلومات.
- التعاون متعدد الوظائف: الشراكة مع باحثي الذكاء الاصطناعي وقادة الفرق وخبراء المجال لدمج معايير عالية الدقة في خط أنابيب تقييم النموذج.
المجالات:
- الهندسة الكهربائية
- الهندسة الميكانيكية
- هندسة الطيران
التعليم والخبرة:
- درجة البكالوريوس أو خبرة عملية معادلة في أي مجال.
- يفضل، ولكن ليس مطلوباً، وجود خبرة في تقييم الذكاء الاصطناعي، أو تعليق البيانات، أو مراجعة المحتوى، أو ضمان الجودة، أو دور تحليلي ذي صلة.
تفاصيل العرض:
- الالتزامات المطلوبة: 40 ساعة في الأسبوع مع 4 ساعات من التداخل مع توقيت المحيط الهادئ (PST).
- نوع التعاقد: متعاقد
- مدة التعاقد: تصل إلى 24 أسبوعًا
عملية التقييم:
- سيتم إرسال "نموذج اهتمام وظيفي" للمرشحين المختارين.
- سيمر الموهوبون الذين يتم اختيارهم نهائيًا بمراجعة التسليم وسيتم المتابعة معهم وفقًا لذلك.
About Turing:
Based in San Francisco, California, Turing is the world’s leading research accelerator for frontier AI labs and a trusted partner for global enterprises deploying advanced AI systems. Turing supports customers in two ways: first, by accelerating frontier research with high-quality data, advanced training pipelines, plus top AI researchers who specialize in coding, reasoning, STEM, multilinguality, multimodality, and agents; and second, by applying that expertise to help enterprises transform AI from proof of concept into proprietary intelligence with systems that perform reliably, deliver measurable impact, and drive lasting results on the P&L.
Role Overview:
We are seeking experienced AI Evaluation Engineers (Engineering Simulation & Design) to author and validate "model-breaking," simulation-based engineering design problems to train and evaluate state-of-the-art AI agents. Operating across major engineering disciplines—including Electrical, Mechanical, Control Systems, Aerospace, Systems, and Robotics—you will create complex, multi-constraint tasks where AI agents must interpret requirements, navigate trade-offs, configure open-source simulation tools, diagnose failures, and iterate toward valid solutions. You will analyze agent execution logs, expose systemic reasoning gaps, and build automated, objective graders to elevate frontier model performance.
Job Requirements:
- Education & Expertise: Master’s degree or PhD in Electrical, Mechanical, Aerospace, with 10+ years of hands-on engineering design experience.
- Simulation Tooling: Proficiency with at least one domain-relevant open-source simulation package (e.g., ngspice, PySpice, OpenFOAM, FEniCSx, CalculiX, python-control, CadQuery, build123d, OpenModelica, Cantera, Gmsh) combined with strong Python scripting skills.
- AI Evaluation & Failure Diagnostics: Hands-on experience with modern LLMs/coding agents and evaluation concepts (pass@k, failure-mode analysis, nondeterministic behavior), with the ability to audit trajectory logs and isolate core reasoning/tool-use failures.
- Domain Rigor & Precision: Uncompromising attention to physical plausibility, unit consistency, boundary conditions, convergence criteria, and technical documentation.
- Availability & Commitment: Talent must have weekend on-call availability (part-time engagement is acceptable).
- Technical Infrastructure: Personal desktop/laptop equipped with a stable, high-speed internet connection in a remote setup.
Job Responsibilities:
- Model-Breaking Problem Design: Author original, self-contained engineering design tasks with competing constraints, explicit optimization targets, validated reference solutions, and objective autograders.
- Environment & Simulation Integration: Build, run, and validate problem environments using open-source simulation tools and custom Python test benches.
- Trajectory Analysis & Failure Mode Taxonomy: Evaluate coding agent outputs and execution logs across repeated trials to identify systemic failure modes (e.g., misinterpreting simulator feedback, premature design convergence, physically impossible geometries).
- Difficulty Calibration & Benchmark Refinement: Iteratively refine problem difficulty based on empirical model performance data without introducing ambiguity or missing information.
- Cross-Functional Collaboration: Partner with AI researchers, pod leads, and domain experts to integrate high-rigor benchmarks into the model evaluation pipeline.
Domains:
- Electrical Engineering
- Mechanical Engineering
- Aerospace Engineering
Education & Experience:
- Bachelor's degree or equivalent practical experience in any field.
- Experience in AI evaluation, data annotation, content review, quality assurance, or a related analytical role is preferred but not required.
Offer Details:
- Commitments Required: 40 hours per week with 4 hours of overlap with PST.
- Engagement type: Contractor
- Engagement Length: upto 24 weeks
Evaluation Process:
- Shortlisted candidates will be sent a Job Interest Form.
- Finalized talents will go through delivery review & proceeded further accordingly.