تطوير خطوط أنابيب البيانات وتصميم البنية التحتية، وبناء وصيانة خطوط تدفق بيانات قابلة للتطوير. تطوير أطر معالجة البيانات في الوقت الفعلي والدفعات للبيانات المنظمة وغير المنظمة. تنفيذ سير عمل ETL/ELT لاستيعاب البيانات من مصادر متعددة، مع ضمان التوفر العالي والأداء. تحسين التخزين واسترجاع البيانات في الوقت الفعلي القريب وعمليات الدفعات. ضمان بنية تحتية للبيانات فعالة من حيث التكلفة وذات أداء عالي تتسع لاحتياجات العمل. حلول البيانات وتطبيقات الذكاء الاصطناعي المدفوعة بالبيانات تطوير خطوط تدفق البيانات لمنصات التوصية بالذكاء الاصطناعي، ووظائف البحث، وميزات محسنّة بالذكاء الاصطناعي. تطوير والمحافظة على نماذج البيانات وواجهات برمجة التطبيقات والتكاملات لدعم التحليلات وتطبيقات العملاء. دعم حلول البيانات المرتبطة بالتجارة الإلكترونية، بما في ذلك توصيات المنتجات، وتقسيم العملاء، ونماذج التخصيص. التعاون والتحسين المستمر: العمل عن كثب مع مهندسي البيانات والمحللين وفرق المنتج لفهم متطلبات البيانات وتقديم حلول من الدرجة الأولى. رصد وتتبع مشكلات الأداء، مع ضمان التوفر العالي وكفاءة خطوط تدفق البيانات. الاستمرار في تحسين التكلفة والأداء وقابلية التوسع لحلول هندسة البيانات.
المرشح المؤهل المطلوب
المؤهلات- 5+ سنوات من الخبرة كمهندس بيانات، العمل ضمن Azure و Databricks
- خبرة قوية في تطوير خطوط تدفق البيانات، وسير عمل ETL، ومعالجة البيانات في الوقت الحقيقي/الدُفعات
- الخبرة في تقنيات البيانات الكبيرة والتخزين البيانات على نطاق واسع
- المألوف بنُظم حوكمة البيانات، والأمان، وأفضل ممارسات الامتثال وأدواتها
- إتقان Python وSQL، من أجل تحويل البيانات، وجودة البيانات، وأتمتة العمليات
- خبرة قوية في تحسين أداء البيانات وتكلفتها في بيئات السحابة
ما يُفضّل وجوده- خبرة مع حلول بيانات التجارة الإلكترونية، مثل تقسيم العملاء، وأنظمة التوصية، ونماذج التخصيص
- معرفة بالهندسة المعمارية القائمة على الأحداث، ومعالجة البيانات المتدفقة، والتحليلات في الوقت الفعلي
- المألوف مع تطبيقات الذكاء الاصطناعي المعتمدة على LLM وواجهات برمجة OpenAI أو ما شابهها
Data Pipeline Development & Infrastructure Design, build, and maintain scalable data pipelines Develop real-time and batch data processing frameworks for structured and unstructured data. Implement ETL/ELT workflows to ingest data from various sources, ensuring high availability and performance . Optimize data storage and retrieval of data in (near) real time and batch processes Ensure cost-efficient and high-performance data infrastructure that scales with business needs. Data Solutions & AI-Driven Applications develop data pipelines for ML recommenders, search functionality, and AI-enhanced features . Develop and maintain data models, APIs, and integrations to support analytics and customer applications. Support eCommerce-related data solutions , including product recommendations, customer segmentation, and personalization models. Collaboration & Continuous Improvement Work closely with Data Architects, Analysts, and Product Teams to understand data requirements and deliver best-in-class solutions. Monitor and troubleshoot performance issues , ensuring high availability and efficiency of data pipelines. Continuously optimize cost, performance, and scalability of data engineering solutions.
Desired Candidate Profile
Qualifications- 5+ years of experience as a Data Engineer , working with Azure and Databricks
- Strong expertise in data pipeline development, ETL workflows, and real-time/batch data processing .
- Experience in big data technologies, and large-scale data storage .
- Familiarity with data governance, security, and compliance best practices and tools
- Proficiency in Python, and SQL, for data transformation, data quality and automation.
- Strong experience in optimizing data performance and cost-efficiency in cloud environments .
Nice to Have- Experience with eCommerce data solutions , such as customer segmentation, recommendation engines, and personalization models.
- Knowledge of event-driven architectures, streaming data processing, and real-time analytics .
- Familiarity with LLM-based AI applications and OpenAI or similar APIs .