Building high-scale batch and near-real-time data pipelines deployed on infrastructure we run ourselves (on-prem), not managed cloud services. You will design and operate high-volume analytical data systems end to end, with Apache Spark as the core processing engine for both batch and streaming workloads.
Requirements
7+ years of experience in data engineering and software development
Ability to write high-quality code in Java/Scala, Python, or equivalent languages
Deep, hands-on production experience with Apache Spark batch and Spark Structured Streaming (core requirement)
Demonstrated Spark performance tuning: partitioning, caching and persistence, broadcast joins, shuffle reduction, data-skew handling, and Adaptive Query Execution
Experience operating Spark on self-managed clusters (YARN, Kubernetes, or standalone) — executor sizing, resource allocation, and multi-tenant workloads
Practical experience with Kafka (or equivalent messaging systems) as a Spark source and sink for high-volume workloads, including offset and checkpoint management
Practical experience with distributed query engines (e.g., Trino/Presto or similar)
Practical experience with ETL / data integration tools, commercial or open-source (e.g., Datastage, Informatica, Apache NiFi, or similar)
Practical experience with SQL-based transformation frameworks (e.g., dbt or others)
Strong SQL skills and understanding of data modeling and data warehousing for analytical workloads
Hands-on experience with real-time / low-latency analytical stores (columnar or OLAP engines, e.g., Apache Pinot/ClickHouse or similar)
Practical experience with big-data platforms and distributions (e.g., Cloudera, Hadoop ecosystem, Databricks, or similar)
Practical experience containerizing and operating data workloads (Docker; Kubernetes a plus)
Experience with workflow orchestration tools (e.g., Airflow or similar)
Familiarity with data lake table formats (e.g., Apache Iceberg, Delta Lake, or similar), including schema evolution and compaction
Familiarity with data governance / cataloging tools (e.g., DataHub or similar)
Familiarity with lakehouse management systems (e.g., Apache Amoro or similar)
Familiarity using AI tools for development and debugging (Claude, Cursor, Codex)
Key Skills
Apache Spark, Spark SQL, Spark Structured Streaming, PySpark, Airflow, SQL, ETL, Java, Scala, Python, Apache Iceberg, Delta Lake, Data Lakehouse, Trino, Data Lake, Data Warehousing, Data Modeling, Data Architecture, Kafka, Hadoop, Cloudera, Databricks, Docker, Kubernetes
بناء خطوط بيانات batch عالية السعة وبقرب من الواقع الحقيقي تديرها بناؤك الخاصة على البنية التحتية (في مقر العمل)، لا خدمات سحابية مُدارة. ستقوم بتصميم وتشغيل أنظمة بيانات تحليلية عالية الحجم من النهاية إلى النهاية، مع Apache Spark كمحرك المعالجة الأساسي لكل من أحمال العمل الدفعي والتدفق المستمر.
المتطلبات
7+ سنوات من الخبرة في هندسة البيانات وتطوير البرمجيات
القدرة على كتابة كود عالي الجودة بلغة Java/Scala، Python، أو لغات مكافئة
خبرة عملية عميقة مع إنتاجية Spark Batch وSpark Structured Streaming (المتطلب الأساسي)
إثبات تحسين أداء Spark: التقسيم، التخزين المؤقت والالتصاق، الانضمامات المُذاعة، تقليل Shuffle، معالجة تحوير البيانات، وتنفيذ الاستعلام التكيفي
خبرة في تشغيل Spark على عنقود مُدار ذاتيًا (YARN، Kubernetes، أو مستقل) — ضبط حجم المُنفّذ، تخصيص الموارد، وأعباء عمل متعددة المستأجرين
خبرة عملية مع Kafka (أو أنظمة رسائل مكافئة) كمصدر ومصرف لـ Spark لأحمال عمل عالية الحجم، بما في ذلك إدارة الأوفست ونقاط التحقق
خبرة عملية مع محركات الاستعلام الموزعة (مثل Trino/Presto أو ما شابه)
خبرة عملية مع أدوات ETL / تكامل البيانات، تجارية أو مفتوحة المصدر (مثل Datastage، Informatica، Apache NiFi، أو ما شابه)
خبرة عملية مع أطر تحويل SQL-based (مثل dbt أو غيرها)
مهارات SQL قوية وفهم لنمذجة البيانات وتخطيط مستودعات البيانات للأحمال التحليلية
خبرة عملية مع مخازن البيانات التحليلية الفورية/منخفضة التأخير (محركات عمودية أو OLAP، مثل Apache Pinot/ClickHouse أو ما شابه)
خبرة عملية مع منصات و توزيعات البيانات الكبيرة (مثل Cloudera، نظام Hadoop، Databricks، أو ما شابه)
خبرة في تحويل وتعبئة أحمال البيانات (Docker؛ Kubernetes ميزة إضافية)
خبرة مع أدوات تنظيم سير العمل (مثل Airflow أو ما شابه)
معرفة بأشكال جداول بحيرة البيانات (مثل Apache Iceberg، Delta Lake، أو ما شابه)، بما في ذلك تطور المخطط والدمج
معرفة بأدوات حوكمة البيانات / الفهرسة (مثل DataHub أو ما شابه)
معرفة بأنظمة إدارة lakehouse (مثل Apache Amoro أو ما شابه)
معرفة باستخدام أدوات الذكاء الاصطناعي للتطوير وتصحيح الأخطاء (Claude، Cursor، Codex)
المهارات الرئيسية
Apache Spark, Spark SQL, Spark Structured Streaming, PySpark, Airflow, SQL, ETL, Java, Scala, Python, Apache Iceberg, Delta Lake, Data Lakehouse, Trino, Data Lake, Data Warehousing, Data Modeling, Data Architecture, Kafka, Hadoop, Cloudera, Databricks, Docker, Kubernetes