بناء خطوط تدفق بيانات عالية السعة وذات زمن استجابة منخفض تُنَشَّط على بنية تحتية نديرها بأنفسنا (على المواقع)، وليست خدمات سحابية مُدارة. ستقوم بتصميم وتشغيل أنظمة بيانات حقيقية النطاق والسرعة من النهاية إلى النهاية مع أباتشي Flink كمحرك المعالجة التدفقية الأساسي.
المتطلبات
خبرة 7+ سنوات في هندسة البيانات وتطوير البرمجيات
القدرة على كتابة كود عالي الجودة بلغة Java/Scala، بايثون أو لغات مكافئة
خبرة إنتاجية عميقة مع Flink - DataStream API وTable API / Flink SQL (متطلب أساسي)
خبرة موثقة في إدارة حالة Flink: حالة مُعَنونة، وحدات خلفية للحالة (مثلاً RocksDB)، أحجام حالة كبيرة وTTL للحالة
خبرة عملية في أخذ نقاط التحقق والـ savepoints والاعتماد على التحمل للأخطاء - المعنى exact-once مقابل at-least-once، الاستعادة وتحديثات الوظائف بناءً على savepoint
إلمام قوي بمعالجة وقت الحدث: وضع علامات المياه وخطط النوافذ والتأخر المسموح والتعامل مع البيانات المتأخرة
خبرة في تشخيص وحل مشكلة الضغط الخلفي - التوازي، ربط المشغلين وتعديل ذاكرة الشبكة
خبرة في تشغيل Flink على بنية تحتية مُدارة ذاتيًا (Kubernetes أو YARN) - وضع التطبيق مقابل الوضع الجلسة، توافر عالي وترقيات متدرجة
خبرة عملية في معالجة تدفقات البيانات (Kafka Streams أو ما يعادلها) وأنظمة الرسائل للأحمال عالية الحجم، بما في ذلك المصارف التي تكون Exactly-once واستخدام سجل المخطط
خبرة عملية في محركات الاستعلام الموزعة (مثلاً Trino/Presto أو ما يشابهها)
خبرة عملية في أدوات ETL / تكامل البيانات (مثلاً Datastage، Informatica، Apache NiFi أو ما يشابهها) وأطر تحويل SQL-based (مثلاً dbt)
مهارات SQL قوية وفهم نمذجة البيانات وتخزين البيانات لأعباء analytical workloads
خبرة عملية في مخازن البيانات في الوقت الحقيقي / منخفضة الكمون (محركات عمودية أو OLAP، مثل Apache Pinot/ClickHouse أو ما يشابهها)
خبرة عملية في منصات وتوزيعات البيانات الضخمة (مثلاً Cloudera، نظام Hadoop أو ما يشابهه)
خبرة عملية في حاوية وتشغيل أعباء البيانات (Docker؛ Kubernetes ميزة إضافية) وأدوات تنظيم سير العمل (مثلاً Airflow)
الألفة مع صيغ جداول البحيرة البيانات (مثلاً Apache Iceberg)، وأدوات حوكمة البيانات / فهرسة البيانات (مثلاً DataHub) وأنظمة إدارة lakehouse (مثلاً Apache Amoro)
الألفة باستخدام أدوات الذكاء الاصطناعي للتطوير وتصحيح الأخطاء (Claude، Cursor، Codex)
Build high-scale, low-latency streaming data pipelines deployed on infrastructure we run ourselves (on-prem), not managed cloud services. You will design and operate high-volume real-time data systems end to end, with Apache Flink as the core stream-processing engine.
Requirements
7+ years of experience in data engineering and software development
Ability to write high-quality code in Java/Scala, Python or equivalent languages
Deep, hands-on production experience with Apache Flink - DataStream API and Table API / Flink SQL (core requirement)
Demonstrated experience with Flink state management: keyed state, state backends (e.g. RocksDB), large state sizes and state TTL
Hands-on experience with checkpointing, savepoints and fault tolerance - exactly-once vs at-least-once semantics, recovery and savepoint-based job upgrades
Strong grasp of event-time processing: watermarking, windowing strategies, allowed lateness and late-data handling
Experience diagnosing and resolving backpressure - parallelism, operator chaining and network buffer tuning
Experience operating Flink on self-managed infrastructure (Kubernetes or YARN) - application vs session mode, high availability and rolling upgrades
Practical experience with stream processing (Kafka Streams or equivalent) and messaging systems for high-volume workloads, including exactly-once sinks and schema registry usage
Practical experience with distributed query engines (e.g. Trino/Presto or similar)
Practical experience with ETL / data integration tools (e.g. Datastage, Informatica, Apache NiFi or similar) and SQL-based transformation frameworks (e.g. dbt)
Strong SQL skills and understanding of data modeling and data warehousing for analytical workloads
Hands-on experience with real-time / low-latency analytical stores (columnar or OLAP engines, e.g. Apache Pinot/ClickHouse or similar)
Practical experience with big-data platforms and distributions (e.g. Cloudera, Hadoop ecosystem or similar)
Practical experience containerizing and operating data workloads (Docker; Kubernetes a plus) and workflow orchestration tools (e.g. Airflow)
Familiarity with data lake table formats (e.g. Apache Iceberg), data governance / cataloging tools (e.g. DataHub) and lakehouse management systems (e.g. Apache Amoro)
Familiarity using AI tools for development and debugging (Claude, Cursor, Codex)