دوره جامع مهندسی داده Data Engineer
در دوره جامع مهندسی داده به درک عمیقی از اجزای پلتفرم داده خواهید رسید و انواع مختلف پایگاه داده ای رابطه‌ای مانند PostgreSQL و MySQL و پایگاه داده غیر رابطه ای مانند MongoDB ،زبان برنامه نویسی پایتون،Scala ، انبار داده, Lakehouse , Data Lake , مدل سازی داده ها، کلان داده ها و تکنیک های جستجو در آن با Elasticsearch ،Apache Spark ،Hadoop، انتقال و پردازش کلان داده ها، ذخیره سازی بهینه، نظارت بر داده ها، کنترل نسخ توزیع شده، استقرار و اجرای برنامه ها، ابزار مدیریت لاگ و مانیتورینگ با Grafana، Data Mesh و تکنیک های آماده سازی داده برای دانشمند علم داده جهت پیاده سازی الگوریتم های یادگیری ماشین بر بستر ویندوز و لینوکس ارائه خواهد شد.
ثبت نام و برنامه کلاسی
وحید قربانی
- تاریخ شروع :1404/05/10
- زمان برگزاری: 9:00 الی 13:00 -جمعه ها
- کلاس حضوری - آنلاین
از 14,900,000 تومان
تومان
این دوره به شما درک درستی از چرخه مهندسی داده را می دهد که شامل طراحی و معماری پلتفرم های داده ، طراحی انبارهای داده، آماده سازی و گرد آوری، جست جو و تجزیه و تحلیل داده ها داده می باشد.
مخاطب آموزش مهندسی داده:
علاقمندان به ورود به حوزه مهندسی داده ، پردازش کلان داده ها، تحلیلگران داده، دانشمندان علم داده
در انتهای دوره جامع مهندسی داده دانشجویان قادر خواهند بود:
یادگیری ایجاد، طراحی و مدیریت پایگاه داده های رابطه ای و اعمال مفاهیم مدیریت پایگاه داده MySQL, PostgreSQL
توسعه دانش کاری NoSQL و Big Data با استفاده از MongoDB، Hadoop، Apache Spark، Spark SQL، Spark ML و Spark Streaming
مدل‌سازی داده‌ها (نمودارهای موجودیت-رابطه، مفاهیم انبار داده، مفاهیم دریاچه داده، مدل‌سازی ابعادی)
یکپارچه سازی داده ها با Apache Kafka ,Airflow ,Data pipelines ETL,
فناوری های کلان داده (اکوسیستم آپاچی هادوپ، محاسبات توزیع شده)
پیاده سازی روش‌های پاکسازی و اعتبارسنجی داده‌ها و اطمینان از بهره برداری اطلاعات به‌طور مناسب برای کاربران
ایجاد داشبوردهای تعاملی
دوره جامع مهندسی داده – از مبانی تا پیشرفته
مهندسی داده (Data Engineering) یکی از کلیدی‌ترین مهارت‌ها در دنیای امروز برای مدیریت و پردازش حجم عظیمی از داده‌ها است. در این دوره جامع، با زبان‌های برنامه‌نویسی، پایگاه‌های داده، پردازش کلان‌داده، پیاده‌سازی ETL، فناوری‌های بیگ دیتا، مدیریت پایگاه‌های داده و پلتفرم‌های تحلیل داده آشنا خواهید شد. همچنین، ابزارهای مدرن مانند Apache Spark، Apache Kafka، Apache Airflow، Docker و Git را به‌صورت عملی و پروژه‌محور فرا خواهید گرفت.
سرفصل‌های آموزشی دوره مهندسی داده
برنامه‌نویسی برای مهندسی داده
Python
Scala
مبانی پایگاه‌های داده
پایگاه‌های داده NoSQL (MongoDB)
پایگاه‌های داده رابطه‌ای (PostgreSQL, MySQL)
مدل‌سازی داده و معماری ذخیره‌سازی
مفاهیم Data Warehouse و Data Lake
مدل‌سازی بعدی (Dimensional Modeling) و ERD
Elasticsearch و Kibana برای جستجو و تحلیل داده‌ها
پردازش داده و پیاده‌سازی ETL
مفاهیم ETL و طراحی Data Pipeline
کار با ابزارهای ETL و پردازش داده‌ها با Apache Spark و PySpark
سیستم‌عامل Linux LPIC1 برای مدیریت پردازش داده
فناوری‌های کلان‌داده (Big Data Technologies)
Apache Hadoop Ecosystem و پردازش توزیع‌شده
Databricks برای مدیریت و تحلیل داده‌های عظیم
پردازش داده‌های جریانی (Data Streaming)
Apache Kafka برای پردازش رویدادهای توزیع‌شده و استریم داده‌ها
ذخیره‌سازی داده و Data Warehousing
Delta Lake و AWS Athena برای مدیریت و پردازش داده‌ها
ارکستراسیون گردش‌کار داده‌ها
Apache Airflow برای مدیریت و زمان‌بندی فرآیندهای ETL
کنترل نسخه و همکاری در پروژه‌های داده
GitHub و GitLab برای مدیریت نسخه و همکاری تیمی
کانتینرسازی و مدیریت پردازش داده‌ها
Docker برای استقرار و مقیاس‌پذیری سرویس‌های داده‌ای
مانیتورینگ و لاگ‌گیری داده‌ها
Grafana برای نظارت و تحلیل داده‌های مهندسی شده
مباحث پیشرفته در مهندسی داده
ایجاد و پیاده‌سازی Machine Learning Pipelines
این دوره شما را به یک متخصص حرفه‌ای در دنیای مهندسی داده تبدیل می‌کند!
جزئیات سرفصل آموزشی دوره جامع مهندسی داده را از اینجا دریافت کنید:
محل برگزاری
دوره‌های مرتبط
در دوره جامع مهندسی داده به درک عمیقی از اجزای پلتفرم داده خواهید رسید و انواع مختلف پایگاه داده ای رابطه‌ای مانند PostgreSQL و MySQL و پایگاه داده غیر رابطه ای مانند MongoDB ،زبان برنامه نویسی پایتون،Scala ، انبار داده, Lakehouse , Data Lake , مدل سازی داده ها، کلان داده ها و تکنیک های جستجو در آن با Elasticsearch ،Apache Spark ،Hadoop، انتقال و پردازش کلان داده ها، ذخیره سازی بهینه، نظارت بر داده ها، کنترل نسخ توزیع شده، استقرار و اجرای برنامه ها، ابزار مدیریت لاگ و مانیتورینگ با Grafana، Data Mesh و تکنیک های آماده سازی داده برای دانشمند علم داده جهت پیاده سازی الگوریتم های یادگیری ماشین بر بستر ویندوز و لینوکس ارائه خواهد شد.
- به دوستان نیز معرفی کنید