[فارسی]

01 مقدمه
01-01 مقدمه

02 طراحی و پیاده سازی ذخیره سازی داده ها
02-01 اهداف آموزشی
02-02 یک راه حل Azure Data Lake طراحی کنید
02-03 انواع فایل را برای ذخیره سازی توصیه کنید
02-04 انواع فایل را برای پرس و جوهای تحلیلی توصیه کنید
02-05 طراحی برای پرس و جو کارآمد

03 طراحی برای هرس داده ها
03-01 اهداف آموزشی
03-02 ساختار پوشه ای طراحی کنید که سطوح تبدیل داده ها را نشان دهد
03-03 یک استراتژی توزیع طراحی کنید
03-04 یک راه حل بایگانی داده ها را طراحی کنید

04 یک استراتژی پارتیشن طراحی کنید
04-01 اهداف آموزشی
04-02 یک استراتژی پارتیشن برای فایل ها طراحی کنید
04-03 یک استراتژی پارتیشن برای بارهای کاری تحلیلی طراحی کنید
04-04 یک استراتژی پارتیشن برای کارایی و عملکرد طراحی کنید
04-05 یک استراتژی پارتیشن برای Azure Synapse Analytics طراحی کنید
04-06 شناسایی زمانی که پارتیشن بندی در Azure Data Lake Storage Gen2 مورد نیاز است

05 لایه سرویس دهی را طراحی کنید
05-01 اهداف آموزشی
05-02 طرح های ستاره ای را طراحی کنید
05-03 ابعاد را به آرامی در حال تغییر طراحی کنید
05-04 یک سلسله مراتب بعدی طراحی کنید
05-05 راه حلی برای داده های زمانی طراحی کنید
05-06 طراحی برای بارگذاری افزایشی
05-07 طراحی فروشگاه های تحلیلی
05-08 متاستورهای طراحی در Azure Synapse Analytics و Azure Databricks

06 ساختارهای ذخیره سازی داده های فیزیکی را پیاده سازی کنید
06-01 اهداف آموزشی
06-02 فشرده سازی را اجرا کنید
06-03 اجرای پارتیشن بندی
06-04 اجرای اشتراک گذاری
06-05 هندسه های مختلف جدول را با استخرهای Azure Synapse Analytics پیاده سازی کنید
06-06 پیاده سازی افزونگی داده ها
06-07 توزیع ها را اجرا کنید
06-08 اجرای آرشیو داده ها

07 ساختارهای داده های منطقی را پیاده سازی کنید
07-01 اهداف آموزشی
07-02 یک راه حل داده های زمانی بسازید
07-03 بعد به آرامی در حال تغییر بسازید
07-04 یک ساختار پوشه منطقی بسازید
07-05 ساخت جداول خارجی
07-06 ساختارهای فایل و پوشه را برای جستجوی کارآمد و هرس داده ها پیاده سازی کنید

08 لایه سرویس را پیاده سازی کنید
08-01 اهداف آموزشی
08-02 داده ها را در یک طرح ستاره رابطه ای تحویل دهید
08-03 داده ها را در فایل های پارکت تحویل دهید
08-04 ابرداده را حفظ کنید
08-05 یک سلسله مراتب بعدی را اجرا کنید

09 دریافت و تبدیل داده ها
09-01 اهداف آموزشی
09-02 داده ها را با استفاده از اسپارک آپاچی تغییر دهید
09-03 داده ها را با استفاده از Transact-SQL تبدیل کنید
09-04 داده ها را با استفاده از Data Factory تبدیل کنید
09-05 با استفاده از خطوط لوله Azure Synapse داده ها را تغییر دهید
09-06 داده ها را با استفاده از Stream Analytics تغییر دهید

10 با داده های تبدیل شده کار کنید
10-01 اهداف آموزشی
10-02 داده ها را پاک کنید
10-03 تقسیم داده ها
10-04 JSON را خرد کنید
10-05 داده ها را رمزگذاری و رمزگشایی کنید

11 عیب یابی تبدیل داده ها
11-01 اهداف آموزشی
11-02 مدیریت خطا را برای تبدیل پیکربندی کنید
11-03 مقادیر را عادی و غیرعادی کنید
11-04 داده ها را با استفاده از Scala تبدیل کنید
11-05 تجزیه و تحلیل اکتشافی داده ها را انجام دهید

12 یک راه حل پردازش دسته ای طراحی کنید
12-01 اهداف آموزشی
12-02 راه حل های پردازش دسته ای را با استفاده از Data Factory، Data Lake، Spark، Azure Synapse خطوط لوله، PolyBase و Azure Databricks ایجاد کنید.
12-03 خطوط لوله داده ایجاد کنید
12-04 بارهای داده افزایشی را طراحی و اجرا کنید
12-05 ابعاد به آرامی در حال تغییر را طراحی و توسعه دهید
06-12 رسیدگی به الزامات امنیتی و انطباق
12-07 منابع مقیاس

13 یک راه حل پردازش دسته ای ایجاد کنید
13-01 اهداف آموزشی
13-02 اندازه دسته را پیکربندی کنید
13-03 طراحی و ایجاد آزمایش برای خطوط لوله داده
13-04 نوت بوک های Jupyter و Python را در خط لوله داده ادغام کنید
13-05 داده های تکراری را مدیریت کنید
13-06 داده های از دست رفته را مدیریت کنید
13-07 داده های دیر رسیدن را مدیریت کنید

14 راه حل پردازش دسته ای را پیکربندی کنید
14-01 اهداف آموزشی
14-02 آپلود داده ها
14-03 بازگشت به حالت قبلی
14-04 مدیریت استثنا را طراحی و پیکربندی کنید
14-05 حفظ دسته ای را پیکربندی کنید
14-06 بازبینی طرح راه حل پردازش دسته ای
14-07 کارهای Spark را با استفاده از Spark UI اشکال زدایی کنید

15 یک راه حل پردازش جریان طراحی کنید
15-01 هدف آموزشی
15-02 با استفاده از Stream Analytics، Azure Databricks و Azure Event Hubs یک راه حل پردازش جریان ایجاد کنید.
15-03 داده ها را با استفاده از جریان ساختاری Spark پردازش کنید
15-04 برای عملکرد و رگرسیون های عملکردی نظارت کنید
15-05 دانه های پنجره ای را طراحی و ایجاد کنید
15-06 کنترل دریفت طرحواره

16 پردازش داده ها در یک راه حل پردازش جریانی
16-01 اهداف آموزشی
16-02 پردازش داده های سری زمانی
16-03 پردازش در پارتیشن ها
16-04 پردازش در یک پارتیشن
16-05 نقاط بازرسی و واترمارکینگ را در حین پردازش پیکربندی کنید
16-06 منابع مقیاس
16-07 طراحی و ایجاد آزمایش برای خطوط لوله داده
16-08 خطوط لوله را برای مقاصد تحلیلی یا معاملاتی بهینه کنید

17 عیب یابی راه حل پردازش جریان
17-01 اهداف آموزشی
17-02 وقفه ها را مدیریت کنید
17-03 مدیریت استثنا را طراحی و پیکربندی کنید
17-04 داده ها را اضافه کنید
17-05 داده های جریان بایگانی شده را دوباره پخش کنید
17-06 یک راه حل پردازش جریانی طراحی کنید

18 دسته ها و خطوط لوله را مدیریت کنید
18-01 اهداف آموزشی
18-02 دسته ماشه
18-03 بارهای دسته ای ناموفق را کنترل کنید
18-04 بارهای دسته ای را تأیید کنید
18-05 خطوط لوله داده را در خطوط لوله داده Factory و Synapse مدیریت کنید
18-06 خطوط لوله داده را در خطوط لوله داده Factory و Synapse برنامه ریزی کنید
18-07 اجرای کنترل نسخه برای مصنوعات خط لوله
18-08 مشاغل Spark را در خط لوله مدیریت کنید

19 طراحی امنیت برای سیاست های داده
19-01 اهداف آموزشی
19-02 رمزگذاری داده ها را برای داده ها در حالت استراحت و در حال انتقال طراحی کنید
19-03 یک استراتژی حسابرسی داده طراحی کنید
19-04 یک استراتژی پوشش داده طراحی کنید
19-05 طراحی برای حفظ حریم خصوصی داده ها

20 طراحی امنیت برای استانداردهای داده
20-01 اهداف آموزشی
20-02 خط مشی حفظ داده را طراحی کنید
20-03 طراحی برای پاکسازی داده ها بر اساس نیازهای تجاری
20-04 طراحی Azure RBAC و ACL مانند POSIX برای Data Lake Storage Gen2
20-05 امنیت در سطح ردیف و سطح ستون را طراحی کنید

21 حفاظت از امنیت داده ها را اجرا کنید
21-01 اهداف آموزشی
21-02 اجرای پوشش داده ها
21-03 داده ها را در حالت استراحت و در حرکت رمزگذاری کنید
21-04 امنیت در سطح ردیف و سطح ستون را پیاده سازی کنید
21-05 Azure RBAC را پیاده سازی کنید
21-06 ACL های مشابه POSIX را برای Data Lake Storage Gen2 پیاده سازی کنید
21-07 سیاست حفظ داده ها را اجرا کنید
21-08 یک استراتژی حسابرسی داده ها را اجرا کنید

22 دسترسی به امنیت داده ها را پیاده سازی کنید
22-01 اهداف آموزشی
22-02 هویت ها، کلیدها و اسرار را در بسترهای مختلف داده مدیریت کنید
22-03 نقاط پایانی امن را پیاده سازی کنید: خصوصی و عمومی
22-04 توکن های منبع را در Azure Databricks پیاده سازی کنید
22-05 یک DataFrame با اطلاعات حساس بارگیری کنید
22-06 داده های رمزگذاری شده را روی جداول یا فایل های پارکت بنویسید
22-07 اطلاعات حساس را مدیریت کنید

23 نظارت بر ذخیره سازی داده ها
23-01 اهداف آموزشی
23-02 اجرای لاگ مورد استفاده توسط Azure Monitor
23-03 سرویس های نظارت را پیکربندی کنید
23-04 عملکرد حرکت داده ها را اندازه گیری کنید
23-05 آمار مربوط به داده ها را در یک سیستم نظارت و به روز کنید
23-06 عملکرد خط لوله داده را نظارت کنید
23-07 عملکرد پرس و جو را اندازه گیری کنید

24 نظارت بر پردازش داده ها
24-01 اهداف آموزشی
24-02 عملکرد خوشه را پایش کنید
24-03 گزینه های ثبت سفارشی را بدانید
24-04 آزمایشات خط لوله را برنامه ریزی و نظارت کنید
24-05 متریک ها و گزارش های مانیتور Azure را تفسیر کنید
24-06 تفسیر یک نمودار غیر چرخه ای با هدایت جرقه (DAG)

25 ذخیره سازی داده را تنظیم کنید
25-01 اهداف آموزشی
25-02 فایل های کوچک فشرده
25-03 بازنویسی توابع تعریف شده توسط کاربر (UDF)
25-04 چولگی در داده ها را کنترل کنید
25-05 رسیدگی به نشت داده ها
25-06 تنظیم پارتیشن های درهم ریخته
25-07 مخلوط کردن را در خط لوله پیدا کنید
25-08 مدیریت منابع را بهینه کنید

26 بهینه سازی و عیب یابی پردازش داده ها
26-01 اهداف آموزشی
26-02 پرس و جوها را با استفاده از نمایه سازها تنظیم کنید
26-03 پرس و جوها را با استفاده از حافظه پنهان تنظیم کنید
26-04 خطوط لوله را برای مقاصد تحلیلی یا معاملاتی بهینه کنید
26-05 بهینه سازی خط لوله برای بارهای کاری توصیفی در مقابل تحلیلی
26-06 عیب یابی کارهای ناموفق Spark
26-07 عیب‌یابی اجرای ناموفق خط لوله

27 نتیجه گیری
27-01 خلاصه

[ENGLISH]

01 Introduction
01-01 Introduction

02 Design and Implement Data Storage
02-01 Learning objectives
02-02 Design an Azure Data Lake solution
02-03 Recommend file types for storage
02-04 Recommend file types for analytical queries
02-05 Design for efficient querying

03 Design for Data Pruning
03-01 Learning objectives
03-02 Design a folder structure that represents levels of data transformation
03-03 Design a distribution strategy
03-04 Design a data archiving solution

04 Design a Partition Strategy
04-01 Learning objectives
04-02 Design a partition strategy for files
04-03 Design a partition strategy for analytical workloads
04-04 Design a partition strategy for efficiency and performance
04-05 Design a partition strategy for Azure Synapse Analytics
04-06 Identify when partitioning is needed in Azure Data Lake Storage Gen2

05 Design the Serving Layer
05-01 Learning objectives
05-02 Design star schemas
05-03 Design slowly changing dimensions
05-04 Design a dimensional hierarchy
05-05 Design a solution for temporal data
05-06 Design for incremental loading
05-07 Design analytical stores
05-08 Design metastores in Azure Synapse Analytics and Azure Databricks

06 Implement Physical Data Storage Structures
06-01 Learning objectives
06-02 Implement compression
06-03 Implement partitioning
06-04 Implement sharding
06-05 Implement different table geometries with Azure Synapse Analytics pools
06-06 Implement data redundancy
06-07 Implement distributions
06-08 Implement data archiving

07 Implement Logical Data Structures
07-01 Learning objectives
07-02 Build a temporal data solution
07-03 Build a slowly changing dimension
07-04 Build a logical folder structure
07-05 Build external tables
07-06 Implement file and folder structures for efficient querying and data pruning

08 Implement the Serving Layer
08-01 Learning objectives
08-02 Deliver data in a relational star schema
08-03 Deliver data in Parquet files
08-04 Maintain metadata
08-05 Implement a dimensional hierarchy

09 Ingest and Transform Data
09-01 Learning objectives
09-02 Transform data by using Apache Spark
09-03 Transform data by using Transact-SQL
09-04 Transform data by using Data Factory
09-05 Transform data by using Azure Synapse pipelines
09-06 Transform data by using Stream Analytics

10 Work with Transformed Data
10-01 Learning objectives
10-02 Cleanse data
10-03 Split data
10-04 Shred JSON
10-05 Encode and decode data

11 Troubleshoot Data Transformations
11-01 Learning objectives
11-02 Configure error handling for the transformation
11-03 Normalize and denormalize values
11-04 Transform data by using Scala
11-05 Perform data exploratory analysis

12 Design a Batch Processing Solution
12-01 Learning objectives
12-02 Develop batch processing solutions by using Data Factory, Data Lake, Spark, Azure Synapse pipelines, PolyBase, and Azure Databricks
12-03 Create data pipelines
12-04 Design and implement incremental data loads
12-05 Design and develop slowly changing dimensions
12-06 Handle security and compliance requirements
12-07 Scale resources

13 Develop a Batch Processing Solution
13-01 Learning objectives
13-02 Configure the batch size
13-03 Design and create tests for data pipelines
13-04 Integrate Jupyter and Python Notebooks into a data pipeline
13-05 Handle duplicate data
13-06 Handle missing data
13-07 Handle late-arriving data

14 Configure a Batch Processing Solution
14-01 Learning objectives
14-02 Upsert data
14-03 Regress to a previous state
14-04 Design and configure exception handling
14-05 Configure batch retention
14-06 Revisit batch processing solution design
14-07 Debug Spark jobs by using the Spark UI

15 Design a Stream Processing Solution
15-01 Learning objective
15-02 Develop a stream processing solution by using Stream Analytics, Azure Databricks, and Azure Event Hubs
15-03 Process data by using Spark structured streaming
15-04 Monitor for performance and functional regressions
15-05 Design and create windowed aggregates
15-06 Handle schema drift

16 Process Data in a Stream Processing Solution
16-01 Learning objectives
16-02 Process time series data
16-03 Process across partitions
16-04 Process within one partition
16-05 Configure checkpoints and watermarking during processing
16-06 Scale resources
16-07 Design and create tests for data pipelines
16-08 Optimize pipelines for analytical or transactional purposes

17 Troubleshoot a Stream Processing Solution
17-01 Learning objectives
17-02 Handle interruptions
17-03 Design and configure exception handling
17-04 Upsert data
17-05 Replay archived stream data
17-06 Design a stream processing solution

18 Manage Batches and Pipelines
18-01 Learning objectives
18-02 Trigger batches
18-03 Handle failed batch loads
18-04 Validate batch loads
18-05 Manage data pipelines in Data Factory and Synapse pipelines
18-06 Schedule data pipelines in Data Factory and Synapse pipelines
18-07 Implement version control for pipeline artifacts
18-08 Manage Spark jobs in a pipeline

19 Design Security for Data Policies
19-01 Learning objectives
19-02 Design data encryption for data at rest and in transit
19-03 Design a data auditing strategy
19-04 Design a data masking strategy
19-05 Design for data privacy

20 Design Security for Data Standards
20-01 Learning objectives
20-02 Design a data retention policy
20-03 Design to purge data based on business requirements
20-04 Design Azure RBAC and POSIX-like ACL for Data Lake Storage Gen2
20-05 Design row-level and column-level security

21 Implement Data Security Protection
21-01 Learning objectives
21-02 Implement data masking
21-03 Encrypt data at rest and in motion
21-04 Implement row-level and column-level security
21-05 Implement Azure RBAC
21-06 Implement POSIX-like ACLs for Data Lake Storage Gen2
21-07 Implement a data retention policy
21-08 Implement a data auditing strategy

22 Implement Data Security Access
22-01 Learning objectives
22-02 Manage identities, keys, and secrets across different data platforms
22-03 Implement secure endpoints: Private and public
22-04 Implement resource tokens in Azure Databricks
22-05 Load a DataFrame with sensitive information
22-06 Write encrypted data to tables or Parquet files
22-07 Manage sensitive information

23 Monitor Data Storage
23-01 Learning objectives
23-02 Implement logging used by Azure Monitor
23-03 Configure monitoring services
23-04 Measure performance of data movement
23-05 Monitor and update statistics about data across a system
23-06 Monitor data pipeline performance
23-07 Measure query performance

24 Monitor Data Processing
24-01 Learning objectives
24-02 Monitor cluster performance
24-03 Understand custom logging options
24-04 Schedule and monitor pipeline tests
24-05 Interpret Azure Monitor metrics and logs
24-06 Interpret a Spark Directed Acyclic Graph (DAG)

25 Tune Data Storage
25-01 Learning objectives
25-02 Compact small files
25-03 Rewrite user-defined functions (UDFs)
25-04 Handle skew in data
25-05 Handle data spill
25-06 Tune shuffle partitions
25-07 Find shuffling in a pipeline
25-08 Optimize resource management

26 Optimize and Troubleshoot Data Processing
26-01 Learning objectives
26-02 Tune queries by using indexers
26-03 Tune queries by using cache
26-04 Optimize pipelines for analytical or transactional purposes
26-05 Optimize pipeline for descriptive versus analytical workloads
26-06 Troubleshoot failed Spark jobs
26-07 Troubleshoot failed pipeline runs

27 Conclusion
27-01 Summary