%40 تخفیف  برای خرید  مسیرهای یادگیری

logo mix

آموزش PySpark با کارایی بالا: استراتژی‌های پیشرفته برای پردازش بهینه داده‌ها (با زیرنویس فارسی AI)
High-Performance PySpark: Advanced Strategies for Optimal Data Processing
جدید ( 10 روز قبل)
کد محصول: FL11057-3919191
لیندا _ آموزش PySpark با کارایی بالا: استراتژی‌های پیشرفته برای پردازش بهینه داده‌ها (با زیرنویس فارسی AI) - Lynda _ High-Performance PySpark: Advanced Strategies for Optimal Data Processing
سطح پیشرفته
زیرنویس انگلیسی
زیرنویس فارسی AI
75,000 تومان
اضافه به سبد خرید add_shopping_cart
تولید کننده محتوا
Lynda.com (Linkedin Learning)
تولید کننده زیرنویس فارسی
فارسی لینـدا FarsiLynda.com
مدرس
Ameena Ansari - آمنا انصاری
تاریخ انتشار
1404/1/27
جدید ( 10 روز قبل)
سطح آموزش
پیشرفته
زبان آموزش
انگلیسی
زیرنویس
فارسی و انگلیسی
نوع زیرنویس فارسی
ترجمه شده توسط هوش مصنوعی (AI)
مدت زمان آموزش
1ساعت و 22دقیقه
تعداد ویدیو‌ها
25 ویدیو
حجم فایل‌ها
187 مگابایت (دانلود با تعرفه داخلی)
زمان تقریبی دانلود فایل‌ها
3 دقیقه (با سرعت اینترنت 1 مگابایت در ثانیه)
تعداد بازدید : 41
درباره تولید کننده

lynda1

 

Lynda Weinman

بسیاری لیندا واینمن را "مادر آموزش اینترنتی" لقب داده اند. وی که هم اکنون (2016) ۶۰ سال سن دارد در ۱۹۹۵ سایتی را راه اندازی کرد که به عنوان منبعی رایگان برای دانش آموزان محسوب می شد. طی آن دوران لیندا به صورت خودآموز در حال یادگیری طراحی وب بود و تلاش داشت تا آموخته هایش را با سایرین نیز به اشتراک بگذارد. هر چند این روزها مسئله یاد شده امری عادی به حساب می آید اما در اواسط دهه نود -روزگاری که هنوز یوتیوبی نبود- یادگیری طراحی وب به صورت خودجوش چندان مسئله رایجی محسوب نمی گشت.

اشتیاق آن روزهای لیندا در یادگیری ، حالا به لطف وب سایت و سرویسی هایی همانند آنچه خود او راه اندازی کرده به میلیون ها نفر دیگر در سراسر دنیا نیز سرایت نموده و آنها می توانند با اندک هزینه ای و در هر جا و مکانی آنچه که دوست دارند را فرا بگیرند.
ناگفته نماند که پیدا کردن مسیر صحیح کسب و کار، حتی برای لیندا واینمن نیز بدون فراز و نشیب نبوده و وی هم مانند هر فرد موفق دیگری در راه رسیدن به پیروزی پستی و بلندی های بسیاری را از سر گذرانده.

درک نیازی که هیچکس به آن پاسخ نداده بود

وقتی در سال ۱۹۹۳ واینمن طراحی وب را اندک اندک فرا گرفته و قصد آموزش دادن آن را پیدا کرد، ابتدا به کتاب فروشی مراجع نمود و سعی کرد کتابی را به عنوان مرجع انتخاب و از روی آن به دانش آموزان خود درس بدهد. اما وی متوجه شد کتاب فروشی ها و کتابخانه ها تنها راهنماهایی بسیار فنی و پیچیده را ارائه می نمایند که درک شان برای افراد معمولی و با دانش متوسط تقریباً غیر ممکن محسوب می شود.

لیندا واینمن میگوید: به یاد می آورم که با خود فکر کردم شاید چنین کتابی هنوز وجود ندارد. بلافاصله از کتاب فروشی به خانه رفتم و ایده ی اولیه نوشتن آن را پیاده سازی کردم.

کمی بعد کتاب "طراحی گرافیک های تحت وب" که به باور بسیاری اولین کتاب ساده و قابل درک توسط عموم در رابطه با حرفه طراحی وب بود، توسط افراد بسیاری در سراسر دنیا به عنوان یک مرجع غیر فنی مورد استفاده قرار می گرفت و محبوبیتی غیر قابل باور به دست آورده بود.

درست در همان زمان و در سال ۱۹۹۵ واینمن آدرس ایمیل فردی را مشاهده نمود که به صورت debbie@debbie.com بود و مشتاق شد بداند آیا دامنه ی لیندا نیز برای ثبت کردن در دسترس قرار دارد یا خیر. وی این دامنه را خریداری و وبسایتی تحت آن راه انداخت تا از طریقش بتواند با دانش آموزان و همچنین خوانندگان کتاب خود ارتباط برقرار نماید.

lynda2

شروعی کوچک و توسعه ای آهسته و پیوسته

بعد از موفقیت کتاب واینمن همسر او، بروس هون (Bruce Heavin)، که در اصل موسس کمپانی لیندا نیز محسوب می شود، پیشنهاد داد در طول تعطیلات بهاره یکی از سالن های کامپیوتر دانشگاهی را اجاره نموده و در آن به مدت یک هفته دوره آموزش طراحی وب برگزار نمایند.
آنها این ایده را عملی کردند و سپس به منظور جذب افراد علاقه مند بنر تبلیغاتی را روی سایت لیندا قرار دادند. نه تنها ظرفیت کلاس یاد شده بسیار سریع پر گشت، بلکه افراد از گوشه و کنار دنیا و حتی مثلاً شهر وین برای حضور در آن ثبت نام نمودند.

اینکه تنها یک بنر در سایت خود قرار دهیم و سپس مردم از سراسر دنیا برای حضور در کلاس مان ثبت نام نمایند، باعث شده بود تا شوکه شویم.
آن کارگاه های یک هفته ای بسیار زود باعث شدند تا کسب و کار امروزی لیندا و همسرش پایه گذاری گردد. واینمن از درآمد حق امتیاز کتاب خود با ارزش ۲۰ هزار دلار استفاده کرد و مدرسه طراحی وبی را راه اندازی نمود که دوره هایش در هر ماه به سرعت پیش فروش شده و ظرفیت شان تکمیل می گشت. لیندا می گوید: "مشتریان زیادی وجود داشتند که مجبور بودیم به آنها نه بگوییم، زیرا ظرفیتی برای پذیرش شان وجود نداشت".

اوج گیری پس از بحران

کسب و کار لیندا پس از چند سال توانست ۳۵ فرصت شغلی را ایجاد و درآمدی ۳.۵ میلیون دلاری را فراهم کند. اما در سال ۲۰۰۱ و پس از انفجار حباب دات کام و حوادث مرتبط به یازده سپتامبر، تمایل افراد به یادگیری دروس طراحی وب کاهشی عجیب پیدا کرد، تا جایی که واینمن و همسرش در ادامه دادن مسیر مردد شده بودند.

کمپانی آنها دچار بحرانی جدی گشت، واینمن و هون ۷۵ درصد کارمندان خود را اخراج کردند و تنها ۹ نفر در استخدام شان باقی ماند. دفتر و مقر برگزاری دوره های لیندا نیز کوچک تر گشت و سعی را بر این گذاشتند تا واحد هایی با قیمت ارزان تر اجاره نمایند.

روز های سیاهی بود و حتی خودم تردید داشتم که می توانیم این کسب و کار را ادامه دهیم یا خیر.

خود واینمن در مورد آن ایام می گوید: "همه در حال نبرد برای بقا بودند و سعی می کردند سر خود را بالای آب نگه دارند. ما نیز وضعیتی مشابه را تجربه می کردیم و در نهایت درست همین زمان بود که تصمیم گرفتیم خدمات خود را به صورت کاملاً آنلاین ارائه نماییم."

روزگاری که ایده یاد شده شکل گرفت و سپس عملی گشت (ارائه خدمات به صورت آنلاین) تماشای فیلم بر روی کامپیوترها تازه در حال رواج یافتن بود. لیندا دات کام تصمیم گرفت در ازای سرویسی که ارائه می کند هزینه حق اشتراکی ۲۵ دلاری را به صورت ماهیانه دریافت نماید.

افراد اندکی از این راهکار استقبال کردند. واینمن می گوید: "درآمد مان به شدت افت کرده بود. روز های سیاهی بود و حتی خودم تردید داشتم که می توانیم این کسب و کار را ادامه دهیم یا خیر."

با تنها ۱۰۰۰ نفر پرداخت کننده حق اشتراک ماهیانه، بقای کمپانی به نظر بسیار سخت می رسید. ایجاد یک جامعه ی آنلاین زمان بر است و لیندا به خود امید می داد که آنها مسیر شان را عوض نکرده اند بلکه راهی تازه را شروع نموده اند پس باید صبر پیشه کنند. او توضیح می دهد که "همه چیز بسیار آهسته پیش رفت. ولی کم کم پرداخت حق اشتراک ماهیانه آنلاین رواج پیدا کرد و مقدار آن هر ساله چندین برابر شد".

در ۲۰۰۶ تعداد مشترکین به ۱۰۰.۰۰۰ نفر رسید و واینمن و همسرش ۱۵۰ کارمند خود را به همراه خانواده هایشان به دیزنی لند بردند تا موفقیت بزرگی که رقم خورده بود را جشن بگیرند.

lynda4

ایجاد فرهنگ سازمانی مناسب در زمان رشد

اینکه اعضا و کارمندان شرکت همانند یک خانواده با یکدیگر در تعامل باشند همواره برای لیندا حائز اهمیت بوده و او حتی همیشه تلاش داشته تا افراد تحت استخدام خود را با اسم کوچک بشناسد و صدا بزند. ولی رشد سریع کمپانی و رسیدن تعداد کارمندان به عدد ۵۰۰، رفته رفته چالش هایی تازه را پدید می آورد و سبب می گردد واینمن در ایده آل های خود بازنگری نماید.

وی می گوید: "چالش اصلی بر سر تعیین سمت و مقام افراد بود. اینکه با هر کس چه برخوردی باید صورت بگیرد. همه ی کسانی که رشدی سریع را در شرکت خود تجربه کرده اند می دانند که ایجاد سلسله مراتب تا چه حد اهمیت دارد."

در ۲۰۰۷ تصمیم بر این شد تا یک مدیرعامل جهت اداره ی بهتر مجموعه به آن اضافه گردد. به گفته ی خود لیندا "درست در همان زمان بود که او تصمیم گرفت در رفتارها و برخوردهای خود سیاست بیشتری داشته و بروکراتیک تر عمل نماید".

ایجاد فرهنگ سازمانی برای شرکتی با بیش از ۵۰۰ کارمند کاری بسیار دشوار خواهد بود ولی حتی آنچه از این مسئله نیز دشوارتر به حساب می آید پایه ریزی درست و مطابقت دادن افراد با فرهنگ یاد شده است. اینکار در زمانی که یک شرکت نوپا و کوچک محسوب می شود چندان سخت نیست و شاید ضروری هم نباشد ولی با رشد آن صورت پذیرفتنش الزام می یابد.

 پیش به سوی موفقیت

مدتی است که بسیاری تصور می کنند دوره های آموزش ویدئویی می توانند آینده آموزش به حساب بیایند.

در طی سال های اخیر کمپانی واینمن توسط افراد گوناگونی که در حرفه ی خود بهترین هستند دوره های آنلاین متعددی را ایجاد نموده و سعی کرده نشان دهد این دوره های آنلاین راه و روش یادگیری را برای همیشه متحول کرده اند.

لیندا دات کام قالبی معین و کارآمد را برای دوره های آموزشی اش پدید آورده و سپس کوشش کرده تا از نظر موضوعی نیز در بین مطالب مورد تدریس خود تنوع ایجاد نماید. روزگاری در وب سایت مورد بحث تنها ۲۰ دوره آموزش ویدئویی آنلاین وجود داشت، اما اکنون این رقم به ۶۳۰۰ رسیده که شامل ۲۶۷.۰۰۰ ویدئوی آموزشی می گردد.

ارائه ی کتابخانه ای ویدئویی به جای اینکه از افراد درخواست شود تا در دوره هایی مشخص با روال معمول و پیوسته شرکت نمایند، عاملی بوده که سبب گشته شیوه ی آموزشی لیندا دات کام نسبت به سایرین کاملاً متفاوت گردد.

واینمن می گوید: "مدتی است که بسیاری تصور می کنند دوره های آموزش ویدئویی می توانند آینده آموزش به حساب بیایند. ما به خاطر همین تفاوت مان مورد توجه قرار داشته و تحت نظر سایرین هستیم".

lynda6

فروش به لینکدین Linked in

من به شخصه بر روی اثری که از همکاری دو کمپانی با یکدیگر پدید می آید متمرکز هستم.

واینمن زمانی که متوجه می شود لینکدین قصد خرید کمپانی اش را دارد، در ابتدا شوکه می گردد. او و همسرش هرگز به دنبال فروش شرکت خود و یافتن مشتری برای آن نبوده اند و البته در سن ۶۰ سالگی وی هنوز هم احساس می نموده که برای بازنشستگی بسیار زود است.

اما رفته رفته به این نتیجه می رسند که این فروش و ادغام دو کمپانی با یکدیگر احتمالاً امری منطقی و موثر خواهد بود. هر دو شرکت به نوعی تلاش داشته اند به افراد کمک کنند تا وضعیت شغلی خود را بهبود بخشند و احتمالاً در کنار یکدیگر بسیار بهتر از گذشته می توانند این هدف را محقق کنند.

واینمن می گوید: "بسیاری از مردم بر روی رقم معامله صورت پذیرفته تمرکز دارند و شاید این مسئله برای افرادی که با صنعت ما آشنا نیستند یک شگفتی محسوب شود. ولی خود من به شخصه بر روی اثری که از همکاری دو کمپانی با یکدیگر پدید می آید متمرکز هستم و اولین چیزی که در رابطه با این موضوع به ذهنم می رسد، میزان بزرگی این اثرگذاری است."

به نظر می آید حتی لیندا واینمن هم از موفقیت خودش شگفت زده است و تصور چنین روزی را نداشته. بر خلاف بسیاری از بنیانگذاران کمپانی ها مهم تکنولوژیک امروزی ، وی با هدف کسب درآمد های کلان شروع به کار نکرده و قصد اولیه اش هرگز ایجاد کمپانی نبوده که توسط لینکدین به ارزش ۱.۵ میلیارد دلار خریداری شد. او تنها سعی داشته آنچه که برای خودش جذاب بوده، یعنی طراحی وب را به سایرین نیز بیاموزد.

واینمن که بر حسب اتفاق بدل به یک معلم گشته، می گوید: "من نه چندان گنگ بودم و نه به آن صورت خوره ی دنیای تکنولوژی. افراد زیادی پیش من می آمدند و می پرسیدند چگونه این کار را انجام می دهی؟ یا چگونه آن کار را انجام می دهی؟ هرگز با خودم فکر نکرده بودم به اشتراک گذاشتن دانش در رابطه با آنچه که برایت جالب است، در واقع همان تدریس کردن محسوب می شود."

در حالکیه لیندا اعتقاد دارد تنها در زمان و مکان مناسبی حضور داشته، سخت است بدل شدن یک دامنه ی ۳۵ دلاری به کسب و کاری ۱.۵ میلیارد دلاری را حاصل یک اتفاق بدانیم.

فارسی لیندا

هنر پردازش داده های کارآمد را با این دوره پیشرفته Pyspark که برای مهندسان داده طراحی شده است ، تسلط دهید. مربی Ameena Ansari ملزومات بهینه سازی فرآیند تمیز کردن داده ها و تعیین طرح ها برای ساده سازی مصرف در مقیاس را به شما نشان می دهد. برای اطمینان از عملکرد یکپارچه ، حتی با مجموعه داده های عظیم ، قالب های مختلف داده و تکنیک های فشرده سازی را کاوش کنید. در پایان این دوره ، شما می توانید ابزارها و مهارتهایی را برای تبدیل و مصرف داده های با کیفیت بالا با استفاده از خطوط لوله Pyspark که هم مقیاس پذیر و هم کارآمد هستند ، داشته باشید. با استفاده از Codepaces GitHub ، می توانید از هر دستگاهی ، در هر زمان استفاده کنید-همه در حالی که از ابزاری استفاده می کنید که احتمالاً در محل کار با آن روبرو خواهید شد. برای یادگیری نحوه شروع کار «استفاده از Codespaces GitHub» را با این دوره بررسی کنید.

سطح آموزشی
خرید آنلاین و دانلود فوری
به همراه فایلهای تمرین
ویدئوهای آموزشی با زیرنویس
ویدئوهای آموزشی با زیرنویس فارسی
کیفیت HD ویدئوهای آموزشی
قابل استفاده برای ناشنوایان
 
 
 

نمونه ویدیوی آموزشی ( زیرنویس‌ها جدا از ویدیو است و میتوانید آنرا نمایش ندهید ) :

 

[فارسی]

01 مقدمه
01-01 مهندسی داده با کارایی بالا با Pyspark

02 مقدمه ای برای تمیز کردن داده های با کارایی بالا در Pyspark
02-01 تمیز کردن داده ها چیست؟
02-02 مسائل مربوط به کیفیت داده های مشترک
02-03 چالش در تمیز کردن داده ها
02-04 چرا Pyspark برای تمیز کردن داده ها؟

03 تکنیک های تمیز کردن داده با pyspark
03-01 کار با CodeSpaces GitHub
03-02 کیفیت داده در Pyspark: شناسایی مسائل و تکنیک های تمیز کردن مؤثر
03-03 تشخیص و رسیدگی به مقادیر تهی در Pyspark
03-04 تکنیک ها برای شناسایی و از بین بردن داده های متناقض در Pyspark
03-05 تقسیم ستون داده های ترکیبی در Pyspark

04 ساختار طرح های داده
04-01 اهمیت طراحی طرحواره در مهندسی داده ها
04-02 با استفاده از pyspark برای اجرای طرحواره و اعتبار سنجی
04-03 مدیریت طرحواره در دریاچه های داده و انبارها

05 فرمت داده و تکنیک های فشرده سازی
05-01 مقدمه ای بر قالب های داده: درک JSON و CSV
05-02 کاوش در JSON
05-03 کاوش در Avro
05-04 چگونه AVRO سریال سازی و ناامیدی را کنترل می کند
05-05 Avro Schema Evolution: مدیریت تغییرات در ساختار داده ها
05-06 Avro Pros و منفی
05-07 درک اورک: ذخیره سازی ستونی بهینه شده ردیف
05-08 ORC جوانب مثبت و منفی
05-09 پارکت: قالب Go-to Columnar برای تجزیه و تحلیل با کارایی بالا
05-10 الگوریتم های فشرده سازی در Spark: مقایسه ZSTD ، Snappy و LZ4

06 مدیریت تغییر داده ها و skew
06-01 درک تکنیک های جابجایی داده ها برای به حداقل رساندن تغییر داده ها
06-02 آدرس دهی داده ها

[ENGLISH]

01 Introduction
01-01 High-performance data engineering with PySpark

02 Introduction to High-Performance Data Cleaning in PySpark
02-01 What is data cleaning?
02-02 Common data quality issues
02-03 Challenges in data cleaning
02-04 Why PySpark for data cleaning?

03 Data Cleaning Techniques with PySpark
03-01 Working with GitHub Codespaces
03-02 Data quality in PySpark: Identifying issues and effective cleaning techniques
03-03 Detecting and handling null values in PySpark
03-04 Techniques to identify and eliminate inconsistent data in PySpark
03-05 Splitting combined data columns in PySpark

04 Structuring Data Schemas
04-01 Importance of schema design in data engineering
04-02 Using PySpark for schema enforcement and validation
04-03 Schema management in data lakes and warehouses

05 Data Formats and Compression Techniques
05-01 Introduction to data formats: Understanding JSON and CSV
05-02 Exploring JSON
05-03 Exploring Avro
05-04 How Avro handles serialization and deserialization
05-05 Avro schema evolution: Managing changes in data structures
05-06 Avro pros and cons
05-07 Understanding ORC: Optimized row columnar storage
05-08 ORC pros and cons
05-09 Parquet: The go-to columnar format for high-performance analytics
05-10 Compression algorithms in Spark: Comparing Zstd, Snappy, and LZ4

06 Managing Data Shuffling and Skew
06-01 Understanding data shuffling techniques to minimize data shuffling
06-02 Addressing data skew

 

مدرس: Ameena Ansari - آمنا انصاری

تعداد دوره های آموزشی: 1

Ameena Ansari یک مهندس ارشد داده ها و علاقه مندان به سیستم های توزیع شده است.

Ameena علاقه مند به ایجاد سیستم های امن ، مقیاس پذیر و کمک به دیگران به عنوان متخصصان مهندسی داده است. او یک بستر داده را در صفحه کار ساخت که تجزیه و تحلیل را در زمینه های مختلف تجارت جمع کرده و از امنیت سطح ردیف (RLS) ایمن است. هنگامی که او در حال ساخت سیستم یا تدریس نیست ، می توانید Ameena Wiking را پیدا کنید ، جایی که او بسیاری از الهام بخش حل مسئله خود را دریافت می کند.

جدیدترین آموزشهای مرتبط

تمامی زیرنویس‌های فارسی و مطالب ترجمه شده در سایت، بطور انحصاری متعلق به فارسی لینـدا بوده و هر گونه کپی‌ برداری و یا استفاده از آنها به هر شکلی در سایتها یا برنامه‌های دیگر پیگرد قانونی دارد
logo-samandehi
فارسی کلاس