آموزش وب اسکرپینگ با پایتون (web scraping)

وب اسکرپینگ ابزاریست برای ارتباط با دنیای وب از طریق کدنویسی. اگر بخواهیم نگاهی عمیق‌تر به موضوع داشته باشیم باید گفت ماده، انرژی و اطلاعات سه مفهوم اصلی تشکیل دهنده‌ی دنیا هستند، که تمام محصولات و خدماتی که در دنیای بشری ارزش مادی دارند، ریشه در یکی از این سه مفهوم دارد. یکی از منابعی که می‌توان از طریق آن به اطلاعات دسترسی داشت، دنیای وب می‌باشد. دنیای وب شامل شبکه‌های اجتماعی، فروشگاه‌های آنلاین، نتایج موتورهای جستجو و به صورت کلی هر چیزیست که ممکن است در یک مرورگر با آن مواجه شویم. اما داده‌های وب دارای چه مزیتی نسبت به سایر منابع اطلاعات هستند؟ سه مزیت اصلی داده‌های وب شامل 1- در دسترس بودن و 2- به روز بودن و 3- سرعت بالا در دسترسی و انتقال آن‌هاست. اطلاعات دنیای وب هر روزه با توجه به نیازهای جامعه بشری و شرایطی که انسان‌ها در آن زندگی می‌کنند در حال تغییر است و البته در هر جایی که اینترنت وجود دارد، این اطلاعات در دسترس هستند. داده‌ها که در واقع منشا تولید اطلاعات هستند، از دیدگاه محصول، فرآیند تولید راحت‌تری نسبت به محصولات فیزیکی دارند. در واقع محصولاتی که بر پایه‌ی اطلاعات تولید می‌شوند، تنها نیاز به منابع داده و مصرف کمی انرژی دارند. اطلاعات به واقع بخش مفیدی است، که از منابع داده‌ای استخراج می‌شود و چیزی شبیه به طلا است، که از دل معادن استخراج می‌شود. وب اسکرپینگ ابزاری برای استخراج این داده‌ها از دنیای وب است. در واقع با تکیه بر قدرت پردازشی کامپیوترها، این امکان فراهم شده‌است، که بتوانیم حجم بسیار زیادی از داده‌ها را از دنیای وب استخراج کنیم. از طرفی باید توجه داشت، که الگوهایی که در داخل این داده‌ها قرار دارند، می‌توانند بر روی تصمیماتی که در کسب و کارها گرفته می‌شود، تاثیرگذار باشند. به بیان دیگر، بسیاری از الگوها فقط با داده‌کاوی در حجم بسیار زیادی از داده‌ها قابل مشاهده هستند که این مهم تنها با قابلیت پردازشی کامپیوترها و ابزاری مثل وب اسکرپینگ قابل انجام است

معرفی اجمالی دوره

وب اسکرپینگ ابزاریست برای ارتباط با دنیای وب از طریق کدنویسی. اگر بخواهیم نگاهی عمیق‌تر به موضوع داشته باشیم باید گفت ماده، انرژی و اطلاعات سه مفهوم اصلی تشکیل دهنده‌ی دنیا هستند، که تمام محصولات و خدماتی که در دنیای بشری ارزش مادی دارند، ریشه در یکی از این سه مفهوم دارد. یکی از منابعی که می‌توان از طریق آن به اطلاعات دسترسی داشت، دنیای وب می‌باشد. دنیای وب شامل شبکه‌های اجتماعی، فروشگاه‌های آنلاین، نتایج موتورهای جستجو و به صورت کلی هر چیزیست که ممکن است در یک مرورگر با آن مواجه شویم. اما داده‌های وب دارای چه مزیتی نسبت به سایر منابع اطلاعات هستند؟ سه مزیت اصلی داده‌های وب شامل 1- در دسترس بودن و 2- به روز بودن و 3- سرعت بالا در دسترسی و انتقال آن‌هاست. اطلاعات دنیای وب هر روزه با توجه به نیازهای جامعه بشری و شرایطی که انسان‌ها در آن زندگی می‌کنند در حال تغییر است و البته در هر جایی که اینترنت وجود دارد، این اطلاعات در دسترس هستند. داده‌ها که در واقع منشا تولید اطلاعات هستند، از دیدگاه محصول، فرآیند تولید راحت‌تری نسبت به محصولات فیزیکی دارند. در واقع محصولاتی که بر پایه‌ی اطلاعات تولید می‌شوند، تنها نیاز به منابع داده و مصرف کمی انرژی دارند. اطلاعات به واقع بخش مفیدی است، که از منابع داده‌ای استخراج می‌شود و چیزی شبیه به طلا است، که از دل معادن استخراج می‌شود. وب اسکرپینگ ابزاری برای استخراج این داده‌ها از دنیای وب است. در واقع با تکیه بر قدرت پردازشی کامپیوترها، این امکان فراهم شده‌است، که بتوانیم حجم بسیار زیادی از داده‌ها را از دنیای وب استخراج کنیم. از طرفی باید توجه داشت، که الگوهایی که در داخل این داده‌ها قرار دارند، می‌توانند بر روی تصمیماتی که در کسب و کارها گرفته می‌شود، تاثیرگذار باشند. به بیان دیگر، بسیاری از الگوها فقط با داده‌کاوی در حجم بسیار زیادی از داده‌ها قابل مشاهده هستند که این مهم تنها با قابلیت پردازشی کامپیوترها و ابزاری مثل وب اسکرپینگ قابل انجام است

ویژگی‌های دوره

آنلاین ، پروژه محور، تالار گفتگو، آزمون، تمرین و محیط تعاملی

فصول دوره

- فصل اول: آشنایی با مفاهیم پایه در داده‌های وب
- فصل دوم: آشنایی با ابزارهای کاربردی در استخراج داده‌های وب
- فصل سوم: استخراج داده برپایه‌ی پروتکل
- فصل چهارم : مفاهیم پیشرفته
- فصل پنجم : طراحی یک برنامه با رابط گرافیکی;

معرفی مدرس

معین سلیمی
معین سلیمی دانش‌آموخته کارشناسی رشته مهندسی مکانیک در طراحی جامدات و معدل برتر کارشناسی ارشد مهندسی مکانیک (طراحی کاربردی) از دانشگاه گیلان است. وی مسلط به آموزش مباحث مختلف در زمینه‌های مرتبط با مهندسی مکانیک از جمله تحلیل المان محدود، تفاضلات محدود، دینامیک سیالات محاسباتی، ارتعاشات و کنترل سیستم‌های دینامیکی و مباحث مرتبط با هوش مصنوعی از جمله خوشه‌بندی، شناسایی الگو، روش‌های بهینه‌سازی، شبکه‌های عصبی و منطق فازی، پردازش سیگنال و تصویر و سایر زمینه‌ها مانند تحلیل سازه‌ها تحت زلزله، شبکه‌های مش بی‌سیم، پردازش گام‌های موسیقی، طراحی سیستم‌های هوشمند در تشخیص بیماری‌های خونی، روش‌های نوین ریاضی مبتنی بر هوش مصنوعی در حل معادلات دیفرانسیل، حل معادلات با مشتقات جزئی، انرژی پتانسیل در کربن‌های نانوتیوب، طراحی سدهای قوسی و ... با استفاده از نرم افزار Matlab می‌باشد. ایشان آشنایی مناسبی با زبان‌های برنامه‌نویسی جاوا، اندروید و C نیز دارند. حوزه‌های تخصصی فعالیت ایشان شامل موضوع آموزش آکادمیک و مهارت‌های کاربردی در زمینه‌های مهندسی و پروژه‌های اجرایی در زمینه‌ی مدیریت صنایع گازرسانی و... می‌باشد.

پیش‌نیازها

پایتون مقدماتی

روش ارزیابی و نمره‌دهی

حد نصاب قبولی در دوره: 80.0 نمره

نمونه گواهینامه

منبع: جاب ویژن
جاب ویژن
313,650 تومان
دریافت فایل
پنج‌شنبه 28 تیر 1403، ساعت 18:31