برنامه نویسی پایتون از طریق FME همراه با پردازش داده ها

با سلام این یک پروژه پردازش و آماده سازی داده ها هستش که میخواهیم از طریق ابزارهای FME و اسکریپت های پایتون انجام بشود. داده ها در اصل یک سری داده های  اوپن سورس جغرافیایی هستش که از طریق دولت کانادا تامین میشوند. این داده ها شامل همه موضوعات جغرافیایی کانادا از قبیل همه زیستگاه های جانوری، رودخانه ها، رشته کوه ها، میزان آتش‌سوزی و ... هستند. داده های ذکر شده یک سری داده های طولانی هستند  که هر سازمانی این داده ها را در سیلوهای مختلف نگه داری میکنند. ما کل داده های کانادا رو داریم در حالیکه فقط داده های یک منطقه خاص مربوط که شمال کانادا را نیاز داریم  پس باید کل داده ها لیمیت بشه به یک منطقه خاص. ما باید در ابتدا این داده ها را اکسترکت کرده و سپس داده ها تمیز شوند، یک سری ویژگی ها که نیاز نداریم رو حذف کنیم، داده ها رو نام گذاری کنیم و این موارد را در یک دیتابیس نگه داری کنیم. این دیتابیس امکان سرچ کردن داشته باشد به طور مثال اگر اب های زیرزمینی را لازم داریم، سرچ کنیم و داده های آب های زیرزمینی را نشان بدهد. در نهایت بتوانیم این داده ها را اکسترکت کرده و بتوانیم از طریق ArcGis به آنها دسترسی داشته باشیم. یکی از موضوعاتی هم که حتما باید لحاظ بشود این است که پروسه اکسترکت و ذخیره داده ها در دیتابیس به صورت اتوماتیک انجام بشود. به این دلیل که داده های اولیه که در بالا ذکر شد در طول یک دوره زمانی خاصی در حال بروزرسانی هستند و نیاز هست که با داده های جدید آپدیت بشوند.