پروژه بیگ دیتا -شینگلینگ 1000 تصویر

پروژه بیگ دیتا : شباهت تصاویر چطور روی تصویر شینگلینگ انجام بدهیم مثلا برای 2 تصویر: یکی از روشها این است که پیکسل به پیکسل دو تصویر را مقایسه کنیم ( پیکسل اول مقدارش چند است؟ 150 ،پیکسل دوم مقدارش چند است؟130 اختلافش میشود 20) پس از جمع همه مقادیر به تعداد تقسیم میکنیم و میشود معیار فاصله میخواهیم با استفاده از روش شینگلینگ کار را انجام دهیم. یعنی آن کلمات مشترک که در متن بود چطور میتوانیم همان کلمات مشترک را در تصویر پیدا کنیم، حال باید چکار کنیم ، میتوانیم تصویر را چند بخش کنیم، برای هر کدام از این بخش ها را یک بردارایجاد کنیم، مثلا اگر 100 هزار تصویر داریم، برای هر یک بخش از تصویر بردار درست میکنیم سپس روی بردارها کلاسترینگ انجام میدهیم پس مراحل کار این شد: تصویر را بخش بندی میکنیم. (مثلا تصویر 512*512 پیکسل تبدیل میشود به 16خانه که برای هر خانه یک بردار ویژگی ایجاد میکنیم. پس هر تصویر به تعداد خانه ها بردار به ما میدهد : مثلا 16*100000) برای هر پچ یا بلاک یک وکتور ایجاد میکنیم. کلاستر میکنیم. (خوشه بندی میکنیم) تعداد کلاستر ها همان تعداد شینگل هاست. از همه کتابخانه های پایتون می شود استفاده کرد، از چند دیسکریپتور استفاده شود بهتر است (مثلا sift - باید sift را مجبور کنیم روی یک پچ نقطه بدهد.) مجموعه داده مدنظر که می بایست در پروژه از آن استفاده شود؛ مجموعه داده Corel-1000 می باشد که پس از تایید ارسال می شود. این مجموعه داده شامل 10 گروه 100 تایی از تصاویر مختلف (مجموعا 1000 تصویر)، با ابعاد 256 در 384 پیکسل می باشد.