کهن‌ترین مدارکی که خارج از ابیانه در این مورد وجود دارد، سفال شکسته‌ها و بقایای قلعه نزاتون در خارج از روستا، قلاع تاریخی پل و هرده (مربوط به دوره پیش از صفوی) و محراب مسجد‌جامع مربوط به قرن پنجم هجری قمری است. علاوه بر موارد یادشده، درهای تاریخ‌دار مربوط به دوره سلجوقی، صفوی و بناهای تاریخی مربوط به این دوره نیز جزو اسناد و مدارک مهم این روستای تاریخی ثبت ملی شده محسوب می‌شوند.

با این حال با توجه به بقایای قلعه نزاتون و سفال‌های موجود در این مکان و نزدیکی این قلعه به روستای کنونی، شاید بتوان نام زیستگاه اولیه مردمان ابیانه را بر آن نهاد. آدمیانی که در قلعه نزاتون می‌زیسته‌اند به‌دنبال آب، مسیر خطی رودخانه، آبراه‌ها و چشمه‌ها را پیموده‌اند تا به مکانی واقع در چشمه کنونی دسترسی پیدا کنند. این محل به‌دلیل زلزله و ریزش کوه خطرناک بوده، به‌تدریج از اهمیت و اعتبار افتاده و مردم در امتداد آب به محله هرده رسیده‌اند. این محل به قلعه نزاتون نزدیک‌تر بوده و با توجه به تاریخ درها و نوع معماری آن، قدیمی‌تر است.

بدیهی است در این مقطع زمانی، قلعه هرده و پل شکل گرفته و نخستین مجتمع زیستی کوچک به‌صورت خطی در دوطرف آبراه‌ها به‌وجود آمده است. آنان علاوه بر دسترسی به آب الزاما باید به مکانی حاصلخیز و مناسب کشاورزی در نزدیکی آب دسترسی داشته باشند تا بتوانند به اقتصاد کشاورزی همگام با دامداری ادامه دهند. محله کنونی یوسمون می‌توانست چنین امکانی را به آنان عرضه کند. بنابراین سعی کردند مجتمع‌های زیستی را نزدیک به آب و زمین‌های کشاورزی، از هرده به سمت یوسمون متمایل سازند.

اکنون مردمان ابیانه از نزاتون به هرده و از آنجا به بهانه نزدیکی به رودخانه و زمین‌های کشاورزی‌شان به یوسمون کنونی آمدند. یوسمون بستری مناسب برای مکان‌های بهداشتی داشت و خانه‌سازی‌ در آن سهل‌تر از دیگر نقاط روستاست.

ازدیاد جمعیت و ترس از دست‌دادن زمین‌های حاصلخیز، مردمان ابیانه را مجبور به ساخت‌وساز در بستر صخره‌ای و فعالیت کشاورزی در زمین‌های حاصلخیز یوسمون کرد. در این دوره با چرخش به بالای روستا 2 محله پل و میان ده شکل گرفت. خانه‌ها در دوطرف آبراه(راشتا) به‌صورت خطی ادامه یافت و تعداد آنها نیز از دوره‌های پیشین بیشتر می‌شود.

دوره قاجار را می‌توان عصر تراکم‌زا برای بافت روستایی ابیانه دانست چرا که دورتادور نوار خطی بافت، انباشتگی بیشتری به‌خود گرفت. در دوره پهلوی محله زیارتگاه در راستای شمال غربی شکل گرفته و محله پنجه علی نیز در دوره معاصر به این روستا افزوده شد.