Если речь идёт о Рыбаках, что на оз. Селище, то до прихода к власти краснопузых этот населённый пункт был фольварком, т. е. обособленным поселением, хозяйством, принадлежавшим одному владельцу. Деревня на месте фольварка возникла позже, когда в Совдепии началась коллективизация с ликвидацией хуторских хозяйств. Фольварк Рыбаки формально принадлежал Ширину, но как и большинство его многочисленных владений либо сдавался в аренду, либо находился в залоге, либо управлялся наёмным управляющим. Точных данных у меня нет, нужно искать. Но если Ваш дом стоит на хорошем фундаменте, имеются капитальные постройки вроде каменного погреба/ледника, вблизи имеются алеи или даже просто одиночные старые неплодовые деревья, то не исключено, что построен он на месте старой ширинской усадьбы.
2016-09-04 Виктор