Litlibær var reistur árið 1895 af tveimur vinafjölskyldum, sem bjuggu upphaflega sín í hvorum hluta hússins og var því þá skipt í miðju með þvervegg. Húsið er úr timbri með steinhlöðnum veggjum upp að langhliðum og grasi á þökum.
Túnið er afmarkað af steinhlöðnum garði og mælist það um 3 hektarar. Einstaklega vel hefur verið vandað til allra steinhleðslna.
Íbúarnir hafa lifað af sjávarnytjum ekki síður en landbúnaði. Litlibær er aðeins 3,9m x 7,4m að grunnfleti (utanmál) en portbyggt loft er yfir jarðhæð. Tvö útieldhús voru skammt frá íbúðarhúsinu, og alls munu liðlega 20 manns hafa búið í Litlabæ á tímabili. Frá árinu 1917 bjó aðeins ein fjölskylda á jörðinni. Búið var í Litlabæ fram til 1969.
Tóttir eru margar á jörðinni og skammt í suður frá steinhlöðnum vegg, sem liggur umhverfis túnið, er hringmynduð fjárborg og er hún talin mun eldri en aðrar hleðslur við Litlabæ.
Litlibær hefur verið í vörslu Þjóðminjasafnsins frá árinu 1999. Ráðist var strax í viðamiklar viðgerðir á íbúarhúsinu. Í júní 2013 var undiritaður samningur um framtíðarvarðveislu Litlabæjar í Skötufirði og minjanna á svæðinu sem nú eru formlega í eigu Þjóðminjasafns Íslands.
