Форма каменю віддалено нагадує кінську голову. Можливо, звідси походить і його назва.
Тим часом, ще з часу поселення на острів преподобного Арсенія острів Коневец був покритий густим лісом [3]. Це видно також на фресці в арці дзвіниці Коневского монастиря. де зображена сцена зустрічі преподобного Арсенія з архієпископом новгородським Евфимием [4].
До сьогоднішнього дня лісу покривають більше 80% острова [5]. В даний час тільки в районі Казанського скиту є так звана «зона культурного освоєння». Її складають невеликий парк і кілька гектар лугових земель, що виникли в результаті обробітку землі під монастирські сільськогосподарські потреби.
Крім того, транспортування кінських табунів на острів по водах Ладоги в XIV столітті і раніше виглядає небезпечною, при тому, що прилегла до озера материкова місцевість, в якій проживали Корельского племена, представляла собою досить родючу рівнину з великою кількістю трав і водних джерел [6].
Кінь-камінь дав назву і самому острову Коневец, в той час як фіни називали його Рантасаарі (фін. Rantasaari) - Прибережний острів.
Кінь-камінь в монастирські роки
В кінці XIV століття на острів прийшов Св. Арсеній Коневский. За легендою тут він зустрів рибалки на ім'я Філіп і дізнався від нього про жертвопринесення. Св. Арсеній, як сказано в його житії, порахував це місце «пущі дрімучого лісу жахом бісівським оточеним». За легендою, він провів в молитві у своїй келії цілу ніч, а на ранок зробив навколо каменя хресний хід з іконою Богородиці в руках і окропив валун святою водою. Згідно з житієм, духи вийшли з каменю, перетворилися в чорних воронів і полетіли геть до протилежного берега Ладозького озера, який з того часу стали називати Чортової бухтою (Сортан-лахта). Разом з бісами, згідно з переказами, з острова зникли і змії.
У 1895 році на Кінь-камені була побудована дерев'яна каплиця Арсенія Коневского [7].