Kisah yang berkembang dari mulut ke mulut tentang Ngargoloka adalah kisah pengembaraan Ki Hajar Saloka dan Nyai Margowati. Kata Ngargoloka berasal dari dua kata yakni Argo yang berarti Gunung sedangkan Loka yang berarti Kondang. Maka kedua nama tersebut menjadi nama Ngargoloka.