『大神山（おおがみやま）』とは神社が鎮座する「大山（だいせん）」の古い呼び名です。大山が文献に登場する最初の書物は、八世紀（奈良時代）前半に編纂された「出雲国風土記」で、国引きの条の中に「國に固堅め立てし加志は、伯耆国なる大神岳是なり」と国を引き寄せる綱（鳥取県の弓ヶ浜半島）をつなぎ止める杭として、伯耆国の「大神岳（火神岳）」として出てきます。ちなみに今のように大山と呼ばれるようになったのは平安期以降と思われます。中国地方の最高峰であり、独立した優美な山容を持つ大山は、神の宿る山として古くから人々の信仰を集めてきました。ふもとに暮す人々はもとより、海を渡ってきた人々からもその神々しさは格別なものが在ったに違いありません。主祭神の大己貴命は大山を根拠地として国土経営の計画をお立てになりました。「神祗志料」左比売山神社の条には「云々、昔大己貴命、少名彦名命、須勢理姫命、伯耆国大神山に御坐、出雲國由来郷に来坐して云々」と書かれており、大山の山頂に立って雲の上から草昧の国土を見下ろし国見をされて国造りを相談なされたと伝えています。
大山にいつ頃から神社があったのかはわかりませんが、古来信仰を集めていた大山において、頂上を拝める中腹に遙拝所（磐座・磐境等）を設けたのが始まりと思われます。こうした山そのものをご神体として崇めることは日本各地によくあったことで、多くは本殿を持ちませんでした。なぜならば古来の日本の信仰では神様が宿られるのは自然そのものであり、特別にお入りいただく建物は必要なかったからです。伝承によれば、大神山神社も建物が建ち始めたのは崇神天皇あるいは応神天皇の御代とも言い伝えられておりますが、遙拝所に付随する簡素なものであったと思われます。仏教の影響のもとに本格的な社殿が建てられるようになったのは平安期頃からです。なおその後も本殿は無く、本殿が建てられたのは江戸時代（1701年）になってからです。奥宮の社殿は寛政8年（1796年）に火災に遭って消失し、現在の社殿は文化2年（1805年）に再建された物です。この社殿は本殿･幣殿･拝殿が一体化し、それに長廊がＴ字型に付くという独特の形をした権現造で、幣殿柱･長押には銀箔の上に透けた漆を塗る白檀塗り（びゃくだんぬり）という技法で彩られ、側面には天女の壁画、格天井には花鳥風月が描かれています（国指定重要文化財）古代この拝殿には神官僧侶等特別な人以外には入れず、一般の人々は長廊までにて参拝していました。
仏教が日本中に広まってくると、その影響下に神職と僧侶が同じく神様に奉仕する「神仏習合（混淆）」の時代となり、平安期には大山にも仏教が入ってくるようになました。僧侶は大神山神社の御祭神である大己貴命に地蔵菩薩を祀って「大智明権現」の名を称して神仏を共に崇めることとなり、近くに多くの寺院を建て、平安鎌倉期には三院一八〇坊僧兵三千とまで興隆するようになりました。しかしこの奥宮の地は標高1000メートル近い高地であり、冬には積雪が数メートルにも達する所でありましたので、昔に於いては冬季の奉仕は非常に困難な場所でありました。そこで冬でもお祀りする事が出来るように、川沿いに数㎞下がった大神谷（現在の伯耆町丸山地内）の地に社を建て、これを冬宮と称し、本来の大山中腹の社は夏宮としました。その後ここでも冬季の神事は厳しく、手狭にもなったので、さらに下がった福万原（米子市福万）に移転しました。その後この福万原の社は戦国時代になると戦禍や社会の変化で衰退し、天正年間（安土桃山時代、十六世紀後半）に領主吉川広家により大本坊（米子市尾高地内）の地に社殿を築きました。しかしこの社は八千坪という広大な社地を持っていましたので、吉川氏が岩国に移封された後は維持が困難になり荒廃していきました。 そこで氏子であった中間庄の豪農郡八兵衛が神夢により、場所を尾高の現在地に移して承応2年（1653年）遷座をして冬宮としたのが現在の大神山神社本社です。
神仏習合の時代は長く、江戸時代まで続きましたが、明治時代になると政府により神仏分離令が出され、明治4年に尾高の冬宮は国幣小社に列せられ「大神山神社本社」となりました。ついで明治8年に大山の夏宮（大智明権現社）より地蔵菩薩を除き「大神山神社奥宮」として純然たる神社となりました。このとき地蔵菩薩は大日堂に移され、現在の大山寺になっています。このように大山は昔から自然信仰・山岳信仰の山として、また神々・祖霊のお集まりになる神山として崇められてきました。現在でもこの地方に災害が少ないのは大山さんのおかげと申して大山に向かって手を合わせる人も多くいらっしゃいます。