אזכור ראשוני של תפילות יהודים במתחם שכיום מנסים לצייר כאילו היה מוקד היהדות מאז ומעולם – רחבת הכותל המערבי שהיתה במקורה סימטה צרה בלבד – נכתב בשנת שפ"ה (1624־1625), במכתב של יהודי איטלקי בשם רבי דניאל פינצי למכרו בעיר קארפי שבצפון איטליה.
במכתב הוא מספר על ייסוד מקום תפילה חדש ליהודים באתר מוכר מאוד לבני דורנו: "ירושלים הבנויה עתה, קצתה על הר ציון וקצתה על הר הבית… וכל הבאים אליה מגלילותינו, נכנסים בה למערבה, שהיא על הר ציון, יורדים בדרכי העיר עד סוף הר ציון, ומשם מתחיל שיפועו של הר הבית, הנושקים זה בזה באמצע העיר. עולים משם על הר הבית עד שמגיעים אל גובהו של הר, ששם היה בית המקדש החרב בעוונותינו ועתה בנו עליה מוסקיט"א (מסגד – א"ס), ואין רשות ליהודים להיכנס בתוכו, ורק חוצה לו, סמוך לכותל המערבי, להם רשות להתקרב".
הרב פינצי סייג שבאותה עת אין רשות להתקרב אפילו אל הכותל, מתוך חשש לפרעות: "וזה בשעת שלום, כי עתה, שהוא עת מנגד, גזרו… שלא תהיה בו דריסת הרגל". נראה שהכוונה למשטר האימים שהחיל בעיר מוחמד אבן פרוך, שהתמנה ב־1625 למשרת מושל ירושלים ורדף את יהודי העיר. פינצי המשיך מכל מקום: "כבר השבוע הראשונה שהגעתי, קודם הגזרה, הלכתי עד היסוד בה (עד הכותל – א"ס), ונשקתיו והשתטחתי לרגליו, ושם אמרתי תפילות מסודרות, ומי שברך בכלל לכל בני קהילת קודש קרפי, ובפרט מן הפרט למעלת כבוד תורתו ולבני, ולכל אחד מראשי בתי אבות של עירכם".

כאן באה התנצלות על כך שמקום התפילה איננו מכוון בדיוק מול מקום המקדש, אלא עומד דרומה ממנו: "ועם שנקרא 'כותל מערבי', אינו אותו חלק שהיה מכוון כנגד קודש־הקדשים, אחרי שאותו מקום חרשוהו ליסטים מזוינים, ושם בנו המוסקיטא ובמקום אבן השתייה בנו מגדל יפה עד מאוד. אומנם הוא כותל מערבי של הר הבית – נשאר לצד ימין ממנו (חלקו הדרומי – א"ס)".
מקום התפילה בכותל המערבי שמזכיר פינצי הוא כיום אתר הפולחן היהודי המרכזי בעולם, רחבת הכותל – שאכן איננה מכוונת מול מקום המקדש, אלא מצויה מדרום־מערב לו. הכותל המערבי נזכר גם קודם לכן באגרות שונות, אך לא כמקום תפילה. לחלופין, הוא אינו מוזכר מתוך כוונה לאתר התפילה הנוכחי. כפי שעולה מדברי הרב פינצי, אתר התפילה נקבע שם יותר בשל אילוצים, ולא מבחירה מתוכננת. בין היתר נראה שהביאה לכך החלטתם של יהודי ירושלים באמצע המאה ה־15 למקם את שכונתם החדשה באזור שאנו מכנים כיום 'הרובע היהודי' – הסמוך לחלק המסוים הזה של הכותל המערבי.
בשנת 1546 החריד רעש אדמה עז את ארץ ישראל, הביא לגלי צונאמי איומים בים המלח ובים התיכון, וחולל הרס אדיר. בין השאר כנראה קרסו אז הבתים שנשענו על הכותל המערבי, וכך התפנה השטח שהפך מאוחר יותר לרחבת התפילה. את השקעים בקיר ששימשו להנחת קורות הגג של אותם בתים אפשר לראות עד היום בכותל.
אחרי החורבן, במשך יותר מ־1,500 שנה עד למיסוד התפילה בכותל, התפללו היהודים בנקודות אחרות סביב ההר, ואף בהר עצמו. מאות שנים התפללו היהודים ליד הכותל המזרחי, סמוך לשער הרחמים. בתקופה המוסלמית הקדומה התפללו יהודים בהר הבית עצמו, ומשהדבר נאסר עליהם ייסדו את מעמד סיבובי השערים והקיפו את ההר כולו בתפילתם.

בשלהי התקופה המוסלמית הקדומה התפללו יהודים בבית שער תת־קרקעי מימי הבית, המכונה במחקר שער וורן על שם האיש שגילה אותו במאה ה־19. החלל התת־קרקעי הזה מצוי בשטח ההר בצידו המערבי, אולם בניגוד לרחבת הכותל של ימינו ממוקם בדיוק מול קודש־הקודשים, ממערב לו. זה היה בית הכנסת המרכזי בעיר, שבגניזה הקהירית מכונה "המערה".
במגילת אחימעץ, חיבור משנת 1054, נכתב על רבי שמואל הנגיד שבראשית המאה ה־11 הקדיש "שמן למקדש בכותל מערבי למזבח שבפנים". לפי פענוח הטקסט הזה, רבי שמואל הנגיד תרם שמן לתאורת בית הכנסת התת־קרקעי בשער וורן, לצורך תאורת במת התפילה המכונה כאן "מזבח". זו ניצבה "בפנים" – כלומר, בתוך תחומי הר הבית. כשהצלבנים כבשו את ירושלים ב־1099 הם שרפו את יהודי ירושלים חיים בבית הכנסת הזה, ואחר כך הפכו אותו לבור מים. כך הוא נותר עד ימינו. אולם גם אחרי כן המשיכו יהודים לפקוד את הנקודה הזו והתייחסו למקום כ"בית טבילה לכוהנים" שנכנסו לשרת בקודש בימי קדם.
בנימין מטודלה כותב בשנת 1173 על "הכותל המערבי", אולם מתכוון אף הוא כנראה לאותו בית כנסת תת־קרקעי המכוון בדיוק מול מקום קודש הקדשים: "ולפני אותו מקום (כיפת הסלע – א"ס) כותל מערבי, והוא אחד מן הכתלים שהיו בקודש־הקדשים, וקוראים אותו שער הרחמים, לשם באים כל היהודים להתפלל לפני הכותל בעזרה".
על המקום הזה כותב גם רבנו שמואל בר שמשון, מבעלי התוספות, בשנת 1211: "באנו לירושלים ממערבה של עיר, וראינוה וקרענו בגדינו כראוי לנו. נתגוללו רחמינו עלינו, ובכינו בכייה גדולה… ונבוא להשתטח עד לפני העזרה (עד חומת הר־הבית המערבית – א"ס), וניפול על פנינו לפני שער שכנגדו מבחוץ, הוא בית הטבילה לכוהנים. ושמה שער שכנגדו בכותל מערבי, ומיסוד הכותל כעין אולם גדול אחד אשר ביסוד ההיכל, ושם באים הכוהנים במחילה לעין עיטם, והמקום ההוא היה בית הטבילה".

אגרת של תלמיד רבנו עובדיה ברטנורא משנת 1496 מזכירה אומנם את כוונתו להתפלל בכותל המערבי, אולם שוב – לאו דווקא במקומה של רחבת התפילה בימינו: "שפתַי לא אכלה לקרוא לשם בחוזקה, להיטיב לטובים ליראי השם ולחושבי שמו, וכפיי אפרוס לרום שמיים נגד כותל מערבי, וכל אחד ואחד בשמו אזכיר".
אותו תלמיד גם מזכיר נקודה שבה היה נהוג להתפלל סמוך להר, אולם מתיאורו לא נראה שמדובר באתר התפילה הנוכחי: "בתוך העיר סמוך לבית־המקדש יש מקום פנוי וריקם, (שאליו – א"ס) ילכו כל הקהל אחר התפילה להתפלל נוכח בית־המקדש, כי משם ראו המקום הקדוש ונורא. וסמוך אליו יש מדרש שלמה המלך עליו השלום (מסגד אל־אקצה – א"ס), ולא ייכנסו בהם רק הישמעאלים לבדם". מרחבת הכותל של ימינו, ובטח מהסימטה הצרה דאז, לא רואים את מקום המקדש. לכן סביר להניח שהכוונה היא לנקודה אחרת בעיר העתיקה, גבוהה יותר.
תלמיד רבי עובדיה מברטנורא מתייחס להר ומציין ש"יש בו י"ב שערים, בכל שער מדליקין נרות". מכך נראה שהפולחן היהודי התמקד לאו דווקא בצידו המערבי של ההר.
שיר־השירים רבה, מדרש בן המאה השביעית לספירה, דורש את הפסוק "הִנֵּה זֶה עוֹמֵד אַחַר כָּתְלֵנוּ" – "אחר כותל מערבי של בית המקדש, למה? שנשבע לו הקדוש ברוך הוא שאינו חרב לעולם". המדרש מוסיף שלא רק הכותל אלא גם "שער הכוהן ושער חולדה לא חרבו לעולם, עד שיחדשם הקדוש ברוך הוא". מלשון המדרש נדמה שהכותל המערבי המוזכר בו הוא כותל המקדש עצמו, אלא שאזכור שערי חולדה מרמז שייתכן שבדומה להם מדובר על כותלו המערבי של ההר. שערי חולדה אכן נותרו בשלמותם עד ימינו בדרום ההר.
בדומה לזה מספר מדרש איכה רבה על ציוויו של טיטוס לארבעה דוכסים שונים להחריב כל אחד כותל אחר של הר הבית. לפי המסופר, הדוכס, שהיה ממונה על החרבת הכותל המערבי, לא מילא את תפקידו כראוי. הממצאים בשטח מאשרים את ההנחה שהכותל המערבי של ההר נשאר שלם, ככלל. את האבנים ההרודיאניות – אבני הבניין החלקות של הורדוס המוכרות כל כך מהכותל המערבי, ומתנשאות שם לגובה ניכר – קשה לאתר בכותלי ההר האחרים, שפורקו והוחרבו באופן כמעט מלא ושוקמו רק במאות הבאות. גם בכותל המערבי עצמו ניכר מאמץ רומאי כביר להחריבו.
גרם המדרגות בדרום־מערב ההר, המכונה קשת רובינסון, הוחרב בחמת זעם בידי צבא רומא, ואבניו נפלו ונערמו על הרחוב מתחתיו. הן מצויות שם עד היום הזה. אולם בשלב מסוים חדלו הרומאים ממאמצי ההחרבה, והכותל המערבי נשאר על עמדו ומתנשא לגובה רב. נדבכים רבים שלו קבורים מתחת למפלס הקרקע של ימינו.
העדויות על מיסוד אתר התפילה בסמטת הכותל המערבי נמשכו גם אחרי ימי הרב דניאל פינצי. כך למשל כתב בשנת 1650 רבי משה בן ישראל נפתלי הירש פוריית מפראג. הוא ציין שבימיו נהגו לשמור על מרחק מהכותל עצמו מטעמי קדושה: "ליהודי אסורה הכניסה למקום שבו עמד בית המקדש. בו במקום נמצא הכותל המערבי, וליהודים מותר לבקר שם מן הצד החיצוני של המקום, ולא מן הצד הפנימי. בכל זאת, אנו עומדים ומתפללים במרחק מה מן הכותל המערבי, כי מפני הקדושה אין אנו מתקרבים לכותל המערבי.
"בכל יום שני וחמישי אחרי תפילת שחרית, ובכל שבת ויום טוב אחרי מנחה, הולכים למקום שמול כותל המערבי ומתפללים שם תחת כיפת השמיים. כי לכותל המערבי גופא אין אנו הולכים מפני הקדושה. לעולם אין השכינה זזה מכותל מערבי. וכל אחד מברך ב'מי שברך' את האנשים הקרובים לליבו, שגמלוהו כל טוב ועתידים לגמלהו כל טוב. נודרים צדקה למענם".
רבי דוד קונפורטי כותב ב־1652: "וגם מתפללים תפילות ותחנונים בלב נשבר ונדכה אצל כותל מערבי, שלא זזה משם השכינה, ואחר כך מברכים לקהילות הנפוצות בגולה". ב־1699 כותב רבי אריה יהודה לייב כ"ץ במכתב לחבר בגולה: "זיכרונו הטוב עולה לפניי תמיד בשבתות ובימים טובים בהולכי לפני כותל המערבי. אני מתפלל עליו שלא ישלוט בו עין הרע, ואני עושה לו 'מי שברך' מקירות ליבי, לו ולבני ביתו ולכל המסתופפים בצילו".
מאז התמסדה התפילה באתר הנוכחי בכותל המערבי. רבי אברהם פרץ מטבריה כתב ב־1820: "בעזרת השם אשתקד זכיתי… להתפלל אצל כותל מערבי ממש, ורשמתי שמו הקדוש על כותל מערבי. ישבנו שם ג' שבועות וחג השבועות. המנהג של אנשי ירושלים, שבכל ערב־שבת קודש אחר חצות היום הולכים לכותל מערבי וגומרים שם תהלים, ואומרים 'ומפני חטאינו' בדמעות שליש – ואי אפשר לסבול גודל הבכי. התפללתי שם המוספין של שבת־קודש ומוסף של חג השבועות, וגם בימות החול התפללתי שם כמה פעמים".
400 שנים מלאו למוקד התפילה המרכזי של דורנו, וזה התקבע כל כך עד שלעיתים נשכחת העובדה שבמקור נבחר המקום הזה מתוך אילוץ וכתחליף. לעולם אין השכינה זזה מהכותל המערבי, ולא רק השכינה לא זזה – גם את היהודים קשה להזיז מהנקודה הזו בחזרה אל מוקדי הפולחן האמיתיים של דתם.