במהלך השנים תש"ו-ז, יצאו מרוסיה כאלף מחסידי חב"ד. לאחר שנתיים של גלגולים במחנות פליטים בגרמניה ובאוסטריה, ושהייה ממושכת בפריז שבצרפת, החלו רבים מהם להסתדר במדינות שונות. חלקם עלו, בהוראתו של הרבי הריי"ץ, לארץ הקודש.
העולים הגיעו לארץ בעיקר בשנת תש"ט, בשתי קבוצות. האחת התיישבה בבתים הנטושים שבאזור תחנת הרכבת בעיר לוד, והשנייה התמקמה בכפר הנטוש ספריה, אשר שונה שמו ל"כפר-חב"ד".
אגודת חסידי חב"ד קיבלה את הבתים בלוד מידי המדינה, ובד-בבד, הודות לחלוציותו של הרה"ח ר' זושא וילימובסקי ע"ה, זכתה בבניין מיוחד עבור ייסוד ישיבה חב"דית בעיר. הרב וילימובסקי והרה"ג ר' שרגא מלך קפלן ע"ה הקימו את הישיבה, והרב קפלן אף עמד בראשה.
אולם, מכיוון שכמות הפליטים שעלו באותה עת הייתה מצומצמת, התעורר ספק אודות כדאיות החזקת הישיבה בשלב הנוכחי, ושמא עדיף לשלוח את בניהם של הפליטים לישיבת חב"ד בתל-אביב. הרב וילימובסקי פנה בעניין אל כ"ק אדמו"ר הריי"ץ, והוראתו הקדושה הייתה, לשלוח את התלמידים לתל-אביב. ואכן, רוב התמימים נשלחו לתל-אביב, למעט קבוצה מעטה שנותרה בלוד מסיבות שונות.
בינתיים, התרחבה הישיבה בתל-אביב, וכמנהלה כיהן הרה"ח ר' משה אקסלרוד ע"ה. החדר צמח אף הוא, ומנה למעלה מארבעים תלמידים, מה שהביא למינויים של שני מלמדים נוספים. כעת, בעקבות הצטרפותם של בני הפליטים, תוגבר אף צוות הר"מים של הבחורים המבוגרים, בדמותם של הרבנים החסידים, הרב שלמה חיים קסלמן והרב נחום טרבניק ע"ה, שנמנו בעצמם עם העולים.
המבנה של הישיבה, ברחוב הרב קוק, נעשה צר מלהכיל את כלל מחלקותיה, וההנהלה נאלצה לערוך שינויים מבניים. הכיתה הגבוהה של מחלקת הבחורים הצעירים - "אחי-תמימים", בראשותו של הרה"ג ר' דוד חנזין ע"ה, עברה לבניין הישיבה בלוד, ואילו מחלקת התלמידים המבוגרים - "תומכי-תמימים", התמקמה בבניין אחר בתל-אביב. ברחוב הרב קוק נותרו החדר והכיתות הצעירות של אחי-תמימים.