רבי אלעזר היה בחיר תלמידיו של רבי יוחנן בן זכאי, ורבי יוחנן שיבח אותו בכל הזדמנות. לאחר פטירת ריב"ז, הוא הניח כי יהיה היורש של רבו וציפה שהתלמידים יתקבצו אחריו. למעשה, התלמידים לא נהגו כך והוא החליט לפרוש מהם לעיר דיומסית, שהיתה עיר של "החיים הטובים". מלאת אוכל טוב ומעיינות מרפא.
לאט לאט הוא נסחף בלהט החיים שם, עד ששכח את תלמודו. אחרי תקופה, הוא החליט לשוב לחבריו בישיבת יבנה, וכשעלה לתורה וקרא בעצמו - קרא: "החרש היה לבם" במקום "החדש הזה לכם"!.
,