與其他僅僅是男女主人公兩人之間愛情故事的作品不同，《源氏物語》描述的是光源公子與多位女子的愛情故事，其中甚至包括光源氏與自己父親的妃子、與嬸嬸之間的情感糾纏。若以中國的道德規范來衡量的話，光源公子就是一個典型的“色情狂”，但在作品中，對光源公子是持肯定和贊揚態度的，認為這是一種美德，因為這種“好色”正符合了日本的傳統文化。
古今中外，只要有愛情，就會有痛苦和哀傷，而《源氏物語》完全符合這一特征。無論是前太子妃、空蟬、夕顏、源內侍等等都與源氏有著愛欲關系，都是對源氏滿懷癡情，但最后或被冷落、或死亡、或出家，愛情破滅，命運悲慘，無不隱藏著愛情的痛苦與哀傷。
《源氏物語》通過對自然景物的描繪，烘托人物內在的哀傷與悲喜情緒，開啟了日本文學的“物哀”時代。
若以我國的道德規范來衡量《源氏物語》，這部作品就應該列入禁書的行列，但若從當時的時代背景，從審美、情感、影響力方面加以研究，即可明白此部著作的文學價值和偉大之處。正如川端康成在獲得諾貝爾獎文學獎后發言中所說：“《源氏物語》是深深地滲透到我的內心底里的。”可見其對日本影響之深遠。
另外，《源氏物語》塑造的兩個人物，光源氏和紫姬，即使以現在的標準衡量，也是眾多男男女女的理想情人
