独居老人老王，由于其养女小王工作很忙疏于对他的照顾，而邻居李某时常看望他，并在他生病期间照顾有加。老王与李某达成遗赠扶养协议“李某照顾老人的生活起居并负担老人的后事，老人将自己的所有财产都赠与李某”，并公证。但之后，李某对老人的态度日渐冷淡，甚至连老人的基本生活都难以保证，尤其在老人生病期间更是不理不睬。于是小王辞去工作照料父亲，不久老人病故。在分割遗产时，李某主张依据协议和小王是养女这两条理由，遗产都应归他继承。

李某的主张是否有法律依据？请说明理由。