a) \(P=\dfrac{\sqrt{a^3}-\sqrt{b^3}}{a-b}-\dfrac{a}{\sqrt{a}+\sqrt{b}}-\dfrac{b}{\sqrt{b}-\sqrt{a}}=\dfrac{a\sqrt{a}-b\sqrt{b}}{\left(\sqrt{a}-\sqrt{b}\right)\left(\sqrt{a}+\sqrt{b}\right)}-\dfrac{a\left(\sqrt{a}-\sqrt{b}\right)}{\left(\sqrt{a}-\sqrt{b}\right)\left(\sqrt{a}+\sqrt{b}\right)}+\dfrac{b\left(\sqrt{a}+\sqrt{b}\right)}{\left(\sqrt{a}-\sqrt{b}\right)\left(\sqrt{a}+\sqrt{b}\right)}=\dfrac{a\sqrt{a}-b\sqrt{b}}{\left(\sqrt{a}-\sqrt{b}\right)\left(\sqrt{a}+\sqrt{b}\right)}-\dfrac{a\sqrt{a}-a\sqrt{b}}{\left(\sqrt{a}-\sqrt{b}\right)\left(\sqrt{a}+\sqrt{b}\right)}+\dfrac{b\sqrt{a}+b\sqrt{b}}{\left(\sqrt{a}-\sqrt{b}\right)\left(\sqrt{a}+\sqrt{b}\right)}=\dfrac{a\sqrt{a}-b\sqrt{b}-a\sqrt{a}+a\sqrt{b}+b\sqrt{a}+b\sqrt{b}}{\left(\sqrt{a}-\sqrt{b}\right)\left(\sqrt{a}+\sqrt{b}\right)}=\dfrac{a\sqrt{b}+b\sqrt{a}}{\left(\sqrt{a}-\sqrt{b}\right)\left(\sqrt{a}+\sqrt{b}\right)}=\dfrac{\sqrt{ab}\left(\sqrt{a}+\sqrt{b}\right)}{\left(\sqrt{a}-\sqrt{b}\right)\left(\sqrt{a}+\sqrt{b}\right)}=\dfrac{\sqrt{ab}}{\sqrt{a}-\sqrt{b}}\)
b) Ta có \(\left(a-1\right)\left(b-1\right)+2\sqrt{ab}=1\Leftrightarrow ab-a-b+1+2\sqrt{ab}=1\Leftrightarrow ab=\left(\sqrt{a}-\sqrt{b}\right)^2\Leftrightarrow\left(\dfrac{\sqrt{ab}}{\sqrt{a}-\sqrt{b}}\right)^2=1\Leftrightarrow\left|\dfrac{\sqrt{ab}}{\sqrt{a}-\sqrt{b}}\right|=1\Leftrightarrow\dfrac{\sqrt{ab}}{\sqrt{a}-\sqrt{b}}=1\Leftrightarrow P=1\)(Vì b>a>0)
Vậy \(\left(a-1\right)\left(b-1\right)+2\sqrt{ab}=1\) thì P=1