a) Giải phương trình $(3x-1)\sqrt{3x-2}=7x^2-13x+8$.

b) Giải hệ phương trình $$\{\begin{array}{l}x{y}^2\left(\sqrt{x^2+1}+1\right)=3\sqrt{9+y^2}+3y\\ (x^{2}y-1)\sqrt{x^{2}y+xy-5}+3x^{2}y=7x^2-4x+8\end{array}$$

a) Điều kiện: $3x-2\ge 0\iff x\ge \frac{2}{3}$.

Phương trình tương đương với:
$$\left[(3x-1)\sqrt{3x-2}-x(3x-1)\right]=7x^2-13x+8-3x^2+x$$
$$\iff (3x-1)\cdot \frac{3x-2-x^2}{\sqrt{3x-2}+x}=4(x^2-3x+2)$$
$$\iff (3x-1)(\sqrt{3x-2}-x)=4x^2-12x+8$$
$$\iff \frac{-(3x-1)(x^2-3x+2)}{\sqrt{3x-2}+x}-4(x^2-3x+2)=0$$
$$\iff (x^2-3x+2)\left[4+\frac{3x-1}{\sqrt{3x-2}+x}\right]=0.$$

Với $x\ge \frac{2}{3}$ ta có $3x-1>0$, $\sqrt{3x-2}\ge 0$ nên biểu thức trong ngoặc vuông luôn dương.

Do đó: $x^2-3x+2=0\iff \left[\begin{array}{c}x=1\\ x=2\end{array}\right]$ (thỏa mãn).

Tập nghiệm của phương trình là $S=\{1;2\}$.

b) Xét phương trình thứ nhất của hệ: $x{y}^2(\sqrt{x^2+1}+1)=3(\sqrt{y^2+9}+y)$. (1)

Dễ thấy $\sqrt{y^2+9}>\sqrt{y^2}=|y|\ge -y$, nên vế phải luôn lớn hơn $0$, $\forall y\in \mathbb{R}$.

Do đó vế trái dương, suy ra $x>0$ và $y\ne 0$.

Chia $2$ vế của (1) cho $y^2>0$:

$$x(\sqrt{x^2+1}+1)=\frac{3}{y^2}(\sqrt{y^2+9}+y).$$

Vì $x>0$ nên $x(\sqrt{x^2+1}+1)>0$, mà $\sqrt{y^2+9}+y>0$ nên bắt buộc $y>0$.

Với $y>0$, ta có:

$$x(\sqrt{x^2+1}+1)=\frac{3}{y}\left(\sqrt{1+\frac{9}{y^2}}+1\right).$$ (2)

Xét hàm số $f(t)=t(\sqrt{t^2+1}+1)$ với $t>0$.

Ta có $f^{\prime }(t)=\sqrt{t^2+1}+1+\frac{t^2}{\sqrt{t^2+1}}>0$, $\forall t>0$, suy ra hàm số đồng biến trên $(0;+\infty )$.

Phương trình (2) có dạng $f(x)=f\left(\frac{3}{y}\right)\iff x=\frac{3}{y}\iff xy=3$.

Thay $xy=3$ vào phương trình thứ hai của hệ:

$$(x\cdot 3-1)\sqrt{x\cdot 3+3-5}+3\cdot x\cdot 3=7x^2-4x+8\iff (3x-1)\sqrt{3x-2}=7x^2-13x+8.$$

Đây chính là phương trình ở câu a), cho ta nghiệm $x=1$ hoặc $x=2$.

Với $x=1\Rightarrow y=3$ (thỏa mãn $y>0$).

Với $x=2\Rightarrow y=\frac{3}{2}$ (thỏa mãn $y>0$).

Vậy hệ có các nghiệm $(x;y)$ là $(1;3)$ và $\left(2;\frac{3}{2}\right)$.