不变子空间方法是同条件Lie-Bäcklund对称方法相关的一种方法，已被成功用于非线性偏微分方程（组）的分类和对称约化［1-3］.事实上研究非线性微分算子允许的不变子空间，也是不变子空间方法中的重要理论问题之一.文献［3-6］分别对一阶非线性微分算子和二阶非线性微分算子的不变子空间作了讨论.Galationov［3］曾经针对二阶常系数平方算子的不变子空间做了讨论，随后，又与Svirshchevskii［4］完成了二阶非线性微分算子允许的最大维不变子空间是5的证明，同时讨论了常系数二阶平方算子、常系数二阶立方算子的不变子空间，包括多项式型（三角函数型、指数型）不变子空间；并且指出经过变量变换，一阶非线性微分算子F(x，y，y′)允许的全部最大维不变子空间都能够表示出来，但是二阶非线性微分算子F(x，y，y′，y″)允许的全部最大维不变子空间未能解决；Zhu［6］证明了允许次于最大维（四维）的二阶非线性微分算子中包含有三次非线性项，其结构为
这里Fijk，i，j，k=0，1，2，3都是x的函数，同时，作者也讨论了具有常系数的二阶三次非线性微分算子在四维不变子空间的分类.
本文将利用不变子空间方法，考虑三次非线性微分算子F3的一种特殊形式，即一类变系数三次非线性微分算子
式中A(x)、B(x)都为x的任意函数.
不变子空间方法简介［3-11］.
非线性演化方程为
式中F[u]是一个k阶非线性微分算子，并且充分光滑.如果算子F满足F[Wn]⊆Wn，则称n维线性子空间Wn在算子F作用下不变或称算子F允许不变子空间Wn，其中
且f1(x)，…，fn(x)为n个线性无关的函数.这就表示
{ψi}是F[u]∈Wn在线性子空间Wn中关于基{fi}的展开系数，此时方程（1）具有如下形式的广义分离变量解
其中Ci(t)满足下面的有限维动力系统
假定Wn是n阶线性常微分方程
的解空间，则微分算子F允许不变子空间Wn的不变条件是
式中D为关于x的全微分，[H]意味着：L[u]=0以及L[u]=0关于x求各阶导数后的等式.下面给出最大维数定理.
定理1.1 设线性子空间Wn由线性常微分方程（3）所定义，若Wn在k阶非线性常微分算子作用下不变，则有
n≤2k+1.
如果通过变量代换
则称算子F[y]=F(x，y，y′，…，y(k))和
等价.如果算子F允许子空间Wn=L{f1(x)，f2(x)，…，fn(x)}，其等价算子
允许子空间
事实上，如果存在函数α(x)、β(x)使得：
则形如二阶三次变系数微分算子
在变量变换的作用下，都可以转化为形如G[y]的微分算子，其中M(x)、N(x)、P(x)、Q(x)都是x的任意函数.
利用不变子空间方法研究二阶三次变系数微分算子（1）的不变子空间，考虑以下情形：n=2，3，4，5.首先，考虑n=2.设微分算子G的二维不变子空间W2是由二阶常微分方程
定义，这时不变条件为
将算子G[u]代入方程（11）合并同类项，左端成为关于y、y′的多项式，即
令各项系数为0，并利用Maple求解其中的系数函数，得到3组解：
因此，得到下面的定理.
定理2.1 有3种类形如G[y]的三次变系数微分算子，允许由形如常微分方程（3）解空间定义的二维不变子空间，分别是：
（1）G[y]=y2y″-yy′2，L2[y]≡y″+a1y=0，以及不变子空间
由定理2.1，可以得到2个推论.
定理2.3 对于二阶三次变系数微分算子G[y]，没有允许由线性常微分方程（3）的解空间所定义的四维不变子空间.
定理2.4 对于二阶三次变系数微分算子G[y]，没有允许由线性常微分方程（3）的解空间所定义的五维不变子空间.
解空间定义的多项式不变子空间W2=L{1，x}，将解u(x，t)=C1(t)+C2(t)x代入到方程（13），则C1(t)、C2(t)满足常微分方程组：
所以，方程（13）有解
［1］ ZHDANOV R Z.Conditional Lie-Bäcklund symmetry and reduction of evolution equations［J］.Journal of Physics A（Mathematical and General），1995，28（13）：3841-3850.
［ 2］ FOKA A S，LIU Q M.Nonlinear interaction of traveling waves of nonintegrable equations［J］.Physical Review Letters，1994，72（21）：3293-3296.
［3］ GALAKTIONOV V A.Invariant Subspaces and new explicit solutions to evolution equations with quadratic non-linearities［J］.Proceedings of the Royal Society of Edinburgh.Section A（Mathematics），1995，125（2）：225-246.
［4］ GALAKTIONOV V A，SVISHCHEVSKII S R.Exact solutions and invariant subspaces of nonlinear partial differential equations in mechanics and physics［M］.London：Chapman and Hall/CRC，2007.
［5］ SVISHCHEVSKII S R，GALAKTIONOV V A.Nonlinear differential operators of first and second order possessing invariant linear spaces of maximal dimension［J］.Theoretical and Mathematical Physics，1995，105（2）：1346-1353.
［6］ ZHU C R.Second-order nonlinear differential operators possessing invariant subspaces of submaximal dimension［J］.Chinese Physics B，2011，20（1）：42-49.
［7］ GALAKTIONOV V A，POSASHKOV S A.New explicit solutions of quasilinear heat equations with general first-order signinvariants［J］.Physica D，1996，99（2）：217-236.
［8］ SVISHCHEVSKII S R.Symmetries of linear ODEs and generalized separation of variables in nonlinear equations［J］.Physics Letters A，1995，199（5/6）：344-348.
［9］ QU C Z，ZHU C R.Classification of coupled systems with two-component nonlinear diffusion equations by the invariant subspace method［J］.Journal of Physics A（Mathematical and Theoretical），2009，42（47）：475201.
［10］ MA W X.A refined invariant subspace method and applications to evolution equations［J］.Science China Mathematics，2012，55：1769-1778.
［11］ QU G Z，ZHANG S L，LI H X，et al.Conditional Lie-Bäcklund symmetry and new variable separation solutions of the third order KdV-type equations［J］.Communications in Theoretical Physics，2018，70（4）：399-404.
Invariant subspaces of a class of second-order cubic differential operators with variable coefficients