技术资讯
Technical Information

技术资讯

近红外光谱分析技术30年——回顾、述评与展望

浏览次数:
与其他分子振动光谱(例如中红外和拉曼光谱)相比,近红外光谱的吸收较弱,且谱带宽而重叠严重,很难依靠传统的定量和定性光谱方法进行分析。国际上,尽管上世纪50~60年代在工业化学品和药品等分析方面有近红外光谱的应用研究报道,但较为零散,未引起人们的广泛重视[1]。直到1968年,美国农业部的工程师Norris博士将多元线性回归方法用于近红外光谱定量分析,并采用漫反射技术测定农产品,才建立了现代近红外光谱分析技术的基础,并迅速在农产品的快速品质分析中得到了广泛应用。上世纪80年代,随着计算机数据处理能力的提高,一些基于因子分析的化学计量学方法(如主成分回归和偏最小二乘等)逐渐被采用,显著提高了近红外光谱预测结果的准确性和可靠性[2]。上世纪90年代以来,随着光纤等技术的采用,近红外光谱在工业领域的应用优势得到认可,随后被应用到石化、食品、制药、烟草和化工等领域的现场快速分析、工业在线分析和实验室高通量分析中,为企业带来了可观的经济和社会效益。
 
我国的近红外光谱研究起始于上世纪80年代初,主要集中在农业领域,通过引进国外仪器,开展相关的理论研究和应用探索[3]。上世纪90年代中期,越来越多的高校、科研机构和仪器公司开始重视近红外光谱技术,研究和应用的广度和深度不断拓展。2000年之后,在我国,近红外光谱分析技术以产业链的方式逐渐应用于农业、石化、食品、制药、烟草和化工等领域,在工农业生产中发挥着越来越重要的作用[4]。
 
2006年10月28日,“全国第一届近红外光谱学术会议”在北京召开,这是我国近红外光谱发展历程中的一个里程碑,该会议至今已举办了十届,对促进我国近红外光谱技术的研发和应用起到了积极的推动作用。2009年6月6日我国成立了中国仪器仪表学会近红外光谱专业委员会(2011年9月改为近红外光谱分会),该学术团体成立后,组织了大量的学术活动。据统计,分会成立以来已主办或协办各类学术会议、论坛、培训等活动近百场,参与专家和代表超过2万人次。其中,2012年11月27日~29日组织召开的主题为“我国近红外光谱分析关键技术问题、应用与发展战略”的第446次香山科学会议,凝炼出了我国近红外光谱分析技术优先发展的科学问题和工程技术问题。2021年我国还成功举办了国际第20届近红外光谱学术会议,出版了会议论文集《Sense the Real Change:Proceedings of the 20th International Conference on Near Infrared Spectroscopy》。同年,组织业内近百位专家,撰写出版了我国首部近红外光谱科普书《点亮我们生活的近红外光谱》,填补了该领域科普读物的空白。这些学术活动不仅促进了国内外学术交流,也为我国近红外光谱技术的创新发展提供了重要平台。
 
经过30年的发展,我国近红外光谱分析技术取得了长足进步,在仪器设备国产化、化学计量学算法及软件、应用领域拓展、标准制定和人才培养等方面都取得了显著成果。例如,我国已经出版了上百本近红外光谱专著,涉及方法学、仪器、药物、农产品和食品等多个领域。同时,我国已经制定颁布了百余项近红外光谱分析标准方法,包括国家标准、行业标准、地方标准和团体标准。笔者曾在2006年[5]、2014年[6]、2019年[7]、2024[8]年分别综述了1996~2005年、2009~2013年、2014~2018年、2019~2023年我国近红外光谱分析技术的研究和应用进展,本文则系统性地对中国近红外光谱分析技术30年的发展进行全面回顾,对研究和应用现状深入述评,并对其未来发展趋势进行展望。
 
1光谱学基础研究
因化学键振动具有非谐性,近红外光谱蕴含着大量化学键振动信息。然而,这些谱峰普遍存在吸收较弱且相互重叠的情况。虽然借助传统的导数光谱或二维相关光谱,能够对谱峰归属做出初步解析,但要全面、深入地辨识谱峰归属并明晰其强度,进而加以充分利用,仍颇具难度[9]。由于水分子拥有很强的氢键结合能力,系统或环境的微小变动,经由水分子网络的重新排列,可在近红外光谱上得以呈现,这使得水分子成为揭示分子结构信息的“窗口”[10]。我国研究者在水光谱组学基础之上,提出“水探针”的概念。通过探针光谱信号,对光谱精细结构进行解析,同时也为研究体系中水分子结构与系统功能之间的关系搭建了桥梁[11][12]。
 
邵学广教授团队利用温控近红外光谱技术结合化学计量学算法,通过提取随温度变化的水光谱信息对混合物体系、生物分子体系和实际复杂体系进行定量分析、结构分析和相互作用分析。例如,他们将水探针与谱带拟合技术相结合,使用小波变换观察光谱细节,揭示氢键相互作用的光谱特征[13][14]。并在此基础上,进一步提出利用高阶导数频谱定义虚拟窗口,通过广义窗口因子分析,以水-乙醇为研究对象揭示水溶液中的相互作用[15]。基于此类创新性的方法,他们还根据光谱随温度的变化发展了温控近红外光谱技术,确定了7个具有不同数量氢键的水分子结构相关峰[16]。
 
对于中药复杂体系,臧恒昌教授团队[17][18]利用水探针将中药材加工、生产过程中的物质基础变化与水分子结构的变化进行关联,解决中药复杂体系中分析成分含量低、变化多以及信号漂移的难题,实现中药生产过程质量的可视化。例如,在中药炮制中,研究者通过水探针初步证实山楂不同炮制过程具有不同的水特征吸收模式。生山楂具有活跃的氢键网络结构,这可能是其促进血液循环的原因;而山楂炭具有稳定的氢键网络结构,可能是山楂炭发挥止血作用的原因[19]。此外,瞿海斌教授团队[20]利用水光谱技术,实现了丹酚酸B向丹酚酸转化的快速监测。
 
吴波等[21]将近红外光谱用于离子液体分子间相互作用和聚集过程的探索研究,对离子液体[Bmim]BF4、[Amim]Cl和水之间相互作用的研究结果表明,近红外光谱能灵敏地探测离子液体与水之间的相互作用,水分子更倾向于与BF4-相互作用,但Cl-与芳香族C—H基团的相互作用比BF4-更特异,这种偏好表明微量的水可以破坏离子液体的超分子结构。在另一项离子液体和水/乙醇混合物分子间相互作用的研究[22]中发现,乙醇的加入导致与水形成氢键,并削弱了水和[Bmim]BF4之间的相互作用,水分子更倾向于与咪唑环上的质子H2形成氢键,而不是与H4和H5形成氢键,这些信息对于研究离子液体在分子溶剂中的聚集行为和结构组织具有指导意义。
 
2化学计量学方法研究
我国化学计量学学科的主要创始人是俞汝勤院士,1991年他就在国内出版了第一本介绍化学计量学方法的专著,同时建立了一支化学计量学研究团队,并取得了一批具有国际先进水平的成果,对我国现代光谱分析技术的发展和应用起到了很重要的作用。
 
在光谱预处理方面,邵学广教授团队对小波变换在分析化学信号滤噪、背景扣除、数据降维、分辨率提升(包括光谱的一阶、二阶或更高阶的近似导数)等方面的应用进行了系统研究。与整数阶导数相比,分数阶导数(Fractional order derivative)能够更准确地揭示光谱细节信息的变化,还可平衡光谱分辨率和信号强度之间的矛盾[23][24]。分数阶导数有多种经典算法,杜一平教授团队[25]基于Savitzky-Golay滤波器提出了用于光谱求导的分数阶Savitzky-Golay导数法(FOSGD)。
 
在波长变量筛选方面,梁逸曾教授团队[26]基于模型集群分析提出的竞争性自适应重加权算法(CARS)受到国内外最为广泛的关注,该方法引入指数衰减函数控制变量的保留率,具有很高的计算效率,能够在一定程度上克服变量选择中的组合爆炸问题,并筛选出优化的变量子集。在此基础上,云永欢等[27][28]还提出了迭代保留信息变量算法(IRIV)、迭代变量子集优化(IVSO)和变量组合集群分析(VCPA)等变量筛选算法。在多种变量选择算法融合方面,我国也做了很多研究工作,例如陈晓辉等[29]将区间偏最小二乘(i PLS)算法与竞争自适应加权重采样(CARS)算法进行融合,提出了区间竞争自适应加权波长选择方法(i CARS)。刘彤[30]将投影变量重要系数(VIP)加入蚁群算法(ACO)中的信息素更新操作,并根据PLS回归系数判别波长贡献率,提出了PLS-VIP-ACO波长筛选方法。
 
集成(或共识)的建模策略(Ensemble or consensus strategy)可提高模型的预测稳定性,其基本思想是采用随机或组合的方式利用同一训练集中的不同子集建立多个模型(成员模型),将多个预测结果通过简单平均或加权平均作为最终的预测结果,以降低预测结果对某一(或某些)样本的依赖性。邵学广教授团队[31][32]在我国较早开展这方面的研究工作,除了基于校正集样本选取的集成建模策略外,还有基于波长范围选取、数据预处理、校正算法以及与浓度分类相结合的集成建模方式[33]。
 
传统的偏最小二乘等多元校正方法,需要逐个参数建立定量模型,建模和维护工作量大,限制了其在一些场景的广泛应用。褚小立等[34]将库光谱拟合方法用于近红外光谱原油的快速分析,结合原油历史评价数据库,可同时预测上百个原油的性质数据。将谱图检索算法直接进行定量分析的免建模方法,可显著减轻模型维护的工作量。李敬岩等[35]将移动窗口相似系数与蒙特卡洛虚拟光谱相结合,提出了快速测定油品烃组成和物理参数的近红外光谱方法。毕一鸣等[36]也提出类似的思路,将谱图检索算法用于烟草品质的评价、相似烟叶筛选以及卷烟配方维护。
 
近些年,深度学习方法尤其是卷积神经网络被越来越多地用于近红外光谱的定量和定性分析[37][38]。我国杨辉华教授团队较早开展深度学习在近红外光谱中的应用研究工作,例如,李灵巧等[39]采用一维深度卷积网络建立了多药厂、多品种的药品近红外光谱识别模型,其准确性优于传统机器学习方法。李文霞等[40]将二维深度卷积网络用于12类纤维织物的在线识别,结果表明与小数据集相比,利用卷积神经网络处理大数据集样本更具优势。针对小样本量的训练问题,孙禧亭等[41]通过迁移学习将Goog Le Net的图像识别模型用于织物的近红外光谱分类,在很大程度上解决了形态复杂且组成高度相似样本的分类难题。近红外高光谱成像含有丰富的空间和光谱信息,范萍萍研究员团队[42][43]基于Conv LSTM网络提取高光谱成像中的多尺度空间特征,利用长短期记忆神经网络(LSTM)提取多尺度光谱特征,并将空间信息(图像)和光谱信息(波段)融合建立了预测土壤碳含量的深度学习模型,提高了土壤碳含量的预测准确性和稳定性。将深度学习用于食品和农作物等近红外高光谱成像中空间特征和光谱特征的融合,我国还有不少研究[44][45]。
 
在模型传递算法方面,梁逸曾教授团队[46]、陈增萍教授团队[47]和邵学广教授团队[48]基于典型相关分析、光谱空间转换、交替三线性分解和多级同时成分分析等提出的新型有标样的模型传递方法得到了国内外广泛的关注和应用研究。近些年,我国学者提出了一些性能良好的无监督的模型传递方法,这些方法只需要在从机上获得一组样品的光谱,这组样品不需在主机上测量光谱,也不需要获得其待测参数的实测值,例如陈孝敬教授团队[49]提出的域自适应偏最小二乘法回归方法,以及张进等[50][51]提出的无监督无参数校正增强算法。此外,我国学者还将深度学习中的自编码器和迁移学习用于近红外光谱的模型传递[52],例如,宾俊等[53]利用深度模型转移策略,将一台仪器上构建的烟粉深度学习模型迁移到新仪器上用于烟丝总糖含量的检测。
 
在光谱融合方面,我国也做了大量的应用研究工作。对于分子光谱之间的融合,瞿海斌教授团队[54]将近红外光谱与拉曼光谱融合,将基于中层融合策略建立的模型用于实时监测中药柱层析过程,对提高药物的批间一致性起到了重要作用。对于分子光谱与原子光谱的融合,茌方等[55]和宋健超等[56]分别将近红外光谱与激光诱导击穿光谱(LIBS)和XRF融合,用于发电厂炉煤发热量的快速分析,提高了预测准确性和重复性。对于近红外光谱与其他信息的融合,张柏等[57]将近红外光谱与计算机视觉融合,对红茶发酵程度进行精准、量化判别,提高了茶叶加工的智能化和标准化水平。未来,光谱融合方法在土壤现场分析[58]、煤品质在线分析[59]和废塑料分选(如图1所示)[60]等领域将有很大的应用空间。
 
图1 融合多光谱技术的塑料在线分拣系统示意图[60]
Fig.1 Schematic diagram of an online sorting system for plastics with multispectral technology fusion[60]
随着人工智能技术的迅猛发展,语言大模型作为一种新兴的强大工具,开始在众多领域展现出巨大潜力[61]。中山大学余向阳教授团队[62]利用大语言模型的“上下文学习”能力,采用Open AI提供的GPT-3.5系列LLM(文本davinci-003模型,1 750亿参数)作为分析引擎,直接从紫外-近红外光谱数据中挖掘废水中化学需氧量(COD)信息,其预测准确度达到与传统化学计量学模型相当的水平,在复杂样本上甚至略有优势,展示了语言大模型在无需训练情况下处理数值预测任务的可行性。此外,多模态大模型能够整合多种不同类型的数据,如文本、图像、音频、光谱数据等,通过强大的算法架构进行深度理解与分析,从而有望为近红外光谱分析带来全新的视角和解决方案[63]。
 
在商品化化学计量学软件开发方面,我国处于国际先进水平。石油化工科学研究院[64]、中国农业大学[65]、清华大学[66],以及一些仪器、软件公司等都研发出了适用于近红外光谱分析的化学计量学软件。这些软件在主要功能上与国际流行软件没有显著性差异,而且在界面语言、风格以及操作习惯上更适合我国的实际情况,并已经在实际科研生产中得到了一定应用。
 
3光谱仪器的研制
从上世纪80年代中期起,我国科研院所和仪器公司在近红外光谱仪的研发方面做了大量的工作,曾研制出滤光片型[67]、傅里叶变换型[68]、光栅扫描型[69]和阵列检测型[70]仪器,并在农业和石化等领域得到了不同程度的应用。2015年以来,国产化仪器得到了快速发展,已有近20家国产仪器厂商研制出商品化的近红外光谱仪器,包括实验室通用性、现场便携式和工业在线仪器,主要的仪器性能指标基本达到国际水平,有些专用型的仪器例如大豆、油菜籽品质分析仪和水果等级筛选设备等都已达世界领先水平,在价格和服务上更具竞争力,并开拓出了国际市场。
 
传统的光谱仪依赖于精密的光学元件(如光栅或干涉仪)和复杂的光学系统,虽然能够提供高分辨率、高精度的光谱数据,但其体积庞大、成本高昂、维护复杂,难以满足便携化、集成化和实时动态检测的需求。近年来,随着微纳加工技术、新型光电材料和计算方法的快速发展,光谱仪的微型化研究取得了显著进展,涌现出多种技术路线,逐步实现了从实验室笨重设备到芯片级集成器件的跨越[71][72]。基于计算重构的微型光谱仪是近年来最具颠覆性的技术路线,计算重构光谱仪将光谱信息转化为可计算的光学信号(如空间散斑或时序响应),再通过压缩感知、深度学习等先进算法重建光谱,从而摆脱了对大型色散元件的依赖[73][74]。根据编码方式不同,计算重构光谱仪主要分为空间调制型和时间调制型两大类,前者通过多模光纤、超表面等结构将光谱映射为空间光强分布,后者则利用可调谐滤波器或探测器实现时序动态采样[75][76]。
 
我国在计算重构光谱仪领域的发展非常迅速,在多种类型的计算重构光谱仪研究上取得重要突破,很多研究成果达到国际领先水平,并且积极探索产业化。在滤光片阵列编码方面,2015年,清华大学的鲍捷等[77]提出了量子点光谱仪的概念,他们将195种量子点集中在一张薄膜上,并将该薄膜与微型探测器阵列复合在一起,构成微型量子点光谱仪。北京理工大学钟海政教授团队[78]选取Pb S和Pb Se两种材料的量子点,通过控制交替合成、配体交换和阳离子交换等关键操作实现了这两种量子点的光谱调谐,借助基于压缩感知的全变分算法,该光谱仪在900~1 700 nm宽光谱范围内的平均光谱分辨率达6 nm。中国科学院上海技术物理研究所王少伟研究员团队[79]利用激光直写紫外灰度光刻工艺,在In Ga As探测器上直接集成了像素级全介质F-P滤光片,仅需20个像元通道,就可以实现0.9~1.7µm宽波段范围内5 nm的光谱分辨率。
 
在检测器阵列编码方面,浙江大学杨宗银教授团队[80]提出了一种基于单根成分设计纳米线的超紧凑微型光谱仪,该纳米线光谱仪优势明显,尺寸极为微小,长度几十微米,为其在可穿戴设备、芯片实验室等对空间要求严苛的场景中的应用奠定了基础。在可调谐检测器编码方面,中国科学院上海技术物理研究所胡伟达研究员团队[81]通过构建Ge/Mo S₂/b P二维/三维范德瓦尔斯p/n/p异质结,开发了一种可调谐多波段(可见光/短波红外/中波红外)光电探测器,光谱覆盖范围达500~4 000 nm,器件尺寸仅20µm×20µm。
 
在专用仪器方面,中国农业大学李民赞教授研究团队[82]基于离散近红外加滤光开发了一款新型车载式土壤全氮检测仪,能够以较低的成本提供高密度、快速、原位的大范围农田土壤全覆盖测量,实现对大田土壤全氮、含水率的快速原位高精度检测。江苏大学邹小波教授研究团队[83]基于宽谱LED环形光源组,研发出了低成本、低功耗、小型化的苹果品质手持式无损检测分析仪,该分析仪通过接入物联网云端数据系统,实现检测数据上传和模型的远程更新维护。中国农业大学彭彦昆教授研究团队[84]基于微型可见/近红外光谱采集单元,研制出成本低、便携、易操作的掌上式生鲜猪肉新鲜度多参数检测装置,可实现不同部位猪肉新鲜度多指标现场快速检测和新鲜度分级。
 
4应用
近红外光谱分析技术具有诸多优势,如快速、无损、无需样品预处理、可同时测定多个指标等,能够满足现代工农业生产对快速、准确分析的需求,为企业提高生产效率、降低成本、保证产品质量提供了有力支持,在众多领域得到了广泛应用。近二十年来,近红外光谱技术在我国农业、食品、饲料、制药、石油和化工等众多领域得到了广泛应用,并取得了良好的经济效益和社会效益。
 
4.1农业
国际上近红外光谱在农业领域的应用最为广泛也最为深入,我国也是如此,近红外光谱已在育种、种植(土壤)、生长、收割、收购、储藏、流通和加工等全产业链得到了应用,农业从业者根据近红外光谱提供的种子活性、土壤化学成分和作物生长状态,有针对性地调整施肥、施水、施药计划,优化农田管理,不仅提高了生产效率,也有助于实现农业的可持续发展[85]。在种子检测方面,近红外光谱已用于与种子品质高度相关的化学成分含量分析、种子活力测定、种子纯度及品种鉴定等,还被用于单子粒的遗传育种早期筛选工作[86]。在土壤快速分析方面,近红外光谱已用于现场测定土壤中水分、有机质、总碳、有机碳、总氮等含量,并实现了对土壤质地的快速分类[87][88]。近些年,无人机、车载、手持的便携式近端光谱分析仪器结合卫星光谱遥感的发展,为土壤养分数字制图提供了重要的数据获取手段。
 
在谷物品质分析方面,我国已研制出多款成熟的便携式近红外光谱分析仪,建立了测量小麦、玉米、稻米、大豆、高粱等水分、蛋白质和淀粉含量的光谱数据库和分析模型,并较为广泛地应用于收割、收购、储藏和流通等领域[89][90]。在谷物的加工过程中,近红外光谱用于实时反映生产线产品指标的变化,为生产参数的调整及时提供信息。例如,在我国一些粮油生产企业,在线近红外光谱已安装在豆粕生产线、玉米淀粉生产线,用于实时测量水分、蛋白质、淀粉和脂肪等含量,不仅保证了产品质量的稳定,还降低了不合格产品的数量,在提升产品的竞争力方面发挥了积极作用[91][92]。
 
在农业废弃物资源化利用方面,我国也做了很多的研究和应用工作。例如,采用近红外光谱实现了对农作物秸秆、畜禽粪便、蔬菜废弃物和锯末等原料的堆肥过程监测,测量参数包括C/N、腐殖质和温室气体排放量等[93]。针对秸秆炭化生产过程,已研制出在线近红外光谱仪,用于分析粗切秸秆原料固定碳、挥发分、灰分的含量,为生产线热解工艺参数的动态调控提供数据支撑[94]。对于粪便、秸秆和厨余垃圾等的厌氧消化再利用工艺,近红外光谱被用来监测厌氧消化过程中的多种重要参数,包括挥发性脂肪酸和可溶性糖等[95]。
 
综上所述,近红外光谱在农业全产业链中的广泛应用,为实现农业可持续发展提供了有力支撑。具体而言,其促进农业可持续发展的关键因素主要包括:(1)提供对种子活力、土壤养分和作物生长状态的快速评估,实现精准化农事操作,提高资源利用效率;(2)支撑农产品品质分析与全过程质量控制,保障食品安全与产品稳定性;(3)助力农业废弃物资源化利用,推动农业绿色循环发展;(4)结合遥感与便携设备提升数据获取的时效性与空间覆盖率,促进农业数字化转型。这些因素共同作用,推动农业向高效、绿色、智能的方向发展,展现出近红外光谱在实现农业可持续发展目标中的重要技术价值与应用潜力。
 
4.2食品
在我国奶及乳制品行业,近红外光谱已被用于原料奶的按质论价收购过程、奶制品的生产过程、以及成品品质检测等方面。例如,在AD钙奶生产线上,在线近红外光谱实现了蛋白质、酸度和糖度的实时测量,对提升产品质量、节能降耗、提高生产率具有非常重要的作用[96]。在奶粉的生产过程,在线近红外光谱被安装在关键控制点,如液态奶过膜过滤处理后、奶粉喷雾干燥后等,可实时将蛋白、脂肪、总固等指标反馈给控制系统,及时调整工艺参数,极大地提高了生产效率[97]。
 
在我国白酒生产企业,近红外光谱已被用于酿酒原粮品质、酿酒过程中大曲和酒醅理化指标、白酒风味物质以及基酒等级等方面的快速或在线分析[98]。例如,酒醅是白酒生产工艺中重要的中间产物,国内很多知名的白酒企业都采用近红外光谱快速检测出池酒醅水分、酸度、淀粉、糖分以及入窖酒醅的水分、酸度、淀粉等理化指标,为异常发酵酒醅的快速筛查和品质实时监测提供了重要手段[99]。除了白酒外,近红外光谱还被用于啤酒[100]、葡萄酒[101]和黄酒等的生产和鉴别。例如,对于黄酒除了快速分析其酒精度、总糖、总酸、氨基酸态氮、p H值等关键理化指标外,还能对黄酒年份、产地、类型和品牌等属性进行鉴别[102]。
 
在茶叶领域,近红外光谱研究和应用最早的是快速检测茶叶化学成分含量,例如茶鲜叶品质成分(粗纤维和全氮量等)和成品茶活性组分(多酚类、儿茶素类、氨基酸和咖啡碱等)等[103],我国研制出了茶鲜叶品质近红外光谱分析仪,用于茶鲜叶原料市场交易中的公平定价[104]。在茶叶加工过程中,近红外光谱已被用来监控红茶发酵过程的主要品质指标(茶黄素、茶红素、茶褐素、儿茶素和酚氨比)和进行感官品质评分,实现了对发酵品质状态的动态监测[105]。除发酵工艺外,还可对红茶干燥阶段的含水量进行实时分析,进而实现定向精准控制。对于成品茶,近红外光谱可被用于茶叶品种、等级和地理溯源的分类鉴别[106][107]。
 
在果品在线筛选领域,我国多个研究单位和企业基于近红外光谱技术研制出多款商品化的自动筛选系统,走在了世界的前列(如图2所示)。针对西瓜、菠萝、甜瓜、蜜柚、苹果、桃、梨、猕猴桃、蜜桔、番茄等大中小型水果,已实现了水果糖酸度和内部缺陷的快速无损检测,小型果糖度检测精度≤±0.5°Brix,大型果糖度检测精度为±0.6°~±0.8°Brix[108][109]。针对丘陵果园分散、规模小、交通运输不便等问题,我国还研制出了车载式水果品质分选设备[110]。在果品行业,近红外光谱技术逐渐从采后分级向产中管理延伸,即优质水果选育、栽培干预、采收期预测等。例如便携式近红外仪器已被用于西瓜、脐橙、葡萄和梨可溶性固形物含量的在体监测,以判断最佳的采收期[111]。
 
图2 我国自主研制的果品品质自动筛选系统
Fig.2 Automatic fruit quality screening system developed in China
在肉类的近红外光谱无损快速分析方面,我国对常见肉类(牛肉、羊肉、猪肉、鸡肉、水产品等)的品质、分类、真伪、质量安全等进行了大量的研究和应用工作[112][113]。对于肉类品质检测,我国已颁布GB/T 40467-2021《畜禽肉品质检测近红外法通则》、GB/T 41366-2022《畜禽肉品质检测水分、蛋白质、脂肪含量的测定近红外法》、NY/T 3512-2019《肉中蛋白无损检测法近红外法》和NY/T 2797-2015《肉中脂肪无损检测方法近红外法》等国家和行业标准,规范了光谱仪器配备、样品处理、模型建立和验证等程序和要求。对于肉类种类、产地溯源、新鲜与冻藏、真伪掺假等定性鉴别分析,以及致病菌、变质或病死肉等食品安全的初筛分析,我国相关学者已对近红外光谱尤其是高光谱成像技术的可行性进行了广泛研究,为其实际应用打下了良好的基础[113][114][115]。
 
在调味品方面,近红外光谱已被用于快速分析调味品中的化学成分含量、实时监测酿造类调味品的发酵状态以及鉴别掺假调味品等[116]。对于食醋,近红外光谱不仅可对可溶性固形物、糖度、有机酸等成分进行检测,还用于在线监测香醋固态发酵过程,以优化发酵工艺参数,提高成品醋的产量和品质[117]。在流通领域,近红外光谱有望能作为一种快速判别食用醋产地、品牌和醋龄的筛选方法[118]。对于酱油、豆瓣酱等咸味调味品,近红外光谱也进行了同样的研究和应用[119][120]。对于花椒、辣椒和芥末等辛味调味品,我国已对近红外光谱用于化学组分含量、质量分级、产地溯源、新陈度和掺伪鉴别等分析进行了可行性研究[121]。
 
在食用油方面,我国已将近红外光谱用于花生油、大豆油、玉米油、葵花籽油、菜籽油和橄榄油等食用油多项理化指标(游离脂肪酸含量,硬脂酸、油酸、亚油酸、亚麻酸等脂肪酸构成,碘值,酸值和过氧化值等)的快速检测,以及食用油原料(如花生、玉米、大豆、棉籽、油菜籽等)含油量和脂肪酸的无损分析[122]。近年来,近红外光谱在油料和食用油中营养成分的快速检测方面也取得了显著进展,例如生育酚、叶绿素、多酚、硫代葡萄糖苷等特定营养成分的含量[123]。在油脂生产过程中,在线近红外光谱已用于油脂副产物品质分析和油脂纯化过程监测,例如,在大豆油精炼环节中,近红外光谱实时监测干燥油、脱色油和成品油的色泽与酸价,能够指导改进工艺,比如脱酸过程中的加碱量、漂白过程中监控色度控制漂白剂的量等[124]。在食用油产地溯源[125]和掺假真伪鉴别[126][127]方面,近红外光谱已展现出特有的应用潜力与优势,有望在市场监管等领域得到实际应用。
 
4.3饲料
目前,我国饲料行业已将近红外光谱分析技术广泛应用于原料验收和成品出厂检测,饲料大宗原料的定量预测指标包括水分、粗蛋白、粗脂肪、中性洗涤纤维、酸性洗涤纤维和粗纤维含量等,在饲料成品的近红外光谱分析方面主要用于常规营养组分的分析,如水分、粗蛋白质、粗脂肪、粗纤维等[128]。在饲料加工生产线上,在线近红外光谱技术可从饲料原料、加工过程及成品饲料3个层面保证饲料原料的高效利用、配方的精准配制及配合饲料产品品质与质量稳定性[129][130]。
 
近红外光谱还可用于饲料原料掺假的快速分析,检测饲料中违禁成分和掺假成分等,以保障饲料符合安全规范。杨增玲教授团队系统研究了近红外漫反射光谱和显微近红外光谱成像技术用于饲料原料掺假的可行性,例如反刍动物饲料中肉骨粉的快速定量分析和定性判别[131][132]以及检测鱼粉中豆粕的掺杂存在和含量等[133]。
 
近些年,为指导和规范近红外光谱技术在我国饲料行业的标准化应用,李德发院士团队[134]基于饲料原料营养价值评价数据库,结合大数据深度挖掘和核心算法,构建了一整套软、硬件结合的精准动物营养解决方案,以解决饲料行业饲料原料营养价值实时获取难的问题。
 
此外,近红外光谱技术可直接分析青贮饲料湿样品质,例如通过便携式近红外光谱仪,能够现场检测玉米青贮中干物质、粗蛋白、粗脂肪、粗纤维、水分、淀粉、中性洗涤纤维、酸性洗涤纤维等的含量[135][136],在玉米青贮发酵指标、消化率指标和安全指标方面也取得了较大的进展[137]。
 
4.4制药
2004年美国食品药品监督管理局(FDA)发布了过程分析技术(PAT)的制药工业指导原则,2015年FDA又发布了工业界开发和申报近红外分析方法指导原则草案,以鼓励制药企业在生产过程中采用该技术提高生产效率,并提升产品批次间的一致性[138]。英国药典2000版、欧洲药典第四版(2002)在附录中专题列入近红外光谱,我国药典2005版也收录了该方法[139]。近十年来,在连续制造技术的带动下,国内一些制药企业已开始将近红外光谱用于化学药品合成、混合、干燥、压片、结晶和包衣等生产过程[140]。
 
在生物制药过程,在线近红外光谱已被用于以发酵或细胞培养为代表的生物制药上游环节。发酵液通常气、固、液三相共存,采用非接触漫反射方式,可实时反映发酵过程中中间体和产物的浓度变化,适时调整温度、p H值、添加营养物质等发酵条件,保证发酵过程的稳定性和一致性,并进一步提高产物的生成效率[141]。
 
在中药领域,我国相关单位正在建立中药材的近红外光谱数据库,可用来对中药材的质量、种类、真伪和产地进行快速分析。在中药生产过程,近红外光谱已被用于提取、纯化、干燥、混合、浓缩等过程,其中有不少创新性的研究应用工作。例如,采用近红外光谱技术对中药生产柱层析过程的洗脱起点和终点进行实时判断,有助于及时、准确地识别过程终点,降低生产成本,提高原料利用率,保证产品质量的均一稳定[142][143]。再例如,基于近红外光谱的“过程轨迹”方法,已在中药生产过程的实时监控中得到应用,不仅能够识别和诊断异常批次,还用于工艺过程的一致性评价,在中药产品质量的稳定和提升方面发挥着积极的作用[144]。
 
在药品流通领域,2006年我国就研制出了药品检测车和国家药品快检数据库网络平台,在全国药品检验系统得到普及和推广,并应用于药品打假现场和靶向抽验现场[145]。开发的固体制剂的快速、无损质量筛查方法,可隔包装采集光谱,提高了现场筛查效率,为维护药品市场秩序起到威慑作用,打击了制假售假行为,为我国药品安全做出了贡献。
 
4.5石油和化工
在石油领域,我国已建立了拥有自主知识产权的原油近红外光谱数据库,开发出了原油快评技术(如图3所示),可在10 min之内快速准确得到单种类原油和混兑原油的密度、残炭、酸值、硫、氮、蜡含量、胶质、沥青质、实沸点蒸馏等基本性质,以及完整的详细评价数据[146]。工业应用表明,原油快评技术与原油调合、原油蒸馏等工艺相结合,在保证常减压进料性质平稳、改善常减压装置操作的同时,还可降低原油成本,实现原油调合及生产自动化和信息共享,提高炼油企业智能化水平。在我国炼油企业中,近红外光谱已被用于从原油蒸馏[147]、二次加工装置(蒸汽裂解、催化裂化、含硫化合物吸附脱硫工艺(S zorb)、催化重整和润滑油加氢异构等)[148][149]到成品油(汽、柴油)调合和成品油管道输送[150]等整个环节,以实时控制和优化系统提供原料、中间产物和最终产品的物化性质,保证装置的平稳操作和优化生产。
 
在我国很多的高聚物、农药、日用化工品、半导体、氯碱等化工企业,近红外光谱已用于酯化、水解、环氧、加氢和分离等生产单元的反应监测和终点判断[151][152]。例如,多元醇和聚酯中的酸值和羟值测定,聚氨酯中的胺值、异氰酸酯基团(NCO)、水分测定,聚苯乙烯中的橡胶和乙苯含量测定等。近红外光谱还用于聚合物物理指标的检测,包括密度、分子量、熔融指数、规整度和黏度等[153]。在半导体湿电子化学品行业,近红外光谱已广泛用于清洗液、蚀刻液、光刻胶显影液、光刻胶剥离液等混合溶液中成分含量的快速测量,不仅延长了半导体用化学液的使用寿命,还提高了生产能力和产品质量[154]。
 
图3 近红外光谱原油快速评价技术构成图
Fig.3 Component diagram of NIR spectroscopy crude oil rapid evaluation technology
在日用化工品的表面活性剂生产企业,近红外光谱被用来快速测量表面活性剂的羟值、碘值、不饱和度、胺值、皂化值、水分等关键质量参数,对产品生产进行质量控制。我国还制定了非离子表面活性剂羟值测定标准GB/T 7383-2020、表面活性剂碘值测定标准GB/T 13892-2020、表面活性剂皂化值测定标准HG/T 3505-2020等国标和行标,为生产企业质量控制提供了法规依据。此外,在天然植物有效组分提取工业中,近红外光谱已被用于原料收购现场的质量控制、生产过程的在线监测和产品质量的快速分析[155]。
 
4.6烟草
在烟草领域,近红外光谱分析技术在我国的应用广度和深度都达到了国际领先且富有创新的水平,在烟草种植、生产加工、质量检测等多个环节均发挥着日益重要的作用。
 
在烟叶收购过程中,手持式近红外光谱仪能够现场快速检测初烤烤烟烟碱、总氮、总糖、还原糖、氯和钾等主要化学成分的含量,辅助烟叶原料规律性分类堆码,为打叶复烤阶段中片烟模块均质化加工的混配投料提供高性价比数据支撑[156]。
 
在打叶复烤加工过程中,采用在线近红外光谱结合统计过程控制技术,实现了对复烤片烟过程质量稳定性和均匀性的实时监测,并可辅助打叶复烤工艺参数的调控[157]。在后续的醇化过程中,近红外光谱被用于快速检测片烟的一些主要化学成分指标,如烟碱、总氮、总糖、还原糖、多酚、p H值、醚提物总量、总挥发碱和蛋白质等,对片烟的醇化质量进行跟踪分析,支持醇化片烟在卷烟产品设计中的合理应用[158]。
 
在卷烟的生产过程中,采用在线近红外光谱实现了对卷烟配方模块烟丝加工过程质量稳定性和模块烟丝掺配均匀性的实时监测。通过近红外光谱定量和模式识别技术,对入库卷烟辅助材料,如香精香料、卷烟纸、再造烟叶和滤棒等的理化指标或整体质量一致性进行质检,保证卷烟辅助材料质量的稳定[159]。
 
此外,近红外光谱还被用于卷烟配方设计与维护,例如,采用片烟相似与片烟组合相似的方式,基于近红外光谱模拟计算出的替代配方,在化学成分和感官指标等方面与原配方的差异不显著[160]。
 
4.7其他
在纺织行业,近红外光谱已用于原料鉴别、上浆、丝光工艺到成品一致性控制等生产过程和商业领域。在原料鉴别方面,近红外光谱被用来无损快速鉴别棉和麻、羊毛和羊绒以及混纺织品纤维等[161]。在纺织品生产过程中的在线监测方面,近红外光谱已用于纺织品上浆浆液水分测定,以精确测量并控制浆液浓度,提高上浆效率;在纺织品丝光工艺过程中,近红外光谱可快速检测织物丝光度,确保染色效果等[162]。在混纺织品纤维成分含量方面,我国制定了SN/T 3896.1-2014《纺织品近红外光谱法定量分析第1部分:棉和聚酯纤维的混合物》等8项行业标准,第三方检测机构已将其用于棉/氨纶、聚酯/氨纶、棉/聚酯等混纺物组成含量的无损快速分析[163]。在废旧纺织品识别方面,我国已研制出废旧纺织品的在线高效识别与自动分选设备,并建立了覆盖面较广的废旧纺织品在线近红外光谱数据库[164][165]。
 
近红外光谱在军工和航天等特殊行业有较为广泛的应用。在含能材料领域,针对发射药、推进剂、混合炸药等各类含能材料的生产过程,采用近红外光谱实时监测硝化棉、奥克托金、硝基氧化剂、高能添加剂等主要组分含量,对于生产过程的安全控制、工艺优化和产品质量保障等具有重要意义[166][167][168]。在原子能工业领域,近红外光谱可快速测定核燃料后处理料液中的Pu(Ⅳ)和硝酸含量,以及锂同位素分离中萃取剂冠醚的浓度等[169]。
 
此外,在我国林产品领域,近红外光谱已用于木材种类鉴别、木材品质检测、木材加工过程中木材性质的在线检测、木质复合材料加工过程以及纸浆生产等的质量控制[170][171][172]。在地质行业,已用于地质勘查和找矿,以及矿物中各组分含量的测定等[173]。在无机材料领域,在线近红外光谱已用于水泥生料中氧化物(Ca O、Si O2、Al2O3和Fe2O3等)含量的实时分析,以稳定控制生料的配比[174]。
 
5结论与展望
自上世纪90年代中期至今,我国近红外光谱技术已走过了30年。在光谱仪硬件方面,国内涌现出了一批专业从事近红外光谱仪研发和生产的企业,我国自主研发的专用型仪器逐渐占据国内市场主导地位,并走向国际市场,在国际上的影响力也逐渐提升。我国的化学计量学研究一直处在国际的前沿,例如在光谱预处理、变量筛选、模型传递算法、多模型共识建模策略、深度学习等领域处在国际领先地位,这为近红外光谱技术在我国的推广普及和发展奠定了坚实的基础。
 
近些年,近红外光谱技术的应用在我国得到了快速和高质量发展,例如在工业领域,近红外光谱与过程控制技术密切结合的工程实施模式已得到接受,与生产工艺的融合也逐渐得到认可。部分传统产业中的工艺配方靠经验、生产过程不优化、产品质量有隐患等问题,因近红外光谱技术的深度参与正得到解决,工艺参数的智能、实时、闭环调控正在稳步提升企业的经营效益和现代化管理水平。
 
近红外光谱在贸易、购物和家庭等场景中的应用,也得到了越来越多的关注。例如,在智能家电方面,云计算、大数据和物联网等计算和通信技术,承担了数据的传送、分析、管理和储存等工作,显著简化了近红外光谱分析仪器的构造,使其更加微小和精准化。近红外光谱与洗衣机、冰箱、厨电等家电的组合,在衣物材质识别、食物成分检测、烹饪过程监测等场景初步具备了应用条件,大宗商品光谱数据库的建立也将进一步促进这些应用的开发和普及。
 
未来,我国应继续加大研发投入,加强技术创新和人才培养,不断拓展应用领域,推动近红外光谱分析技术高质量持续发展,为我国的经济社会发展做出更大贡献。在未来一段时期,建议我国近红外光谱关键技术研发围绕以下方面开展:
 
(1)在光谱仪硬件方面,一方面要研发以傅里叶变换类型为主的通用型高端产品,设计研制新型高性能的迈克尔干涉仪,开发真正意义上拥有自主知识产权的近红外光谱仪器,提高核心竞争力,打造具有国际影响力的品牌;另一方面要基于先进微纳和计算重构技术研发小型化、高性价比的专用型仪器,同时也要注重高效专用测量附件和在线光纤附件的开发。微型近红外光谱仪和光谱成像仪的性能指标尚待进一步提高,包括波长范围、分辨率、信噪比和仪器的稳定性、一致性等。此外,芯片式仪器的成本也相对较高,限制了该技术的广泛应用,尤其是用于消费电子品市场的需要二次开发的专用光谱传感器。
 
(2)在化学计量学方法和软件研发方面,要研究模型数据库维护更为方便的多元定量和定性校正方法,深度学习算法在解决复杂建模任务以及模型更新和传递等方面具有优势,但该类算法在光谱分析中的应用研究刚刚开始,诸如网络规模、超参数的优化选择、过拟合、模型的可解释性等问题仍值得进一步研究。此外,随着光谱数据库中有效样本数的指数式增加,在现有机器学习和深度学习算法的基础上,对定量和定性建模策略的研究和应用也将会变得越来越重要。同时,研究开发更简便、通用性更强的模型传递算法。在此基础上开发基于网络平台的建模工具,以其实现近红外光谱模型数据库的共享。
 
(3)在近红外光谱模型数据库开发方面,应集中行业科研院所、大型应用企业和仪器制造商等多方面的力量,根据各个应用行业的特点,以应用市场需求为导向,开发建立各领域的商业化、权威性的近红外光谱模型数据库,避免同一领域多种数据库低水平重复开发。目前在很多领域的应用研究不够深入,尤其是消费品的模型开发主要处于实验室理想条件下的探索阶段,很多研究零零散散,缺乏一致性和可比性,例如食用油掺假、肉制品掺假等识别模型。为满足商品市场和消费市场应用,建议由行业协会等组织机构统一协调,制订更全面、更深入的研究方案和工作计划,系统考察各种变化因素对识别和定量准确性的影响。在此基础上,建立商品化、标准通用化的光谱数据库,同时形成光谱数据库定期升级维护的工作机制,不断提高模型数据库的适用范围和利用效率。
 
(4)多光谱(多模态)数据融合是现代光谱分析技术的一个重要研究和发展方向,它将不同类型的光谱进行优化和整合,实现单光谱优势互补,以获得更全面、更可靠、更丰富的特征数据,再结合化学计量学方法构建回归或识别模型,对样品进行定量和定性分析。近几年来,多光谱融合分析技术在方法策略、算法和应用等方面都得到了广泛和深入的研究,取得了显著性进展。为使多光谱融合技术走向实际应用,应重视适用于现场快速分析和工业在线分析的、低成本的多光谱一体机的商业化开发。此外,还应重视与之配套的测量附件的研制,以实现多光谱分析仪器的自动化和智能化。此外,尽管已有多种光谱融合策略和算法,但目前主要依赖应用者的经验进行反复试错优化,如何选择和用好这些方法还需深入研究,需要从物理、化学和算法等多角度对光谱融合模型的可解释性进行深入研究,从而进一步提升融合算法和策略的通用性和建模步骤的规范性。在此基础上,开发与之配套的用户友好界面(例如交互式数据可视化)的商品化软件。
 
(5)我国近红外光谱分析技术的通用规范和应用标准体系已初步建立,但在仪器的计量校准、在线分析和新兴应用等领域仍存在空白。未来几年,应重点加强仪器计量校准标准的制订,建立涵盖分辨率、波长准确性、光度线性度、信噪比等关键参数的统一校准规范,确保不同厂商、不同型号仪器的数据可比性。其次,应加快在线近红外分析技术标准的制订进程,重点完善模型验证、传递及维护等关键环节的标准规范;同时,建议建立标准动态更新机制,及时将新型检测技术、智能算法等创新成果纳入标准体系。此外,应积极参与国际标准制定工作,通过贡献中国方案提升国际话语权,推动我国近红外光谱技术标准与国际接轨,为近红外光谱技术的规范化应用和高质量发展提供坚实支撑。
 
(6)人工智能(AI)尤其是大语言模型(LLM)有望成为近红外光谱技术平民实用化的重要推动力,因此要大力推动人工智能技术在近红外光谱领域的深度应用。开发面向基层用户的智能化分析平台,将大语言模型等先进AI技术与光谱分析深度融合,构建包含光谱理论、行业标准、典型案例的专业知识库,使平台具备技术咨询、方法推荐、故障诊断等能力。重点突破面向基层用户的低代码/无代码建模技术,集成自适应预处理、智能特征选择、自动算法优化等功能模块,开发“一键式”建模工具,同时具备模型漂移预警、模型自动校准和更新等功能,提升长期使用稳定性。从而扩大近红外光谱技术的普及面和实用深度,进一步推动该技术在更多场景中的落地应用。
 
在执行层面上,我们要加强跨学科的基础研究与合作,鼓励化学、数学、统计学、计算机科学等多学科的交叉研究,深入探索近红外光谱基础理论和化学计量学算法创新。例如,数学家和统计学家与光谱学家合作,共同开发更适合处理近红外光谱复杂数据的新算法和模型架构。另外,要促进高校、科研机构与企业之间的紧密合作。高校和科研机构专注于近红外光谱技术的前沿研究和创新,企业则提供实际应用场景和数据,共同推动近红外光谱技术的产业化应用,加速技术转化和产品创新。同时,注重专业人才队伍的培养,一方面在高校的化学、分析化学、化学工程等相关专业中,加强现代光谱分析技术和化学计量学课程的设置和教学改革。引入最新的研究成果和实际案例,培养学生掌握现代光谱分析技术的基本理论和实践技能,为行业输送专业人才;另一方面,积极针对在职的科研人员、技术人员和企业员工,开展近红外光谱分析技术的职业培训和继续教育。通过短期培训课程、学术研讨会、在线学习等形式,更新他们的知识体系,提高其应用近红外光谱分析技术解决实际问题的能力,这对近红外光谱技术的实际应用和产业化发展具有重要意义,有助于该技术在各个领域发挥更大的作用。