首页/文章/ 详情

RSight(无量)功能篇:数据处理与分析之 全链路架构

8小时前浏览16


引  言

|Introduction

在数字化转型的浪潮中,数据已成为企业最核心的战略资产。ROMTEK推出的仿智融合数据管理与分析平台——RSight(无量)集成了六大核心功能模块:数据建模数据管理数据处理与分析数据可视化多用户管理以及扩展与二次开发能力。

用数据处理与分析模块的全链路能力,解决多源数据格式混乱难整合、原始数据藏着缺失值与异常值、分析结论只能靠表格堆砌难直观呈现的痛点,让"原始数据"到"决策洞察"的过程高效又顺畅。

本篇我们将带您深入了解RSight(无量)数据处理与分析模块的全链路架构。


   

Part.

1








全流程闭环


RSight(无量)的数据处理全链路不是简单的功能叠加,而是一套可视化、可追溯的系统化方案。每个处理环节都通过"节点+连线"的方式串联起来,数据从一个节点流向下一个节点,形成清晰的处理路径,让整个分析过程"看得见、管得住、追得回"。

如下图所示,通过拖拽节点、连接数据流的方式,构建出完整的数据处理管道,每个节点代表一个处理步骤,节点之间的连线(data)表示数据流向。

这种"所见即所得"的方式,让复杂的数据处理逻辑变得直观易懂。

     

< 数据处理流程示例:选择数据集 → 数据滤波 → 存储数据集 >

Part.

2








全链路4层处理架构


基于这种可视化流程编排能力,RSight(无量)构建了覆盖"输入→清洗→处理→可视化→输出"的全链路架构,每一层都对应特定的处理节点。

       

< 数据处理与分析全链路架构 >


数据输入/输出层

作为数据处理的"第一站""最后一站",这一层的核心价值是"打破格式壁垒、支持灵活复用",解决"数据进不来、出不去"的核心痛点。

       

< 数据输入/输出 >

文件类输入:直接读取CSV格式文件。系统自动识别第一行作为列标题,非数值类型自动转为字符串类型确保数据顺利导入。

数据集接入:支持直接从平台内已保存的数据集中读取数据,无需重复导入。通过"选择数据集"节点,可以快速调用"数据管理"或"数据处理"模块中已创建的数据集,实现数据的高效复用。

存储到平台数据集:处理结果可直接保存到 RSight(无量)内置的数据集目录,自动关联数据来源、处理流程日志,后续做二次分析时不用重新处理,直接调用即可,形成数据处理的"价值复用"。


数据清洗层

再专业的分析,也怕"脏数据"拖后腿。

这一层从源头剔除数据里的"杂质",确保后续分析的准确性。

       

< 数据清洗 >

填充空值:支持"均值、中位数、众数"三种填充方式,还能手动指定特殊字段的逻辑。

清洗-IForest(智能异常检测):基于"孤立森林"(Isolation Forest)算法自动检测数据中的异常值,特别适合处理高维数据集。

数据修正:能批量处理"缺失值删除/充"、"数据类型转换"、"异常值阈值修正"。


数据处理层

从基础的数据整理到深度的建模分析,14个处理节点覆盖了专业数据从"粗加工"到"精加工"的全需求,每个节点都针对具体场景设计,支持可视化拖拽配置,不用写代码也能轻松上手。

       

< 数据处理 >

1 关系建模类

回归分析: 支持线性回归(Linear)、岭回归(Ridge)、支持向量回归(SVR)、随机森林回归(RF)、梯度提升回归(GBR)等多种算法,能自动拆分训练集与测试集,输出均方误差(MSE)、R²评分等量化指标,还能生成"预测值-实际值对比图"和"残差图"。

相关性分析: 内置 Pearson、Spearman、Kendall 三种相关系数算法,自动生成"数值矩阵+热力图"。

2 数据补全与结构优化类

数据插值: 支持线性、样条、多项式等多种插值算法,还能实时对比"处理前后的曲线"。

数据转置: 能实现"行变列、列变行"的结构转换。

合并: 支持"纵向追加(给数据加样本)"、"横向关联(给数据加字段)"、左连接、右连接等多种方式。

3 噪声处理与数据优化类

数据滤波: 有滑动平均(Rolling)、中值滤波(Median)、高斯滤波(Gaussian)、Savitzky-Golay滤波、Butterworth低通滤波等方法,能自定义"窗口大小"。

无量纲化: 提供"最小-最大归一化"、"Z-score标准化",能消除不同参数的量纲差异。

参数归一化: 能针对特定参数定制归一化逻辑,支持权重归一化(WeightNorm)、谱归一化(SpectralNorm)、梯度裁剪(Gradient Clipping)等深度学习中的标准化方法,提高模型收敛速度和稳定性。

4 数据提炼与拓展类

数据拟合: 支持线性、多项式、指数、对数等拟合方式,输出"拟合公式+R²、MSE指标"。

表达式生成列: 能用自定义公式生成新指标,支持数学函数(sin、cos、tan、log、exp、sqrt)和算术运算(+、-、*、/)。

聚合方式: 支持求和、均值、最大值、最小值等多种聚合策略。

5 高阶拓展类

数据降维: 通过降维技术减少数据集中 特征的数量,同时尽可能保留原始数据的重要信息。支持标准PCA(主成分分析)和核PCA(Kernel PCA)两种方法。

删除数据列: 能按需删掉冗余字段,比如无关的"编号列"、"注释列",让数据更精简,处理效率更高。

Python脚本: 内置编辑器,能调用NumPy、Pandas等科学计算库。


数据可视化层

把抽象的分析结论转化为直观图形,让洞察一眼可见。面对多维度、高复杂度的工程与实验数据,19种专业图表构建起完整的可视化解决方案——从基础分布到三维关联,从趋势追踪到异常定位,每类图表都精准匹配特定数据场景。

       

< 数据可视化 >

【基础图表】 描述性分析、表格显示、曲线图(X-Y曲线)、直方图、饼图/圆环图。

【专业图表】 茎秆图、堆栈图、热力图、小提琴图、散点图、二维网状图。

【高级图表】 六边形联合图、核密度估计图、回归联合分布图、3D柱状图、3D茎秆图、基础箱型图、增强箱形图。

   


结  语

|Conclusion

ROMTEK仿智融合数据管理及分析软件——RSight(无量)的数据处理模块的核心竞争力,不在于提供了多少个节点,而在于通过"可视化流程编排+四层架构设计+闭环数据复用",把专业数据处理从"工具的简单拼凑"升级为"系统化的价值生产线。

接下来,我们会针对数据处理层的14个专业节点和数据可视化层的19个节点,逐一拆解每个节点的操作细节、参数配置和最佳实践,帮你更精准地用好这些专业工具,构建出属于你的高效数据处理管道。

关注我们,更多内容将持续发布!


来源:荣泰创想ROMTEK
二次开发pythonUM管道
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2025-11-12
最近编辑:8小时前
荣泰创想 ROMTEK
CFD 国产自主可控软件
获赞 80粉丝 53文章 90课程 5
点赞
收藏
作者推荐
未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈