利用shuf对数据记录进行随机采样

2023-05-18编程技术251198

最近在用SVM为分类器做实验,但是发现数据量太大(2000k条记录)但是训练时间过长...让我足足等了1天的啊!有人指导说可以先进行一下随机采样,再训练,这样对训练结果不会有太大影响(这个待考证)。所以就对数据进行了一下降采样,具体方法如下:

shuf data | head -n 

其中,我的数据是在txt文件中存储的,基本格式是:

record  xxxxx
record xxxxx
record xxxxx
record xxxxx
...........
record n xxxxx

===========================================================================================================================

今天发现Ubuntu的软件库中居然有libsvm!直接

sudo apt-get install libsvm-tools

就可以安装得到了....并且不需要弄什么软连接或者环境变量就可以在命令行使用....还有有完整的manual page

并且发现这里还有一个工具:svm-subset,就可以完成随机下采样的工作

这真是极好的~~

利用shuf对数据记录进行随机采样的相关教程结束。

本文地址:https://www.ufcn.cn/tutorials/2650771.html

如非特殊说明,本站内容均来自于网友自主分享,概不代表本站观点,如有任何问题我们都将在收到反馈后的第一时间进行处理!