tar相关 1 2 3 4 5 6 7 8 9 10 11 #(1) 将多个文件打包为 .tar文件 tar -cvf test.tar dir1 file4 #(2) 将多个文件打包并压缩为 .tar.gz tar -czvf test.tar.gz dir1 file4 #(3) 将 .tar文件拆包 tar -xvf test.tar #(4) 将 .tar.gz文件解压拆包 tar -xzvf test.tar.gz gzip压缩是的文件多为file.gz, 对应的linux命令为： ...
1、grep 主要功能：查询符合条件的行 1 2 3 4 5 6 7 8 9 10 11 12 13 14 #返回符合条件的行,可使用正则表达式 who | grep "wuyt" # -n参数：返回符合条件的行，及其在原文件中的位置 who | grep -n "wuyt" # -c参数：仅返回符合条件的行数 who | grep -c "wuyt" # -v参数：反选 who | grep -v "wuyt" # -E参数：符合多个条件之一 who | grep -E "wuyt|ssli" 2、sed 主要功能：增删改查 （1）删除 ...
1、关于CPU与线程 1.1 简单理解进程与线程 进程：计算机执行的一个命令或者程序 线程：一般来说一个进程对应一个线程。但是如果进程任务可以分为若干独立子任务独立运行时，可以调用多线程，加快分析速度。 1.2 cpu与核数 CPU(Central Processing Unit)中央处理器，属于硬件。一般window笔记本电脑有一个CPU(physical cpu) 核心（core），又称为内核。一个CPU芯片可以物理技术上集成多个内核，每个内核可以独立运行一个线程，最大化利用CPU资源。 逻辑CPU数，是指通过虚拟化技术每个内核划分为两个虚拟(logical)CPU内核，可以理解为每个内核的超线程数，一般为2。目前window/linux系统都支持。 总逻辑CPU数=物理CPU数 × 每个CPU芯片上的集成内核数 × 每个内核的超线程数 ...
现阶段在学习深度学习超参数优化过程中涉及到SLURM相关知识。这几天探索了一番，简单记录一下目前简单认识。 SLURM，Simple Linux Utility for Resource Management的缩写，是一个开源、容错、高度可扩展的集群管理和作业调度系统。 ...
https://snakemake.readthedocs.io/en/stable/tutorial/tutorial.html https://github.com/snakemake/snakemake 1. 简介 1.1 工具介绍 Snakemake 是一个用于创建可重现、模块化、自动化的工作流管理工具，主要用于处理复杂的数据分析流程；在生物信息学领域中有较多的应用。 ...
简单背景知识 挂载(mount) = 把一个存储设备（如硬盘、U盘， 通常在/dev/下面）连接到系统的某个目录，让用户可以通过这个目录访问设备内容。 /dev/sda :第一个被识别的磁盘（通常是主硬盘）, 常作为系统盘； /dev/sdb: 第二个被识别的磁盘（通常是U盘或外接盘）,常作为移动设备。 可有多个分区，将一块磁盘逻辑上划分为多个块 例如/dev/sdb1, /dev/sdb2 常用命令 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 # 示磁盘、分区、挂载点的树状结构 lsblk -f # 查看所有挂载设备的空间使用情况 df -h # 创建挂载点目录 sudo mkdir -p /media/user/usb1 # 创建挂载点目录 sudo mount /dev/sdb1 /media/user/usb1 # 卸载分区（安全弹出U盘） sudo umount /media/user/usb1 # 或者根据设备路径 sudo umount /dev/sdb1
最近有在window系统安装linux子系统(WSL, Windows Subsystem for Linux)的需求，搜索发现Microsoft最近(4月8号)提供了更加简便的安装方式。在此记录一下安装过程，的确非常简单。 ...
docker介绍 docker可以理解为轻量级的虚拟机，创建一个独立的环境，应用于特定的分析流程。 docker的镜像是一个定制的环境模板，而容器则是镜像实例化而得到的，可供实际分析的“虚拟机” 可以自己编辑dockfile创建一个镜像，或者下载安装别人写好的镜像(Docker Hub)。 docker的安装、使用需要sudo权限；但后续使用可通过下述命令使普通用户可以使用docker命令 ...
之前就了解过Jupyter notebook，是调试python代码的简洁、高效软件。现在大致整理下目前学到的在Linux系统里部署Jupyter环境的小流程，以供之后自己学习python及相关分析时使用。 ...
我对于parallel并行的简单理解即同时执行多个命令语句。尽管目前很多生信软件支持多线程运行(一条命令语句内)，但并不是设置的越多就越快，比如trim_galore命令建议对于一对fastq文件，不超过8个线程。因此，如果有多个文件需要处理，想尽可能利用计算机几十个线程的资源，可以使用parallel。 ...