Skip to content

约 755 个字 117 行代码 预计阅读时间 5 分钟 共被读过 次

#CheatSheet

常用命令

Bash
pip install numpy==1.23.5
pip install numpy==1.22.4

python==3.12
pip install numpy==1.26.4

# 遇到这个上的报错，直接注释
from torch._six import int_classes, string_classes, container_abcs



ssh-keygen -t rsa -b 4096 -C "your_email@example.com"
cat ~/.ssh/id_rsa.pub

pip

```~/.pip/pip.conf [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple

Text Only
```shell
export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple
Text Only
mkdir -p ~/.pip
echo "[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple" > ~/.pip/pip.conf
Text Only
mkdir %APPDATA%\pip
echo "[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple" > %APPDATA%\pip\pip.ini
Bash
pip freeze > requirements.txt

gitui

Bash
❯ eval "$(ssh-agent -s)"
Agent pid 3994096
❯ gitui
❯ ssh-add ~/.ssh/id_rsa
Identity added: /home/fht/.ssh/id_rsa (2130212584@qq.com)

环境初始化备忘录

Git

Text Only
export GIT_LFS_SKIP_SMUDGE=1
git lfs pull

分支

  • git checkout -b <branch_name>：创建分支，并切换过去
  • git checkout master：回到主分支
  • git diff <branch_name> master：显示差别

克隆分支

  • git clone -b <branch_name> <repo_url>：克隆单个分支
  • git branch -a：查看所有分支
  • git checkout -b <branch_name> origin/<branch_name>：关联分支

清除命令

  • git rm --cached <file>：已 add 未 commit 的文件退回未 add 状态
  • git checkout -- <file> ：已修改的文件撤销修改
  • git reset --soft HEAD^：撤销 commit（不更改文件）
  • git reset --hard HEAD^：撤销 commit（文件回退到上一版本）
  • git update-ref -d HEAD：撤销第一条 commit（不更改文件）
  • git push -f：强制推送，覆盖 commit

miniconda

Bash
mkdir -p ~/miniconda
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda/miniconda.sh
bash ~/miniconda/miniconda.sh -b -u -p ~/miniconda
rm ~/miniconda/miniconda.sh

source ~/miniconda/bin/activate
conda init zsh
# conda init --all 会莫名其妙加其他不存在的 shell 的配置文件，比如创建 fish 的配置之类的


wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda/miniconda.sh

Anaconda

Bash
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2024.10-1-Linux-x86_64.sh -O ~/conda/conda.sh

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2024.10-1-Linux-x86_64.sh -O ~/conda/conda.sh

bash ~/conda/conda.sh -b -u -p ~/conda # 案例来说是装 /usr/local/anaconda3 中比较好

conda create -n pytorch python=3.10 #创建新环境，指定py版本
conda remove -n pytorch --all #删除环境
conda activate pytorch #激活自己的环境
conda –version #查看conda版本
conda list #查看当前环境下安装的包
conda info --envs
Bash
conda config --show channels #查看目前已有的镜像
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/   #添加清华源
conda config --set show_channel_urls yes #从 channel中安装包时显示channel的url,这样就可以知道包的安装来源
conda config --show channels #验证一下配置是否成功

#国内常用的anaconda镜像：
http://mirrors.aliyun.com/pypi/simple/ #阿里
https://pypi.tuna.tsinghua.edu.cn/simple/ #清华
conda config --remove channels http://pypi.douban.com/ #豆瓣
conda config --remove channels http://pypi.mirrors.ustc.edu.cn/ #中国科学技术大学

#建议下面也全部添加，虽然有些可能用不到，但是实际包含比较冷门的包
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/fastai/
conda config --set show_channel_urls yes

Cuda

Bash
ls -l /usr/local

export PATH=/usr/local/cuda-12.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH
export CUDA_HOME=/usr/local/cuda-12.1

export PATH=/usr/local/cuda-12.4/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64:$LD_LIBRARY_PATH
export CUDA_HOME=/usr/local/cuda-12.4

export PATH=/usr/local/cuda-11.7/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.7/lib64:$LD_LIBRARY_PATH
export CUDA_HOME=/usr/local/cuda-11.7

export PATH=/usr/local/cuda-11.8/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH
export CUDA_HOME=/usr/local/cuda-11.8


# pointnet2_ops_lib
pip install torch==1.13.0+cu117 torchvision==0.14.0+cu117 torchaudio==0.13.0 --extra-index-url https://download.pytorch.org/whl/cu117


source ~/.bashrc
nvcc -V

export CUDA_HOME=/usr/local/cuda
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH


export TORCH_CUDA_ARCH_LIST=8.6

如果没切换：

Bash
which nvcc
echo $PATH
echo $LD_LIBARARY_PATH

TORCH_CUDA_ARCH_LIST

Bash
python -c "import torch; print(torch.cuda.get_device_capability())"

镜像站

Python
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
os.environ["CUDA_VISIBLE_DEVICES"] = "1"

export HF_ENDPOINT=https://hf-mirror.com

训练数据管理 tensorboard wandb

查看 GPU 使用率

Bash
watch -n 10 nvidia-smi  

nvitop

gpustat

Linux 命令

Bash 设置

Bash
alias proxy="export https_proxy=http://127.0.0.1:7890 http_proxy=http://127.0.0.1:7890 all_proxy=socks5://127.0.0.1:7890"
alias noproxy="unset https_proxy http_proxy all_proxy"
alias google='curl -v -I https://www.google.com/'

合并 查看文件

Bash
head -n 5 train.csv 显示前五行内容
tail -n 5 a.txt 显示文件尾部10行内容

查找 筛选

Text Only
find 在指定目录下查找文件

grep 筛选命令 ll | grep .md

whereis xx查找包含指定关键字的文件&#x20;

which python 查找当前使用的命令的绝对路径

locate 寻找包含关键字的所有文件路径 (locate命令需要sudo进行安装)

压缩 解压

Text Only
zip file.zip file 压缩文件

zip files.zip -r dir 压缩整个文件夹

unzip files.zip

unzip -d /temp test.zip

unzip -d /test\_b /mnt/ssd1/yujint/challenge/ preliminary\_b.zip

\*.tar 打包文件格式，把小文件拼接在一起

\*.tar.gz 压缩文件，先打包成一个文件，然后再压缩一遍

tar -cvf files.tar dir 打包文件夹

tar -xvf files.tar 解包

权限管理

Text Only
chmod -r 777 data 修改权限的命令，777任何人可以读写

chown -R ypw data 修改所有者的权限，把data文件夹的所有权改为ypw

passwd修改当前用户密码

sudo passwd xx 强制修改某个用户的密码

进程管理

Text Only
ps aux 列出所有进程的详细信息

ps aux | grep ipython | grep -v grep

首先使用 ps aux 获取所有的进程信息，然后用 grep ipython 查找带有 python 的进程，最后使用 grep -v grep 过滤 grep 进程本身。

磁盘管理

Text Only
df -h 查看磁盘空间

du -h xx 查看文件夹大小

mount -t ext4 /dev/nvme0n1p1/data挂载磁盘;

系统监测

Bash
uname -a #显示当前的系统信息
ifconfig | grep inet #查看当前网卡的ip地址
free -h #查看内存使用情况

网络通信

  • 从本地复制到远程：scp 本地文件 用户名@目标主机:目标主机路径
  • 从远程复制到本地：scp 用户名@目标主机:目标主机文件 本地地址

rsync -avP 本地文件夹 user@xx: 远程地址

Tmux

Text Only
tmux new -s \<session-name>

tmux ls

tmux attach -t \<session-name>

Crtl b + w 切换

参考这个博客

http://c.biancheng.net/linux/tmux.html

nohup

Bash
Nohup 命令 & 2>1 & disown

查看文件目录

Text Only
sudo apt-get install tree

用tree

-L level：限制目录树的深度。

-a：显示所有文件和目录，包括隐藏的。

-d：仅显示目录。

-f：在每个文件或目录前显示完整的相对路径。

终止进程

Bash
ps -ef | grep traffic | awk '{print $2}' | xargs kill -9