Ubuntu/Debian小白从零开始配置深度学习环境和各种软件库(显卡驱动、CUDA、CUDNN、Pytorch、OpenCv、PCL、Cmake ...)【持续维护】

文章目录一、本地环境基础配置设置用户权限换源中文输入法、安装驱动、cuda、cudnn1.1设置用户权限1.2换源(Ubuntu20.04Debian12)1.3安装中文输入法(搜狗/百度输入法)1.3.1百度输入法1.3.2搜狗输入法1.4安装NVIDIA驱动1.4.1禁用nouveau1.4.2安装依赖gccgmake1.4.3安装驱动1.4.4卸载驱动1.4安装cuda(11.8)1.4安装cudnn(8.6)二、配置深度学习环境2.1安装Anaconda32.2安装Pytorch(2.0版本以上)2.3安装Paddlepaddle三、其它软件安装3.1安装Vscode3.2安装Cmake3.3安装Opencv3.4安装Pcl3.5安装nvtop3.5安装json一、本地环境基础配置设置用户权限换源中文输入法、安装驱动、cuda、cudnn1.1设置用户权限Linux下使用sudo命令时出现 debian中xxx is not in the sudoers file.This incident will be reported.表明你的用户没有使用sudo的权限直接 编辑 Sudoers 文件以 添加用户。切换到root权限里面suroot编辑sudoers文件nano/etc/sudoers滚动到最后一行 添加 用户名 ALL(ALL:ALL) ALLuserALL(ALL:ALL)ALL按下CtrlO保存文件并按Enter键确定保存按CtrlX退出reboot重启后就可以sudo命令了。1.2换源(Ubuntu20.04Debian12)为什么换源软件源是指 Linux操作系统的应用程序安装包仓库一般这个源地址是在国外国内访问速度超慢基本上只有几Kb的速率强烈推荐替换成国内的软件源比如清华 阿里 等软件源Ubuntu20.04#原始的源列表文件进行备份。这样在发生问题时可以轻松恢复到原始状态sudocp/etc/apt/sources.list /etc/apt/sources.list.bak#使用文本编辑器如nano、vim等打开源列表文件sudonano/etc/apt/sources.list打开后把下面内容任选一个复制到上面去并注释掉原始仓库里面的内容# 清华源 20.04 X86# 默认注释了源码镜像以提高 apt update 速度如有需要可自行取消注释deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse# 预发布软件源不建议启用# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse# 清华源 20.04 arm系统 必须包含portsdeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ focal main restricted universe multiverse# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ focal main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ focal-updates main restricted universe multiverse# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ focal-updates main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ focal-backports main restricted universe multiverse# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ focal-backports main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ focal-security main restricted universe multiverse# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ focal-security main restricted universe multiverse#换源后一定执行这步命令sudoaptupdate先备份原始源文件以免发生问题打开源文件列表注释掉原始的文件然后添加清华源/阿里源按ctrlo保存 再按Enter键确定 最后ctrlx退出再更新软件包Debian和上述类似 同样的操作但先要查看系统的版本一般有bookworm、buster、 stretch、bookwor等不同的版本修改对应版本名称字符即可。我给出两种不同的版本示意。#查看系统版本lsb_release-a这是别人的版本拿来说明下TA的就是Debian11 bullseye版本下面换源sudocp/etc/apt/sources.list /etc/apt/sources.list.baksudonano/etc/apt/sources.list# 清华源 debian12 x86 bookwormdeb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main non-free contrib non-free-firmware#deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main non-free contrib non-free-firmwaredeb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-updates main non-free contrib non-free-firmware#deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-updates main non-free contrib non-free-firmwaredeb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-backports main non-free contrib non-free-firmware#deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-backports main non-free contrib non-free-firmwaredeb https://mirrors.tuna.tsinghua.edu.cn/debian-security bookworm-security main#deb-src https://mirrors.tuna.tsinghua.edu.cn/debian-security bookworm-security main# 清华源 debian11 x86 bullseyedeb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye main contrib non-free# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye main contrib non-freedeb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-updates main contrib non-free# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-updates main contrib non-freedeb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-backports main contrib non-free# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-backports main contrib non-freedeb https://mirrors.tuna.tsinghua.edu.cn/debian-security bullseye-security main contrib non-free# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian-security bullseye-security main contrib non-free# 以下安全更新软件源包含了官方源与镜像站配置如有需要可自行修改注释切换#deb https://security.debian.org/debian-security bookworm-security main contrib non-free non-free-firmware#deb-src https://security.debian.org/debian-security bookworm-security main contrib non-free non-free-firmware再替换下面仓库sudonano/etc/apt/sources.list.d/raspi.listdeb http://mirrors.tuna.tsinghua.edu.cn/raspberrypi/ bullseye main deb-src http://mirrors.tuna.tsinghua.edu.cn/raspberrypi/ bullseye mainsudoaptupgrade一定注意Debian版本的问题1.3安装中文输入法(搜狗/百度输入法)1.3.1百度输入法第一步安装输入法的容器fcitx并设置系统页面显示为中文ctrlaltt 打开终端输入下面安装命令sudoapt-getinstallfcitx(1) 打开系统下的setting Region Lannguage - InputSource下的Manage installation Language;(2) 点击Installation/ Remove Language;(3) 点击Chinse(simplified)并点击Apply;(4) 点击keyboard input method system选择fcitx;(5) 点击Apply System-Wide,应用到全局(6) 然后关机重启就可以看到系统字体为中文了但是打字还是英文需要第二步安装相关中文输入法了。第二步安装百度输入法配置相关环境sudoapt-getupdatesudoapt-getupgradesudoapt-getinstallfcitx-bin fcitx-table fcitx-config-gtk fcitx-frontend-allsudoapt-getinstallqt5-default qtcreator qml-module-qtquick-controls2下载网址 百度输入法 选择左边UbuntuDeepin下载解压cd到安装包xxx.deb的根目录一键安装cdDownloadssudodpkg –i fcitx-baidupinyin.deb#卸载安装包sudodpkg--purgeremove fcitx-baidupinyin:amd64关机重启就能用了如果不行右上角输入法设置点击右下面的“”号添加百度输入法并把百度输入法置顶放在第一位1.3.2搜狗输入法第一步添加中文语言支持与安装百度输入法的第一步一样第二步官网下载搜狗输入法 下载 sogoupinyin_4.2.1.145_amd64.deb,先配置环境再安装cdDownloads#配置输入法环境sudoapt-getupdatesudoapt-getupgradesudoaptinstalllibqt5qml5 libqt5quick5 libqt5quickwidgets5 qml-module-qtquick2sudoaptinstalllibgsettings-qt1sudodpkg –i sogoupinyin_4.2.1.145_amd64.deb#卸载安装包sudodpkg--purgeremove sogoupinyin_4.2.1.145_amd64:amd64重启电脑查看右上角可以看到“搜狗”字样在输入窗口设置搜狗输入法类似于1.3.1。如果没有搜狗字样选择配置将搜狗加入输入法列表即可1.4安装NVIDIA驱动1.4.1禁用nouveauUbuntu系统里面集成显卡驱动是nouveau它是第三方为NVIDIA开发的开源驱动需要禁用它才能安装官网驱动#更改文件权限sudochmod666/etc/modprobe.d/blacklist.confsudogedit /etc/modprobe.d/blacklist.conf在打开的文件最后一行添加下面几句话然后保存退出blacklist vga16fb blacklist nouveau blacklist rivafb blacklist rivatv blacklist nvidiafb对刚才的内容进行更新sudoupdate-initramfs-u#重启计算机sudoreboot#检查是否禁用lsmod|grepnouveau若 终端输入 lsmod | grep nouveau 没有任何输出则nouveau已禁用。1.4.2安装依赖gccgmake其实在换源完成后安装所用东西之前应该执行这三步后面再安装东西不容易出错sudoapt-getupdatesudoapt-getupgradesudoapt-getinstallbuild-essentialsudoapt-getinstallbuild-essentialsudoapt-getinstallgsudoapt-getinstallmakegcc--versiong--versionmake--version1.4.3安装驱动驱动安装方式一般有两种自动源安装【推荐】和手动官方下载安装。这里示意自动安装的方式先查看下显卡适应的驱动版本终端输入ubuntu-drivers devices也有可能有问题哈ubuntu-drivers devicessudoubuntu-drivers autoinstall或者图形界面的安装方式【推荐】打开软件和更新 - 附加驱动 - (专有)/(专用tested)【选择刚刚系统推荐的版本】- 应用更改。【注意】附加驱动不要安装带server 和nouveau字眼的版本。安装完后重启终端输入nvidia-sminvidia-smi出现下面界面说明安装成功!!! 可以看到显卡的详细信息注意右上角是表明安装cuda的最高版本不是说一定要安装此版本。配置环境一般不需要太高的版本而是适配的版本太高的版本不稳定且与其有关的其他工具如pytorch不会更新那么快。手动安装方式以及存在错误 参考这两篇文章Ubuntu系统—NVIDIA 驱动安装ubuntu20.04 显卡驱动,CUDA 安装和卸载,cudnn安装1.4.4卸载驱动sudoapt-getremove--purgenvidia*执行完上述命令后会有提示有残留按照提示进行删除。1.4安装cuda(11.8)接下来安装cuda安装cuda首先明确我们需要的版本虽然先安装cuda但是要综合GPU、驱动、深度学习环境选择合适的版本根据1.4.3知道cuda版本不超过12.6CUDA版本与驱动 根据官网 cuda-toolkit根据官网 pytorch官网根据paddlepaddle官网pytorch2.0以上基本上要求1.7以上而且适配版本最多的是1.8paddlepaddle适配版本里面也有11.8版本这里综合选择cuda11.8的版本。进入 官方cuda下载页面 选择确定的cuda版本。【注意】要选择runfile(local)✔️本地手动安装方式可以不安装软件包内置的显卡驱动。避免显卡驱动版本矛盾冲突。根据官网提示CTRLALTT终端输入以下命令安装wgethttps://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.runsudoshcuda_11.8.0_520.61.05_linux.run安装过程中根据提示终端按键盘上下键↓选择continue 再Enter键输入accept同意用户协议直到出现下面界面这就是选择runfile(local)安装方式的原因。使用上下键和空格键取消Driver选型的选择(安装cuda最重要的一步)选择 Install 回去安装出现下面界面则安装完毕。红色部分为安装的头文件、库文件和配置文件目录。最后一步配置cuda的环境变量打开环境变量的配置文件sudogedit ~/.bashrc添加以下内容就是cuda的安装目录注意路径名称# CUDA11-8 环境变量exportPATH$PATH:/usr/local/cuda-11.8/binexportLD_LIBRARY_PATH$LD_LIBRARY_PATH:/usr/local/cuda-11.8/lib64exportCUDA_HOME$CUDA_HOME:/usr/local/cuda-11.8更新环境变量source~/.bashrc验证是否安装成功可以看到已经链接到cuda-11.8至此cuda11.8安装完毕nvcc-V1.4安装cudnn(8.6)安装cuDNN包比较简单就当成下载文件把文件放到应该的位置。下载cuDNN包 点击官网https://developer.download.nvidia.cn/compute/cudnn/redist/cudnn/linux-x86_64/ 按照需要cuda的版本和Linux系统版本找对应的cuDNN这里选择8.6.0版本下载时候需要注册一个Nvidia账号并验证一下就可以下载cd到下载目录解压并把解压文件里面的include和lib文件里面东西复制到cuda-11.8对应的include和lib64里面cdDownloadstar-xvfcudnn-linux-x86_64-8.6.0.163_cuda11-archive.tar.xzcdcudnn-linux-x86_64-8.6.0.163_cuda11-archive/sudocpinclude/cudnn*.h /usr/local/cuda-11.8/includesudocplib/libcudnn* /usr/local/cuda-11.8/lib64sudochmodar /usr/local/cuda-11.8/include/cudnn*.h /usr/local/cuda-11.8/lib64/libcudnn*#验证安装cat/usr/local/cuda-11.8/include/cudnn_version.h|grepCUDNN_MAJOR-A2出现类似下面界面表示安装成功【卸载驱动】卸载往往是把cuda和cuDNN一块卸载版本cudaxx.xcuda12.0可以先直接执行可执行文件卸载再用空格键勾选以下几项选择done提示Successfully uninstalled 表示卸载完成。cd/usr/local/cuda-11.8/binsudo./cuda-uninstallersudorm-rf/usr/local/cuda-11.8#一定要把这个空文件夹删除这里我已经安装好了不再卸载演示用的是别人的图版本cudaxx.xcuda12.0稍微复杂点cuda12.0版本没有可执行卸载程序需要手动卸载#To remove CUDA Toolkit:sudoapt-get--purgeremove*cuda**cublas**cufft**cufile**curand*\*cusolver**cusparse**gds-tools**npp**nvjpeg*nsight**nvvm*卸载cuDNN如果安装方式是手动解压复制的比较容易卸载直接删除就可以sudorm-rf/usr/local/cuda-11.8问题FAIL : Failed to load library libonnxruntime_providers_cuda.so with error: libcublasLt.so.11: cannot open shared object file: No such file or directorycuda12.4原因找不到 CUDA 11 版本的 libcublasLt.so.11但你的系统安装的是 CUDA 12.4默认带有 libcublasLt.so.12cuda12.1/cuda11.8版本切换# 设置默认版本为12.1 创立软连接sudorm-f/usr/local/cudasudoln-s/usr/local/cuda-12.1 /usr/local/cudasudoln-s/usr/local/cuda-11.8 /usr/local/cuda二、配置深度学习环境2.1安装Anaconda3Anaconda3可以创建多个虚拟环境便于搭建不同深度学习环境避免不同库导致依赖包版本冲突。Anaconda3的官方链接需要注册邮箱会发送个验证下载的链接点击就可到下载页面 选择64-Bit(x86)Installercd到安装包目录执行下载命令。cdDownloads# 改变文件权限 可选chmod-R777Anaconda3-2024.10-1-Linux-x86_64.shsudo./Anaconda3-2024.10-1-Linux-x86_64.sh# 根据提示回车继续安装# 一直回车看到协议# 输入yes继续安装# 选择安装目录 默认/自定义#是否把anaconda的bin添加到用户的.bashrc 输入yes (可以避免后续手动添加环境变量)手动配置anaconda的环境变量 打开vim编辑器 文末添加按Esc 再按 :wq 保存退出# 编辑配置文件vim~/.bashrc# 在文件末尾配置环境变量exportPATH/home/{用户名}/anaconda3/bin:$PATH终端输入查看版本conda--version使用anaconda创建、退出、删除、列举已创建的环境#创建深度学习环境 myenv是你环境的名字 任意取名conda create--namemyenvpython3.9#激活虚拟环境conda activate myenv#退出当前虚拟环境conda deactivate#列举所有虚拟环境conda info--envs# 删除虚拟环境conda remove--namemyenv--all一定要换源换成清华或者阿里其他源conda自己的源下载东西超级慢pip configsetglobal.index-url https://pypi.tuna.tsinghua.edu.cn/simple或者单独换源即软件包后面加 -i 网址pipinstallnumpy2.2.1-ihttps://pypi.tuna.tsinghua.edu.cn/simple-ihttps://pypi.tuna.tsinghua.edu.cn/simple-ihttps://mirrors.aliyun.com/pypi/simple# 安装tensorflow非常快-ihttp://pypi.douban.com/simple --trusted-host pypi.douban.com#安装 paddlepaddle非常快-ihttps://mirror.baidu.com/pypi/simple创建的虚拟环境包一般在 /anaconda3/envs文件下具体的包如 numpy 一般在 /anaconda3/envs/lightglue/lib/python3.10/site-packages 这个文件夹下。红色圈出部分文件都是自己创建的虚拟环境 文件夹名字和虚拟环境名字一样2.2安装Pytorch(2.0版本以上)打开 pytorch官网 查看自己适应的版本这里选择pytorch2.2.2 对应的cuda11.8gpu版本。选择建议1、直接选择GPU版本即使没有显卡也可以切换回来 2、选择适配性较高的版本比如好几个版本都适配cuda-11.8那就选择有cuda11.8的版本因为经过多个版本验证稳定性较好3、尽量不要安装最新的版本因为最新版本还在测验阶段确实不太稳定但是如果版本日期是一年前以上基本上也没大问题4、使用pip安装若没换源5、如果跑前沿的算法一般pytorch版本有要求要看好算法要求的版本。pipinstalltorch2.2.2torchvision0.17.2torchaudio2.2.2 --index-url https://download.pytorch.org/whl/cu118安装验证终端输入python 进入python环境依次输入importtorch from torch.backendsimportcudnn print(cudnn.is_available())# 输出True说明pytorch的gpu接口可用torch.cuda.is_available()torch.zeros(1).cuda()#退出pythonexit()2.3安装Paddlepaddle后续专门出一期配置paddlepaddle相关环境三、其它软件安装3.1安装Vscode两种安装方式一种是下载文件手动安装一种是操作系统软件自带的安装【推荐简单】方法一 操作系统软件自带的安装打开系统软件 - Development - code - Install 等待安装完毕即可方法二下载安装包 官网 vscode官网sudodpkg-icode_xxx.deb配置TabNine插件AI自动补全插件 巨好用快捷键 CtrlshiftX 搜索TabNine 一键安装就可以卸载vscode(1)、 通过 apt-get 方式安装的,删除时会提示确认sudoapt-getremove code# 只是卸载保留配置sudoapt-get--purgeremove code# 彻底清除包括配置sudoapt-getpurge code# 也是彻底清除(2)、 通过 dpkg 方式安装的,删除时将没有确认提示sudodpkg-rcode# 只是卸载保留配置sudodpkg--removecode# 只是卸载保留配置sudodpkg-rcode# 彻底清除包括配置sudodpkg--purgecode# 彻底清除包括配置(3)、 通过snap方式安装的snap list|grep-ivscode#存在卸载命令sudosnap remove codewhichcode# 返回路径code--version#返回版本号3.2安装Cmakecmake安装非常简单有两种方式一种是apt系统安装 一种是源码安装一、apt系统软件包安装#查看cmake版本 或者查看cmake是否安装cmake--versionsudoaptupdatesudoaptinstallcmake二、源码安装CMake的官方网站 cmake官网 可以手动下载安装 也可以wget安装。【注意】不要下载带linux名称的安装包解压文件里面没有这个bootstrap安装程序。#安装依赖 或者编译过程中缺啥安装啥sudoaptupdatesudoaptinstallbuild-essentialcurllibssl-devcdDownloadstar-zxvfcmake-3.26.6.tar.gzcdcmake-3.26.6#执行安装命令./bootstrapmake-j4sudomakeinstallcmake--version#卸载cmakesudoaptremove--purgecmake3.3安装Opencv安装opencv较为复杂单独拿出来参考自己另一篇Ubuntu20.04安装opencv4.2.0 opencv4.10.0 一文详细介绍安装步骤带图及报错解决3.4安装Pcl安装pcl较为复杂单独拿出来参考自己另一篇Ubuntu20.04安装pcl1.10.0 pcl1.13.1 一文详细介绍安装步骤带图及报错解决3.5安装nvtop在深度学习训练过程中使用 nvtop 工具来实时监控 GPU 的各种指标如显存大小GPU利用率、温度等使用非常方便1、apt安装方式出错sudoaptinstallnvtop“nvtop : Depends: libnvidia-compute-418 but it is not going to be installed”翻译过来就是nvtop : 依赖: libnvidia-compute-418 但是它将不会被安装。 无法修正错误因为您要求某些软件包保持现状就是它们破坏了软件包间的依赖关系。只能源码编译安装。2、源码编译安装下载链接https://github.com/Syllo/nvtop/tree/3.1.0# 安装依赖sudoaptinstalllibudev-dev libsystemd-dev libdrm-dev ncurses-develgitclone https://github.com/Syllo/nvtop.gitmkdir-pnvtop/buildcdnvtop/build cmake..-DNVIDIA_SUPPORTON-DAMDGPU_SUPPORTON-DINTEL_SUPPORTONmake-j4sudomakeinstallnvtop3.5安装jsonc 需要加载json数据文件需要安装nlohmann/json 安装使用非常简单。官方网站GitHub页面下载nlohmann/json.hpp选择single_include/nlohmann将头文件放入到系统路径里面系统编译时自动查找/usr/local/include/路径下。或者是放到你的工程文件下使用cmake构建链接# 设置 nlohmann/json 的路径set(JSON_INCLUDE_DIR${CMAKE_SOURCE_DIR}/nlohmann)# 链接包含 nlohmann/json 头文件目录target_include_directories(${project_name}PRIVATE${JSON_INCLUDE_DIR})