200字范文,内容丰富有趣,生活中的好帮手!
200字范文 > 【Python】Anaconda安装 环境管理 第三方包管理 Jupyter Notebook;Pytorch安装

【Python】Anaconda安装 环境管理 第三方包管理 Jupyter Notebook;Pytorch安装

时间:2023-02-17 08:42:48

相关推荐

【Python】Anaconda安装 环境管理 第三方包管理 Jupyter Notebook;Pytorch安装

1 Anaconda安装

1.1 下载地址

Anaconda官网下载地址:Individual Edition (Open Source Distribution)

Anaconda清华镜像下载地址:清华大学开源镜像站-Anaconda

1.2 注意事项

添加环境变量

第一项:是否把Anaconda加入环境变量。这涉及到能否直接在cmd中使用conda、jupyter、ipython等命令,推荐打勾。

第二项:是否把Anaconda自带的Python3.7设置成系统默认的Python,这个根据需求自选。

2 环境管理

2.1 Anaconda中新建环境

为了保持Anaconda根目录/根环境的清洁,或为了同时安装不同版本的Python(如Python 2和Python 3,但Anaconda .02版本已经不再支持Python 2,且固定Python版本为3.7),通常需要建立多个运行环境。(注意:新建环境的过程需要下载、安装anaconda的包,因此要先加速包的下载、安装,且“使用pip安装”和“使用conda安装”均要设置。)

在Anaconda中建立新的运行环境的操作方式有下面给两种:

2.1.1 通过Anaconda Navigator交互界面创建

打开Anaconda Navigator。分别点击“Environments”、“Create”。

填写环境名称(英文、最好不要有空格)、勾选语言类型及版本,点击“Create”。

等待一段时间后,新环境即可创建完毕。

2.1.2 通过cmd创建

创建Python 3的环境:键盘同时按下Win+R调出“运行”窗口,输入cmd后点击确定调出命令行窗口,在命令行窗口键入conda create --name Python37 python=3.7(此处Python版本选择的为3.7)。激活Python37环境:在命令行窗口键入activate Python37,进入Python37的环境。安装Python 3的包:继续在命令行窗口键入conda install --name Python37 anaconda,等待安装结束。打开Jupyter Notebook:在命令行窗口键入jupyter notebook就可以进入基于Python 3.7的notebook。退出Python37环境:如果需要退出Python 3的环境,键入conda deactivate退出。

创建完毕后,在cmd中键入以下代码查看当前环境下的可用kernel。

conda activate Python37jupyter kernelspec list

随后,再检查指定环境及kernel下的配置文件(文件路径及名称:C:\Anaconda3\share\jupyter\kernels\python3\kernel.jsonC:\Anaconda3\envs\Python37\share\jupyter\kernels\python3\kernel.json)内变量设置是否正确。不论是Python37环境下还是base环境下,kernel python3的配置文件中的变量均应设置为:

解释

argv:设置kernel所对应版本的Python的启动路径,请对应到相应版本的Python应用程序路径,如E:\\Anaconda3\\envs\\Python37\\python.exeE:\\Anaconda3\\python.exe

display_name:Jupyter Notebook中kernel选项框中所展示的名字,可随意修改。

language:表示使用python语言,请保持不变。

2.2 cmd命令代码

python -version# 查看当前Python的版本

conda info -e# 查看已有的环境

conda activate env_name# 激活某环境

conda deactivate# 退出当前环境

jupyter kernelspec list# 查看当前环境下可用的kernel

conda remove -n env_name --all# 删除指定的环境和库(如果不添–all参数,而是指明某个库名,则是删除该库)

3 第三方库管理

注意:如果安装库的话,一定要先激活特定的环境,否则会污染根环境!!!

3.1 加速第三方库的下载、安装速度

3.1.1 使用pip安装

是 Python 的官方第三方库存储平台,可将写好的库打包后进行上传,我们所使用的pip install命令就是从该网站上下载我们所需要的库并进行安装。但是由于 的服务器在国外,所以造成我们使用pip install命令进行第三方库的下载、安装时网络速度不稳定或极慢。为了解决这一问题,我们可以通过设置 的镜像源作为pip install的下载地址即可。

更改pip install默认下载地址的操作方式有以下两种:

3.1.1.1 临时设置

在安装的时候,通过pip命令中的-i选项指定下载源即可,例如使用清华源安装pyspider库。

pip install -i https://pypi.tuna./simple pyspider

3.1.1.2 永久设置
Linux系统下,需要修改~/.pip/pip.conf文件(当文件夹或文件不存在时,创建一个同名的文件夹及文件即可。注意:文件夹命名要加“.”,表示是隐藏文件夹)。Windows系统下,直接在C:\Users\user_name目录下创建一个pip文件夹,并新建文件pip.ini,即C:\Users\user_name\pip\pip.ini

文件内容:

[global]index-url = https://pypi.tuna./simple[install]trusted-host=pypi.tuna.

3.1.2 使用conda安装

同理, 是 Anaconda 的官方第三方库存储平台,可将写好的库打包后进行上传,我们所使用的conda install命令就是从该网站上下载我们所需要的库并进行安装。但是由于 的服务器在国外,所以造成我们使用conda install命令进行第三方库的下载、安装时网络速度不稳定或极慢。为了解决这一问题,我们可以通过将 的镜像源加入conda的配置,作为conda install的下载通道即可。

3.1.2.1 临时设置

在安装的时候,通过conda命令中的-c选项指定下载通道即可,例如使用清华源安装pyspider库。

conda install -c https://mirrors.tuna./anaconda/pkgs pyspider

3.1.2.2 永久设置

永久添加conda install的下载通道时,需要在cmd窗口中运行以下代码:

conda config --add channels https://mirrors.tuna./anaconda/pkgs/free/conda config --add channels https://mirrors.tuna./anaconda/pkgs/main/conda config --set show_channel_urls yes# 设置搜索时显示通道地址(该行命令不用运行)

3.1.3 常用的国内镜像源地址

常用的国内第三方源有:

清华:https://pypi.tuna./simple阿里云:/pypi/simple/中国科技大学:https://pypi.mirrors./simple/华中理工大学:/山东理工大学:/豆瓣:/simple/

注意:新版ubuntu要求使用https源。

3.2 cmd命令代码

pip install package_name# 使用这种安装方式会安装最新版本的包

pip install package_name==version# package_name:第三方包名称;version:版本号。# 如pip install mkl-service==1.1.2,即是安装1.1.2版本的mkl-service

conda install -n env_name -c channel_link package_name==version=build# package_name:第三方包名称;version:版本号;build:细分版本号# 如果不用-n指定环境名称,则被安装在当前活跃环境# 可以通过-c指定通过某个channel安装# 如conda install -n Python37 -c https://mirrors.tuna./anaconda/pkgs mkl-service==1.1.2=py35_2,即是在Python37环境中通过清华镜像源安装1.1.2版本下build为py35_2的mkl-service

pip list# 列举出当前环境安装的所有包

conda list# 列举出当前环境安装的所有包

pip show package_name# 显示安装包的信息

conda update package# 更新包

pip uninstall package# 卸载包

conda uninstall package# 卸载包

pip freeze > ./requirements.txt# 生成当前项目/环境所包含的第三方包的requirements.txt文档

pip install -r path/requirements.txt# path:requirements.txt的文件路径# 先激活想要批量安装第三方包的环境,然后执行此命令安装文档中的第三方包/项目依赖包

3.3 常用requirements.txt文档

3.3.1 内容&格式

mkl==.0.1

numpy

……

注意:不指定版本则安装最新版本,也不要 == 符号

3.3.2 示例

awscli # Install awscli for deploy_model functionality in Pycaretbayesian-optimizationcatboostdeap # Distributed Evolutionary Algorithms in Pythonh5pyhyperoptipywidgetskeraslightgbmmatplotlibmkl(==.0.1) # It is must installed with condamkl-service(==1.1.2) # It is must installed with condanumba # Accelerate Numpy computationnumpypandaspandas_profilingPOT # Optimal transport theory librarypsutil # Install psutil for system logging in Pycaretpycaret # PyCaret is an open source, low-code machine learning library in Pythonpyechartspyswarms # PySwarms is an extensible research toolkit for particle swarm optimization (PSO) in Pythonscikit-learnscipy==1.4.1seabornshap # Install shap for interpret_model functionality in Pycaret, and if build for shap fails using pip: conda install -c conda-forge shaptensorflow==2.2.0 # tensorflow 2.2.0 has requirement scipy==1.4.1tqdmwidgetsnbextensionxgboost

4 Jupyter Notebook

4.1 设置Cell的多行输出

4.1.1 临时设置

在Notebook的首个cell中添加以下代码可以实现多行输出:

from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = 'all' #默认为'last'

4.1.2 永久设置

如果需要一劳永逸的在每个文件中自动实现这个功能,可以在以下路径:

Mac OS/Users/your_user_name/.ipython/profile_default/

WindowsC:\Users\your_user_name\.ipython\profile_default

的文件夹下创建ipython_config.py文件。(Mac OS下你可以在终端进入这个目录touch ipython_config.py来创建)。

然后打开ipython_config.py文件,添加以下两行:

c = get_config()c.InteractiveShell.ast_node_interactivity = "all"

保存,重启Notebook后生效。

4.2 Jupyter NbExtensions Configurator插件

4.2.1 安装

安装前先激活特定的环境。

4.2.1.1 使用pip安装

在已激活特定环境的cmd中输入以下代码:

pip install jupyter_nbextensions_configurator jupyter_contrib_nbextensionsjupyter contrib nbextension install --userjupyter nbextensions_configurator enable --user

4.2.1.1 使用conda安装

在已激活特定环境的cmd中输入以下代码:

conda install -c conda-forge jupyter_contrib_nbextensionsconda install -c conda-forge jupyter_nbextensions_configuratorjupyter contrib nbextension install --user

4.2.2 常用的功能插件

Collapsible headings

Notify

Codefolding

tqdm_notebook

实际上tqdm_notebook不是Notebook原有的插件,tqdm原本是一个Python模块,它可以为循环代码显示执行进度条,调用方法如下:

from tqdm import tqdm_notebookfor i in tqdm_notebook(xrange(100), desc = '1st loop'):print(i)

Autopep8

Autopep8会根据Pep8准则自动调整代码的缩进错误。

spellcheckerExecute TimeTable of Contents (2)Highlight selected wordNbextensions dashboard tabcontrib_nbextensions_help_itemHinterlandNbextensions edit menu item

4.3 在远程服务器(SSH)中运行Jupyter Notebook或Python脚本

首先打开“Windows 10 Settings - Apps&fetures - Optional features”检查“OpenSSH Client”是否已经被添加。键盘“Win+R”后在输入框中搜索“cmd”并回车打开命令行窗口。输入命令行ssh username@xx.xx.xx.xx -L 8890:localhost:8890以连接远程服务器(识别正确后需要输入密码)。接入服务器后,为了保持远程服务器根环境的清洁,运行Jupyter Notebook以及Python脚本前最好先执行以下步骤:

(1) 建立专用的虚拟环境,命令行为python3 -m venv ~/MyvenvName~/MyvenvName是建立虚拟环境的目录,其中~代表根目录,MyvenvName是虚拟环境的名字,后续要保持一致)。

(2)随后可选择将根环境中的包复制到虚拟环境中,命令行为python3 -m venv --system-site-packages ~/MyvenvName

(3)激活虚拟环境的命令行为source ~/MyvenvName/bin/activate,激活后即可使用pip install PackageName安装项目所需的库,退出虚拟环境的命令行为deactivate

(4)先激活虚拟环境,再将虚拟环境的Python kernel添加到Jupyter Notebook中(需要先安装ipykernel库,命令行为pip install ipykernel),命令行为python -m ipykernel install --user --name MyvenvName --display-name KernelNameInNotebookKernelNameInNotebook是Jupyter Notebook中要显示的Python kernel名称)。

(5)当项目运行结束后,如果不再使用该虚拟环境,应当及时清除以节省远程服务器空间,命令行为rm -R ~/MyvenvName。输入命令行jupyter notebook --no-browser --port 8890以打开Jupyter Notebook(如果8890端口被占用,则更换一个可用的即可,同时也要更改第3步中的端口)。复制粘贴命令行窗口中给出的Jupyter Notebook链接到本地浏览器中,即可本地运行服务器中的Jupyter Notebook,通过所打开项目的“toolbars-Kernel-change kernel”即可切换所需的Python环境。当使用Python脚本运行程序时:

(1)首先激活Python脚本对应的虚拟环境。

(2)运行Python脚本的命令行为python3 FileName.py;若防止程序随着终端的关闭而被打断,则需要使用nohup python3 FileName.py &运行,并记录下进程号(如果需要运行多个Python脚本,最好为每个脚本单独建立一个文件夹,并使用cd FolderName进入该文件夹后再输入运行脚本的命令行,因为nohup会自动建立一个nohup.out文件来记录屏幕输出,如果不分文件夹运行各个脚本的话,可能会有冲突)。

(3)使用jobs -l查看当前终端所有正在运行的Python脚本进程(更多内容请参考linux中nohup和后台运行进程查看及终止)。

(4)正常运行后即可退出虚拟环境以及终端。

5 Pytorch安装

可以参考以下三篇教程:

想要使用GPU进行加速?那你必须事先了解CUDA和cuDNN保姆级的CUDA的下载安装使用,详细的环境变量配置,不仅仅让你能够安装,还会教你弄懂为什么要这样安装官网安装Python包太慢?教你三种Pytorch的下载安装方式,保证你再也不用出现Error

参考资料

安装Anaconda关于加速 pip 安装的两点妙招。Python- 解决PIP下载安装速度慢Jupyter Notebook之提高可读性——插件安装及使用(包括插入目录,目录索引及缩进)jupyter notebook的插件拓展----jupyter_contrib_nbextensions五大Jupyter Notebook 扩展工具(非常实用)Top 5 Best Jupyter Notebook Extensions10 Jupyter Notebook Extensions Making My Lyfe EasierHow to run Jupyter Notebooks on remote server — SSHlinux中nohup和后台运行进程查看及终止

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。