python开发环境的搭建过程(python环境搭建与开发工具的使用)

机器学习硬件设备

无论是学习机器学习还是开发大型操作模型,其实工作站硬件并不是那么重要。

原因是不建议在工作站上安装大型模型。

机器学习开发涉及许多小的测试,以便找出问题的初始答案,例如:

  • 使用什么数据。
  • 如何准备数据。
  • 使用什么型号。
  • 使用什么配置。

最终在工作站上的目标是找出要运行的实验。我称之为初步实验,对于初步实验使用较少的数据即适合硬件能力的小样本数据,确保能输出你要的结果就可以了。

如果使用的是深度学习方法,则需要 GPU 或者 TPU 硬件。一般企业会提供或者可以在云中以低廉的价格租用它,例如 AWS、阿里云、腾讯云、华为云等等。

从性能角度比工作站 (CPU) 更快,容量 (RAM) 更多,可以运行的初步小实验的数据就越多或越大,并且从大型实验中获得的收益就越多。

我自己喜欢带有大量 RAM 和大量内核的 PC 机器。例如这个是我机器的配置

python开发环境的搭建过程(python环境搭建与开发工具的使用)

总之:

  • 工作站:使用您的数据的小样本并找出要运行的大型实验。
  • 服务器:运行需要数小时或数天的大型实验,并帮助您确定在操作中使用的模型。

安装机器学习依赖项

您必须安装用于机器学习开发的库依赖项。

在 Python 中,这可能是 Pandas、scikit-learn、Keras 等。不仅仅是安装依赖项,您还应该有一个可重复的过程,以便您可以在几秒钟内再次设置开发环境,例如在新工作站和新服务器上。

我建议使用包管理器和脚本(例如 shell 脚本)来安装所有内容。库总是通过错误修复进行更新,因此更新专门安装的库(及其依赖项)。

  • 安装脚本:维护一个脚本,您可以使用该脚本重新安装开发环境所需的一切。
  • 更新脚本:维护一个脚本来更新机器学习开发的所有关键依赖项并定期运行它。

机器学习编辑器

机器学习开发的艰苦工作不是编写代码,而是正在处理未知数。例如:

  • 使用什么数据。
  • 如何准备数据。
  • 使用什么算法。
  • 使用什么配置。

编写代码是容易的部分,因为很多人已经把基础的算法整合成各种第三发放依赖包。因此不需要花哨的 IDE,用一个就可以了。就个人而言,我使用并推荐 Sublime TextPycharm,其实其他任何类似的文本编辑器也能正常工作。

python开发环境的搭建过程(python环境搭建与开发工具的使用)

python开发环境的搭建过程(python环境搭建与开发工具的使用)

 

一些开发人员喜欢使用笔记本,例如 Jupyter Notebook。如果你是非特别专业的开发人员的话我推荐你使用,除此之外我不推荐它们。

为了学习机器学习和机器学习开发,我建议编写可以直接从命令行或 shell 脚本运行的脚本或代码。

例如 Python 脚本可以使用各自的解释器直接运行。

python开发环境的搭建过程(python环境搭建与开发工具的使用)

在 Linux 服务器上运行深度学习实验也类似,直接使用命令行的模式执行即可,例如:

# run experiments
python -u myscript1.py >myscript1.py.log 2>&1
python -u myscript2.py >myscript2.py.log 2>&1
python -u myscript3.py >myscript3.py.log 2>&1
python -u myscript4.py >myscript4.py.log 2>&1
python -u myscript5.py >myscript5.py.log 2>&1

一旦您有了最终的模型(或一组预测),您就可以使用项目的标准开发工具将其集成到您的应用程序中。

也就是我们俗称的做好的包嵌入到应用程序中。

#机器学习###数据分析##python#

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发表评论

登录后才能评论