ubuntu(20.04)のNetworkやpythonでの機械学習/Web scrapingの環境構築備忘録


● 事前の確認コマンド
・ LINUX OS バージョン確認
$ lsb_release -a
表示例

No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 20.04.5 LTS
Release: 20.04
Codename: focal


・ NVIDIA GPU使用状況確認
$ nvidia-smi
表示例

Thu Oct 6 10:06:16 2022
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 515.65.01 Driver Version: 515.65.01 CUDA Version: 11.7 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 NVIDIA GeForce ... Off | 00000000:01:00.0 On | N/A |
| 35% 32C P8 15W / 120W | 215MiB / 6144MiB | 1% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| 0 N/A N/A 1012 G /usr/lib/xorg/Xorg 35MiB |
| 0 N/A N/A 1565 G /usr/lib/xorg/Xorg 99MiB |
| 0 N/A N/A 1692 G /usr/bin/gnome-shell 28MiB |
| 0 N/A N/A 3111 G ...RendererForSitePerProcess 24MiB |
| 0 N/A N/A 3317 G ...570173757896489670,131072 16MiB |
+-----------------------------------------------------------------------------+


※  表示されればGPUドライバーはインストールされている。

・ NVIDIA 推奨ドライバーバージョン確認
$ ubuntu-drivers devices
表示例

== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==
modalias : pci:v000010DEd00002182sv00001043sd000086A4bc03sc00i00
vendor : NVIDIA Corporation
model : TU116 [GeForce GTX 1660 Ti]
driver : nvidia-driver-515 - distro non-free recommended
driver : nvidia-driver-470 - distro non-free
driver : nvidia-driver-450-server - distro non-free
driver : nvidia-driver-510-server - distro non-free
driver : nvidia-driver-510 - distro non-free
driver : nvidia-driver-470-server - distro non-free
driver : nvidia-driver-418-server - distro non-free
driver : nvidia-driver-515-server - distro non-free
driver : xserver-xorg-video-nouveau - distro free builtin

・ NVIDIAドライバー バージョン確認
$ cat /proc/driver/nvidia/version
表示例

NVRM version: NVIDIA UNIX x86_64 Kernel Module 515.65.01 Wed Jul 20 14:00:58 UTC 2022
GCC version: gcc version 9.4.0 (Ubuntu 9.4.0-1ubuntu1~20.04.1)


● 事前の準備
・ Google chromeインストール
$ sudo dpkg -i google-chrome-stable_current_amd64.deb
・ ifconfigインストール
$ sudo apt install net-tools
・ telnetdインストール
$ sudo apt install telnetd -y

● Anacondaの準備
・ Anacondaインストール    (ANACONDA DISTRIBUTION ダウンロード) 
$ bash ./Anaconda3-2022.05-Linux-x86_64.sh
$ source ~/.bashrc
$ echo 'export PATH=/home/user/anaconda3/bin:$PATH' >> ~/.bashrc
$ conda update -n base conda
$ conda update anaconda
$ conda update -y --all

● Pythonパッケージ管理ツール インストール
・ pip3インストール
$ sudo apt install python3-pip -y

● Pythonモジュールインストール
・ ディープラーニング関連
$ conda install tensorflow-gpu
$ conda install keras
$ pip3 install opencv-python
$ pip3 install icrawler
$ pip3 install googletrans==4.0.0-rc1
$ cat .bash_profile (ホームディレクトリにファイルを追加)
export TF_FORCE_GPU_ALLOW_GROWTH=true

・ YouTube関連
$ pip3 install youtube_dl
$ pip3 install pytube3
$ conda install pyaudio

・ Webスクレイピング関連
$ pip3 install selenium
$ pip3 install webdriver-manager

・ ワードクラウド関連
$ pip3 install wordcloud

・ twitter関連
$ pip3 install tweepy
新規作成 service telnet { socket_type = stream wait = no user = root server = /usr/sbin/telnetd log_on_failure += USERID disable = no } --------------------< $ sudo service xinetd restart # ftp $ sudo apt-get install vsftpd $ sudo vi /etc/vsftpd.conf --------------------> 先頭の#の文字を削除 local_enable=YES write_enable=YES local_umask=022 ascii_upload_enable=YES ascii_download_enable=YES --------------------< $ sudo service vsftpd restart -->
ここに掲載している内容にて損害が生じても、いかなる保証は出来きません。あらかじめ承知ください。
戻る