PyTorchのDataloderのWorkerを大きくして実行しようとしたら、以下のようなエラー。 RuntimeError: DataLoader worker (pid(s) *) exited unexpectedly 原因としては共有メモリの不足。特にDocker環境だとホストで実行している場合よりも共有メモリが少ない…

SIGNATEコンペ用にデータ変換用のプログラムを作成したので、メモっておく。 与えられるデータは、ステレオカメラの動画、視差画像、速度、ハンドル角度、車間距離などがある。自分は視差画像から車間距離と相対速度をよそくするNNをつくるので、それに関す…

PyTorchをJupyterから使おうとしたものの、下記のようなエラーが出てしまう。 import torch ImportError: No module named torch ただ、PyTorch自体はインストールしたし、Pythonコンソールからは使える。 # python Python 3.7.9 (default, Aug 31 2020, 12:…

Minecraft Mod対応マルチサーバーを立てようと思ったが、情報が古いものばかりであったので補足として書いておく。 結論としてはJavaのバージョンに気を付けること。 事前準備 Minecraft Forgeのインストールまでやっておく。ここまでは他のサイトを見て進め…

前回Windows上でKafka+Node redのセットアップを行ったので、今回は動作確認を行った。 起動 前回作成したKafkaとNode redのコンテナを起動する。Docker for windowsを起動して、左のほうの「Containers/App」からKafkaとNode redのStartボタンを押す。コン…

初めに WindowsでKafka を使用するためにセットアップを行った。また動作確認を行うためにNode redのセットアップも行なった。結論としてDockerで使うやり方が一番簡単だった。 準備 Docker のインストール DockerはそもそもLinuxでしか動かないソフトウェア…

はじめに k-means法によるクラスタリングを勉強したので、それを使ってホロライブの各ライバーのサムネの傾向分析をしてみた。ここで言う傾向分析とは、サムネをk-means法によってクラスタリングし、各ライバーが各クラスのサムネをどのような割合で作ってい…

PandasをImportしようとしたら下記のようなエラーになった。 ImportError: C extension: No module named 'dateutil.easter' not built. If you want to import pandas from the source directory, you may need to run 'python setup.py build_ext --inplac…

ディープラーニングでは学習率を徐々に減衰させていくと、いい学習ができる。イメージとしては、最初の方は大ざっぱに調節していき、最後に微調整していくような感じ。ただ最初の方は減衰させずにやりたいとかいろいろカスタマイズしたかったので実装した。 …

Google Colaboratoryの基本的な使い方、困ったことをメモしておく。 colab.research.google.com apexが使えないんだが？（Pytorch） PIPのインストールではPytorchでは使えないのでビルドする必要あり。 PytorchはCUDA10.1でビルドされているので、それに合…

Google Colabを使ってディープラーニングの学習を行おうとしたが、データの読み込みが非常に遅い。 もともと使っていたコードでは画像ファイルを1枚1枚直接読み込んでいた。ローカルでは数分かかる程度であったが、Google Colabだと1時間近くかかるようにな…

リモートサーバー上にあるDockerのGUIアプリを動かしてみた。いろいろと苦労したが、最終的に成功した方法を示す。というかログメッセージが少なすぎる。。Can't open displayってもう少し詳しく書いてくれ。。 構成 ホストPCからリモートサーバーにSSHでア…

Jetson NanoでYOLO v5を動かしてみました。 YOLO v5 って？ YOLO v5とは物体検出モデルのこと。YOLO系は他のモデル(Efficient detとか)と比較して軽量であり、Jetsonのようなシングルボードコンピュータでも動作できるのが強み。 個人的にYOLO v5がいいなと…

現象 Jetson nanoでいろいろUpdateしたあと、Numpyをインポートしたらコアダンプするようになった。 $ python3 Python 3.6.9 (default, Jan 26 2021, 15:33:00) [GCC 8.4.0] on linux Type "help", "copyright", "credits" or "license" for more informatio…

タイムゾーン設定&現在時刻の取得 現在時刻を取得するには次のように書く。 タイムゾーンを指定しないと標準時になるため注意。 import datetime import pandas as pd import random import time import pytz dt_now = datetime.datetime.now(pytz.timezone(…

①個人情報の利用目的 ぼうびろく(以下当ブログ)では、メールでのお問い合わせ、メールマガジンへの登録などの際に、名前（ハンドルネーム）、メールアドレス等の個人情報をご登録いただく場合がございます。 これらの個人情報は質問に対する回答や必要な情報…

JetsonNanoでGPIOを使ってみました。どのPINが何番に対応してるの？みたいにわかりづらいところも多かったのでまとめてみました。 やったこと ターミナルから直接操作 Pythonから操作（ライブラリ使用） ピン対応表 下記のサイトにピン配置が載っている。中…

Jetson Nanoでカメラ使いたいけど、組み込み向けのはよくわかんねえよ。と思ったのでWebカメラで簡単に撮像してみた。安物なので画質はよろしくないが、とりあえず試してみたい、という方は参考にしてください。 使ったもの Jetson Nano 4GB BUFFALO マイク…

Netplan +Networkmanagerを使用して、Ubuntu20.04のWifi設定をコマンドライン行った。使用しているのは20.04だが、18.04でも可能。 準備 対象PCにNetplanをインストールする。おそらく標準でインストールされているので必要ないかもしれない。 $ sudo apt up…

JetsonNanoの起動を高速化する。 Systemdサービスで不要なものを止めて起動を高速化してみる。 結果としては倍以上高速化することができた。 制限事項 今回計測するのはKernelが起動してから、初期化処理が終わるまでです。 実際にはその前にBIOSなど（L4Tだ…

JetsonNanoでDHT11を動かした。 DHT11とは GPIO1本で温度・湿度が図ることのできるセンサー。 精度やサンプリングレートは良くないが、温度も湿度も測れるセンサーとしては非常に安価であり、広く用いられている、らしい。 データシート akizukidenshi.com A…

リモートサーバーでJupyter notebookを使う場合、SSHでログイン後、--ipオプションをつけて起動すれば良い。 $ jupyter notebook --ip=* [W 12:06:27.853 NotebookApp] WARNING: The notebook server is listening on all IP addresses and not using encryp…

Jetson Nanoを購入したので、セットアップ方法をメモしておく。 購入から、Nvidia Docker上でCUDAを動かすところまで行う。 セットアップ後、ストレージは十数GB消費されていたので、SDカードは32GB以上のものを使用するといい。 セットアップ方法の種類 セ…