pytorch dataloader 예제

데이터 로더의 첫 번째 인수는 데이터 집합이며, 거기에서 해당 데이터 집합의 __getitem___()를 호출합니다. batch_size는 단일 일괄 처리로 래핑될 개별 데이터 포인트 수를 결정합니다. 단일 이미지 텐서의 크기가 1x28x28(D:1, H:28, W:28)이라고 가정하면 이 데이터 로더를 사용하면 반환된 텐서가 10x1x28x28(배치 깊이-높이-너비)이 됩니다. 코드 위의 코드는 5474, 2921 및 2943에서 3181 사이의 숫자 목록을 인쇄해야 합니다. 생성자 편집을 통해 데이터 집합의 임의의 낮음 및 높은 값을 하트 내용으로 설정할 수 있습니다. 이 간단한 변경 사항은 PyTorch 데이터 집합 클래스에서 얻을 수 있는 마일리지의 종류를 보여줍니다. 예를 들어 NumPy에서와 같이 여러 가지 데이터 집합을 생성하고 새 클래스를 코딩하거나 따라하기 어려운 행렬을 만드는 것에 대해 생각하지 않고도 값을 사용하여 플레이할 수 있습니다. 파일 처리 기능은 몇 가지 세트로 보강되어 폴더를 반복할 때 인종 및 성별과 같은 고유한 명목 값을 캡처합니다. 이 기능은 잘 구성된 데이터 집합이 없는 경우에 유용할 수 있습니다. 예를 들어, 아르고니아인이 성별에 구애받지 않는 또 다른 이름 집합을 가지고 있다면, 우리는 “알 수 없음”이라는 파일을 갖게 되며, 이것은 다른 인종에 대한 “알 수 없는” 성별의 존재에 관계없이 성별 집합에 포함됩니다. 모든 이름이 저장된 후, 우리는 우리의 문자 세트에서 인종, 성별, 문자의 고유 값의 집합에 맞게 코덱을 초기화합니다. 또한 Pytorch는 파이썬과 깊이 통합되어 있어 인기있는 라이브러리 및 패키지로 사용하고 확장 할 수 있습니다.

즉, 좋아하는 데이터 과학 도구를 모두 잃지 않습니다. 이제 사용자 지정 데이터 집합, 변환 및 데이터 로더를 만드는 데 필요한 모든 지식을 사용할 수 있습니다. 이들은 우리의 DL 모델에 대 한 데이터 파이프라인을 구축 하는 단계, 여기 데이터 로더는 우리가 우리의 모델을 피드 하는 데 사용 하려는 것은 우리가 한 번에 데이터의 일괄 처리로 전달할 수 있기 때문에 멀티 프로세싱 작업자 와 그것은 당신의 C에서 사용할 수 있는 코어의 수를 활용할 수 있습니다. PU는 배치를 더 빨리 로드합니다. 매개 변수를 정의하는 데 만 국한되지 않습니다. 모델에는 다른 모델(또는 레이어)도 속성으로 포함될 수 있으므로 쉽게 중첩할 수 있습니다. 우리는 곧뿐만 아니라이의 예를 볼 수 있습니다. Pytorch는 매우 강력하고 잘 노련한 딥 러닝 프레임 워크로 파이썬과 Numpy의 본질을 캡처하여 일반 파이썬 프로그래밍과 거의 구별 할 수 없습니다. 파이토치 데이터 로더는 __getitem__()를 호출하고 일괄 처리로 래핑합니다. 우리는 기술적으로 데이터 로더를 사용하고 한 번에 하나씩 __getitem__()로 전화를 걸어 데이터를 모델에 공급할 수 없습니다(데이터 로더를 사용하는 것이 매우 편리하더라도). 위의 예제에서 계속, 우리는 CustomDatasetFromCSV라는 사용자 정의 데이터 집합이 있다고 가정하면 우리는 다음과 같은 데이터 로더를 호출 할 수 있습니다 : 이 튜토리얼에서는, 우리는 데이터 집합, 변환 및 데이터 로더를 작성하고 사용하는 방법을 보았다.

토치비전 패키지는 몇 가지 일반적인 데이터 세트 및 변환을 제공합니다. 사용자 지정 클래스를 작성할 필요가 없을 수도 있습니다. 토치비전에서 사용할 수 있는 보다 일반적인 데이터 집합 중 하나는 ImageFolder입니다. 이미지가 다음과 같은 방식으로 구성되어 있다고 가정합니다.

This entry was posted in Uncategorized. Bookmark the permalink.