hadoop 예제 실행

세부 정보로 이동하기 전에 MapReduce 응용 프로그램 예제를 살펴보고 작동 방식에 대한 풍미를 얻을 수 있습니다. 맵 단계 실행이 성공적으로 완료되면 맵 단계에서 생성된 키-값 쌍을 입력으로 가져온 다음 알파벳 순으로 정렬하는 순서대로 섞기 단계가 자동으로 실행됩니다. 셔플 단계가 WordCount 예제 코드에서 실행된 후 출력은 다음과 같이 표시됩니다 – 이러한 경우 동일한 매퍼 또는 감속기의 두 인스턴스가 동시에 실행되는 문제(예: 투기적 작업)를 열고/또는 파일 시스템에서 동일한 파일(경로)에 쓰기합니다. 따라서 응용 프로그램 작성기는 작업 시도당 고유한 이름을 선택해야 합니다(attemptid를 사용하려면 attempt_200709221812_0001_m_000000_0)을 사용하노세요. 작업의 출력 사양유효성 검사; 예를 들어 출력 디렉터리가 아직 없는지 확인합니다. 예를 들어 “코끼리는 동물입니다”라는 문장을 고려하면 됩니다. WordCount 예제의 매퍼 단계는 문자열을 개별 토큰 즉, 단어로 분할합니다. 이 경우 전체 문장은 아래와 같이 값 1이 있는 5개의 토큰(각 단어마다 하나씩)으로 분할됩니다. 큐는 작업 컬렉션으로 시스템에서 특정 기능을 제공할 수 있도록 합니다. 예를 들어 큐는 ACL을 사용하여 작업을 제출할 수 있는 사용자를 제어합니다. 대기열은 주로 Hadoop 스케줄러에서 사용할 것으로 예상됩니다. Hadoop은 프로그램 실행의 여러 로그를 추적합니다.

하두프 디렉토리의 로그 하위 디렉토리에 있습니다. 동일한 로그 중 일부는 hadoop 웹 GUI (http://maven.smith.edu/~thiebaut/showhadoopip.php 액세스 할 수 있음) 먼저 다음을 사용하여 [전자 메일 보호]/ 사용자 / hadoop / 출력 파일 시스템에서 만든 결과 파일의 이름을 확인합니다. 명령. 이 기능은 맵 작업이 특정 입력에서 결정적으로 충돌할 때 사용할 수 있습니다. 이는 일반적으로 맵 함수의 버그로 인해 발생합니다. 일반적으로 사용자는 이러한 버그를 수정해야 합니다. 그러나 이것은 때때로 불가능합니다. 버그가 소스 코드를 사용할 수 없는 타사 라이브러리에 있을 수 있습니다. 이러한 경우 작업이 여러 번 시도한 후에도 성공적으로 완료되지 않으며 작업이 실패합니다. 이 기능을 사용하면 불량 레코드를 둘러싼 데이터의 극히 일부만 손실되며, 일부 응용 프로그램(예: 매우 큰 데이터에 대한 통계 분석을 수행하는 응용 프로그램)에서는 허용될 수 있습니다.

 
Mobile Site

Follow Us On Facebook Follow Us On Twitter Follow Us On Google + Follow Us On LinkedIn Follow Us On You Tube Copyright 2019 © All Rights Reserved. Powered by - ARE Network Solutions