Tracker 나누기: detector and associator

[kyukyukyu]

#31 에서 tracker와 clusterer를 나눈 것처럼, tracker를 detector와 associator로 나누고자 한다. 이렇게 하여 detection의 결과를 파일에 저장하고, 이것을 associator에 입력하여 face tracklet을 출력하는 형태를 갖추고자 한다.

Detection의 결과로 나오는 파일에는 동영상 안의 프레임에서 검출한 face들의 위치들이 저장되어야 한다. 프레임마다 detection 결과를 하나씩 파일로 저장하는 방법도 있지만, file I/O 횟수를 줄이기 위해서 모든 프레임의 detection 결과를 하나의 파일에 기록하는 것이 낫다고 생각한다.
#30 에서와 같이, detection 결과를 YAML 형식의 파일 faces.yaml 에 저장하는 것을 제안한다. 이 파일에는 각 프레임 별 검출된 face의 집합들이 frame index 순서대로 담겨 있는 목록이 저장된다. 하나의 face는 그것이 위치한 영역의 정보를 담은 mapping으로 표현된다. (top, left, width, height) Face의 집합 하나는 face를 나타내는 mapping이 임의의 순서대로 나열된 sequence로 표현된다. Face의 집합들의 목록은 sequence로 표현되며, 파일의 root mapping에서 이는 faces 키의 값으로 저장된다.

faces.yaml의 예를 들면 다음과 같다. Index가 0, 1, 2인 프레임에 대한 detection 결과를 나타낸 것이며, 각 프레임에는 2개, 0개, 1개의 얼굴이 검출된 것을 표현하였다. (데이터의 표현 형태를 지킨다면 마크업은 다르게 쓰여도 무관하다.)

%YAML:1.0
faces:
  -
    -
      top: 100
      left: 80
      width: 128
      height: 128
    -
      top: 80
      left: 200
      width: 96
      height: 96
  - []
  -
    -
      top: 120
      left: 60
      width: 192
      height: 192

Association 과정에서 optical flow를 구해야 하므로, detector에서 스캔한 프레임의 이미지를 associator에 입력해야 한다. 이를 위해

1. Detector에서와 마찬가지로 원본 동영상을 입력하는 방법
2. Detector에서 스캔한 프레임의 이미지를 파일로 출력하도록 구현하고, 이를 associator의 입력으로 사용하는 방법

중 하나를 택할 수 있다. 첫 번째 방법을 사용하면 디스크를 적게 사용하지만, 동영상 파일을 읽어 프레임을 추출하는 과정을 detector와 associator에서 모두 거쳐야 한다. 두 번째 방법을 사용하면 동영상 파일을 읽어 프레임을 추출하는 과정을 detector에서만 거치면 되지만, 디스크를 많이 사용해야 한다.

아, 그리고 #31 에서처럼 executable target도 새로 만들어야 한다. 할 거 많네...