본문 바로가기 사이드메뉴 바로가기 주메뉴 바로가기

주메뉴영역

주메뉴영역

혁신으로 세상을 바꾸는 융복합 대학, DIGIST
Innovative University Changing the World through Convergence
이 페이지를 SNS로 퍼가기

Research

차량 내 탑승자 인식 정확도 높인 머신러닝 기반 레이더 기술 개발

  • 조회. 154
  • 등록일. 2020.12.30
  • 작성자. 홍보팀

- DGIST 현유진 박사 연구팀, 레이더 마이크로 도플러 이미지를 이용해 차량 내 탑승자 존재 여부 확인 기법 개발
- 향후 스마트카, 전기차, 자율주행차 등 다양한 미래차 시장에 활용 기대

 

차량 내 탑승자 인식 정확도 높인 머신러닝 기반 레이더 기술 개발

 

 DGIST는 미래자동차연구부 현유진 박사 연구팀이 도플러 레이더 센서 기반의 머신러닝 기술을 이용해 차량 내 탑승자 인식을 더욱 정밀하게 측정하는 기술을 개발했다고 30일(목) 밝혔다. 향후 스마트카나 자율주행차 등 미래차 시장에 활용이 기대된다.

 최근 대두되는 사회적 문제 중 아이를 차량 내에 방치하는 사고가 종종 일어나고 있다. 이 때문에 차량 내 탑승자를 인지하기 위한 초음파센서가 널리 사용되는데, 거리 값을 이용하기 때문에 다른 사물을 탑승자라고 오판 할 수 있다. 또한 카메라의 경우 사물 인지가 가능하나, 조명에 민감하고 사생활 보호 이슈로 인해 소비자의 거부감이 존재한다. 탑승자의 열을 측정해 존재를 확인하는 적외선 센서도 활용되나, 탑승자의 옷차림이나 카시트의 열선 등에 의해 성능이 저하될 수 있다. 

 이러한 기존 센서들의 단점을 보완하고자 최근 레이더 센서 기반으로 탑승자를 인지하는 기술이 차량에 탑재되고 있다. 레이더 센서는 비교적 외부환경에 영향을 받지 않으며, 탑승자가 움직이지 않는 경우에는 호흡 신호의 측정이 가능하다. 하지만 탑승자가 수면 중 또는 깨어난 상태에서 움직이면 생체신호 인지가 불가능하고 차량 내 움직임이 발생하는 객체가 사람 이외에도 다양하게 존재 할 수 있기 때문에 움직이는 탑승자도 구별 할 수 있는 기법이 필요한 실정이다. 

 이에 DGIST 현유진 박사 연구팀은 수신된 레이더 도플러 주파수 스펙트럼을 분석해 객체의 움직임 여부에 상관없이 그 객체가 사람인지 아닌지를 결정할 수 있는 기법을 개발했다. 도플러 주파수란 레이더 센서의 송신 전자파가 움직이는 객체로부터 반사될 때 그 객체의 움직임 속도에 의해 발생한 위상변위를 말한다. 

 연구팀은 움직이는 사람의 경우, 레이더 반사 신호가 머리, 가슴, 팔, 허리, 허벅지 등 다양한 컴포넌트로부터 발생하고 그 수신신호의 도플러 스펙트럼은 크기와 모양이 시간에 따라 매우 가변적이라는 특성을 활용했다. 이 때 사람의 움직임으로부터 반사된 레이더 수신신호를 전파 이미지로 생성한 후 특징벡터 2개를 추출했고, 사람의 호흡에 의해 발생한 도플러 주파수 값으로부터 특징벡터 1개를 생성했다. 이를 인공지능 연구 분야인 머신러닝 기법을 이용해 레이더 신호처리 알고리즘으로 완성했다. 

 연구팀은 실제 차량 내부와 유사한 테스트 베드를 구축하고 레이더 신호를 획득하기 위한 모듈을 셋업했다. 그리고 다양한 시나리오를 기반으로 한 테스트를 통해 실제 사람만을 구분할 수 있는 객체 분류 정확도를 평균 98.6%까지 획득할 수 있었다. 

 현유진 박사는 “이번 연구 성과로 차량 내 방치된 탑승자 인지 시스템을 더욱 개선할 수 있을 것”이라며, “특히 계산량이 매우 낮아 향후 마이크로센서에도 구현이 가능해 보이며, 스마트 환경에 최적화된 비접촉 센서로서 레이더 기술의 발전이 기대된다."고 밝혔다.  

 한편 이번 연구는 센서 및 신호처리 분야의 세계적 국제학술지인 ‘MDPI Sensors’에 10월 28일자 온라인 게재됐다. 


  연구결과개요  

Machine Learning-Based Human Recognition Scheme Using a Doppler Radar Sensor for In-Vehicle Applications

Eugin Hyun 1,*, Young-Seok Jin 1, Jae-Hyun Park 2 and Jong-Ryul Yang 2
(MDPI Sensors, 28st Oct. 2020)


본 논문에서는 도플러 레이더를 이용하여 차량 내 탑승자를 인지하는 기법을 제안하였다. 먼저 레이더 수신신호의 도플러 주파수 스펙트럼으로부터 두 개의 특징벡터인 ‘산란점의 확장정도’와 ‘산란점의 변화정도’를 추출하는데, 이는 차량 내 움직이는 휴먼의 특성을 이용한 것이다. 또한 세 번째 특징벡터로 ‘생체신호 존재여부’를 추출하는데, 이는 움직이지 않는 탑승자로부터 호흡신호를 관찰함으로써 생성 가능하다. 본 논문에서는 이러한 3개의 특징벡터를 대표적인 간단한 머신러닝 기법인 이전-결정-트리(Binary Decision Tree)에 입력하여 학습 및 검증을 진행하였다. 제안된 기법은 실제 도플러 레이더 안테나와 송수신모듈을 이용하여 실제 데이터 기반으로 검증하였다. 게다가 실험을 위해 실제 차량 내부와 유사한 테스트 베드를 구축하였고, 레이더 신호를 획득하기 위한 모듈도 세팅하였다. 이러한 테스트 베드 기반으로 본 논문에서는 다양한 시나리오를 통해 실험을 진행하였다. 반복적인 실험과 검증을 통해 움직이는 휴먼과 그렇지 않은 휴먼에 대해 평균 98.6%의 객체 분류 정확도를 획득 할 수 있었다.  DOI: 10.3390/s20216202


  연구결과문답  

Q. 이번 성과 무엇이 다른가?
차량 내 탑승자 인지를 위한 비접촉 센서로 레이더를 활용하였다 (카메라 센서는 조명 등에 민감하고 사생활 보호 이슈로 인해 소비자의 거부감이 존재함). 기존 레이더를 이용한 방법에서는 탑승자가 정지 해 있을 경우(주로 수면 중)에 호흡신호를 탐지하여 사람임을 구별 할 뿐, 움직이는 탑승자에 대해서는 고려하지 않았다. 본 성과에서는 정지한 객체 뿐 아니라, 움직이는 경우에도 탐지된 객체가 휴먼인지 아닌지를 판단 할 수 있다.

Q. 어디에 쓸 수 있나?
일단 차량이 주차했을 경우 좌석에 탑승자 (특히 아이)가 방치되어 있는지 확인 할 수 있다 (이는 최근 차량에 상용화 되고 있음).
아울러 차량이 주행 중일 때도, 좌석의 객체 존재 여부를 확인 할 수 있어 탑승자 맞춤형의 편의 시스템 응용이 가능 할 것이다. 즉, 움직이는 휴먼, 수면 중인 휴먼, 박스와 같은 비휴먼 객체, 차량 떨림과 같은 잡음 등을 구별 할 수 있다. 게다가 배터리 소모를 줄이기 위해 탑승자의 존재여부를 판단하여 공조시스템 (히트 및 에어컨) 및 냉난방시트(열선 및 팬)를 자동 제어하고자 하는 전기차에도 매우 유용할 것이다. 

Q. 실용화까지 필요한 시간과 과제는?
도플러 레이더 전단센서(안테나와 송수신모듈)만 양산 가능 하도록 제작될 수 있다면, 본 연구에서 제안한 신호처리 알고리즘은 쉽게 임베디드로 구현될 수 있을 것으로 본다 (제안된 알고리즘은 계산량이 매우 낮음). 아울러 향후 추가적인 연구가 진행된다면 좌석별 탑승자 구별도 어렵지 않게 개발 가능할 것이다. 다만, 실제 차량 내 탑재 후, 다양한 시나리오 기반으로 검증 및 성능고도화를 위한 추가 작업은 필요할 것으로 보인다. 

Q. 연구를 시작한 계기는? 
아이들이 차량 내에 방치되어 질식하는 사고의 뉴스를 접하면서, 한 아이를 키우는 아빠로써 너무 가슴이 아파서 이 부분에 대한 연구를 시작하게 되었다. 
또한 4차 산업혁명의 핵심은 개인 맞춤형 서비스인데, 차량 내 탑승자를 인지하는 기술이 필요하지 않을까라는 생각도 하나의 계기이다. 

Q. 어떤 의미가 있는가?
매우 간단한 구조의 도플러 레이더 전단센서 하드웨어와 계산량이 낮은 신호처리 및 머신러닝 기법을 이용하여 차량 내 탑승자의 존재여부를 확인 할 수 있는 알고리즘을 제안한 것이다. 이는 매우 간단한 소프트웨어로 임베디드로 구현 가능하다.

Q. 꼭 이루고 싶은 목표는?
레이더 센서를 이용하여 휴먼으로부터 획득 가능한 모든 정보를 추출 할 수 있는 연구를 하고 싶다. 즉, 객체의 위치(거리-각도) 탐지, 객체의 속력 및 움직임 방향 탐지, 객체가 휴먼인지 여부 판단. 휴먼의 움직임 복잡도 인지, 휴먼의 컴포넌트(머리, 팔, 다리 등) 별 모션 인지, 휴먼의 생체신호 획득, 휴먼의 걸음걸이 형태 구별, 더 나가 휴먼의 다양한 움직임을 레이더 영상으로 생성하고 구별하는 연구를 진행할 예정이다.


  그림 설명  

[그림 1] 연구팀이 개발한 전체 레이더 시스템 개념도

관련사진2. 연구팀이 개발한 전체 레이더 시스템 개념도


● 도플러 레이더를 차량 내 상판에 장착하고 좌석 영역에서 반사된 레이더 수신 신호를 분석하는 개념도이다. 구현되는 SW는 대기모드, 모션인지 모드, 생체인지 모드, 결정모드로 동작하면서 좌석 내 휴먼 존재 여부를 결정한다.

 

[그림 2] 연구팀이 개발한 전체 레이더 신호처리 알고리즘 개념도

관련사진3. 연구팀이 개발한 전체 레이더 신호처리 알고리즘 개념도


● 도플러 레이더 센서의 수신신호를 기반으로 두 가지 신호처리 기법이 동시에 동작한다. 첫 번째는 모션 신호의 전파 이미지를 분석하여 특징벡터 2개를 생성한다. 두 번째는 호흡 신호의 도플러 주파수 값을 추출하여 특징벡터 1개를 생성한다. 총 추출된 3개의 특징벡터는 머신러닝 알고리즘에 입력되고, 좌석에 휴먼이 존재하는지를 판단한다. 

 

DGIST Scholar Researcher Page Banner(Kor)_2

 

콘텐츠 담당 담당부서  :   홍보팀 ㅣ 053-785-1135