08_31 IT 공부와 느낀점

DataHunt 를참고하여 공부하였습니다.

 

현재 AI 딥러닝은 우리의 예상 관측 결과를 뛰어 넘습니다. 예를들어서

 

예측

Gebru et ai는 5천만 장의 구글 Street view 사진을 딥 러닝 네트워크에 입력한 결과, 컴퓨터가 자동차를 현지화하고 인식하는 과정에서 각 지역의 인구 통계를 예측할 수 있다는 사실을 발견했습니다. 또한 이를 가지고 흥미로운 인사이트들을 소개하기도 했습니다. 예를 들어, “15분동안 지나가는 차를 지켜봤을 때 세단의 수가 픽업 트럭의 수보다 많다면 그 도시는 다음 대통령 선거 때 민주당을 뽑을 가능성이 더 높다. (88%의 확률) 만약 그 반대라면, 공화당을 뽑을 확률이 더 높을 것입니다. (82%의 확률)” 인구 통계와 성향을 가지고 딥 러닝 네트워크가 예측한 것입니다.
또한 하버드 과학자들은 딥 러닝을 사용하여 컴퓨터에 점탄성 계산을 수행하도록 가르쳤습니다. 이 결과는 지진 예측에 사용되었습니다. 딥 러닝을 적용한 덕분에 계산 시간을 50,000%까지 개선했다고 하죠.

 

 

 

 

 

 

데이터를 구하기위해서는 '노가다'를 하면됩니다. 

 

노가다

 

계속해서 하다보면 나오는 그것들로 하여금 짜면됩니다. 

그게 이제 1990년 까지 이루어진 프로세스이며, 그것들이 옳다고 여겨졌습니다. 하지만 시간이 지나면서

데이터는 어떻게 구하는게 효율적인가?

하드웨어는 점점 발달하고

소프트웨어도 오픈소스나, 데이터양도 방대해져서 쉽게 구해질수있습니다.

하지만, 그 데이터들을 어떻게 정제 할것인가에대한 알고리즘과 아이디어는 1980년대급이라는것입니다.



그를 해결하기 위해서는 몇가지 아이디어가 들어가게됩니다.
1. 데이터는 집합이 커야한다.
2.  배치 크기가 작으면, 모델 과적합 방지하는데 도움이된다.
3. 학습속도가 높다면 모델이 분산된다.
충분한 수의 에포크에 대해 모델 훈련은 더나은 성능 발휘한다.

물론이에요! 컴퓨터에게 어떤 문제를 해결하게 하려면 아래의 세 가지 아이디어를 생각해보세요.

1. 많은 정보를 주세요 (데이터는 집합이 커야한다).
   컴퓨터가 문제를 잘 풀기 위해서는 많은 정보가 필요해요. 예를 들어, 고양이 사진을 보여주면 고양이라는 것을 더 잘 알게 될 거에요. 정보가 많으면 많을수록 컴퓨터가 더 똑똑해질 수 있어요.
2. 적게씩 조금씩 가르쳐주세요 (배치 크기가 작으면, 모델 과적합 방지하는데 도움이 된다).
   컴퓨터에게 배우는 동안 한 번에 너무 많은 것을 가르치면 컴퓨터가 헷갈릴 수 있어요. 작은 조각으로 나눠서 가르치면 더 쉽게 이해하고 문제를 풀 수 있어요. 그래서 작은 조각을 여러 번 가르치면 도움이 되요.
3. 천천히 가르쳐주세요 (학습 속도가 높다면 모델이 분산된다).
   컴퓨터에게 정보를 주는 속도가 너무 빠르면 컴퓨터가 그 정보를 놓칠 수 있어요. 천천히 가르치면 컴퓨터가 정보를 더 잘 이해하고 기억할 수 있어요. 너무 빠르게 가르치면 컴퓨터가 헷갈릴 수 있으니 조심해야 해요.

이렇게 컴퓨터를 가르쳐서 문제를 해결할 때는 많은 정보를 작은 조각으로 나눠서 천천히 가르치는 것이 중요해요. 그러면 컴퓨터가 더 똑똑해져서 문제를 더 잘 해결할 수 있을 거예요!

 

 

 

 

데이터는 충분한 양이 필요합니다. 

(대량의 데이터) , (계산리소스요구), (블랙박스모델)

초기의 딥 러닝은 모델을 중심으로 연구가 지속되었지만 (model-centric), 현재의 딥 러닝 판도는 데이터 중심(data-centric)이라고 할 수 있습니다. 특히 실전에서 데이터를 활용해 모델을 교육하는 프로젝트를 진행하면, 데이터의 품질에 따라 머신러닝의 성능이 판가름납니다.

 

 

데이터를 테슬라만의 방식으로 빠르고 정확하게 가공하여 그것을 모델에게 학습시키는것

 

즉 데이터를 받는것도 중요하지만 그것을 정제하는 모델에게 학습시키는것

 

 

 

You will face many defeats in life, but never let yourself be defeated
-Maya Angelou-
"

데이터를 가져오는데 한나절, 데이터를 정제하는데 한나절..

그래도 포기해서는안됩니다.


Life is either a daring adventure or nothing at all.
 –Helen Keller-

 TRY.DO