IT20 경사하강법(gradient descent) 경사하강법은 머신러닝이 학습 시킬 때 최소의 오차를 찾는 방법입니다. 오차 함수에 대한 경사도(미분계수)를 기준으로 매개변수를 반복적으로 이동해가며 최소 오차를 찾습니다.여기서 말하는 매개변수는 선형 회귀로 치면 계수(변수에 대한 기울기 값)에 해당합니다. 예를 들어 매개변수(x)에 대한 오차(y) 수식이 다음과 같다고 가정해보겠습니다y=x2−4x+10여기서 오차 y의 최소값은 위 수식을 x에 대해 미분하면 됩니다. f’(x)=2x-4 이므로 x가 2일때 최소값 6이 나온다는 사실을 쉽게 알 수 있습니다. 그래프에서 미분값은 접선의 기울기를 의미하고 y가 최소값이 되는 지점에서 기울기는 0입니다.경사하강법은 임의의 매개변수에서 시작하여 미분값, 즉 오차값 그래프에서 접선의 기울기를 확.. 2024. 8. 12. 머신러닝 프로세스 / 알고리즘 프로세스머신러닝 알고리즘으로 문제를 풀려면 데이터가 주어져야 합니다.수집된 데이터를 가지고 학습을 반복하면서 정확한 모델을 찾아갑니다.데이터 수집데이터 수집은 머신러닝에 활용할 데이터를 수집하는 단계입니다데이터 전처리수집된 데이터에서 잘못된 값이나 활용하기 불편한 정리된 것을 수정 및 정리하고 기존 데이터를 활용해 추가 데이터를 만들어 내는 과정입니다.피처 엔지니어링도 전처리의 한과정입니다.모델학습준비된 데이터를 머신러닝 알고리즘에 반영해 학습시키는 과정입니다. 하이퍼파라메터를 조절해 모델의 성능을 극대화 시키는 과정도 포함됩니다.모델 평가학습 완료된 모델을 사용해 예측해보고 결과를 평가하는 단계입니다. 여러개의 모델을 준비해 비교해보고 가장 좋은 모델을 선정합니다모델 배포학습으로 만들어진 모델을 이용해.. 2024. 8. 8. 엘라스틱 서치 CENTOS 설치 방법 데이터 분석 공부를 위해 엘라스틱 서치(elastic search) 를 centos 8.5 에 설치하였습니다사전에 JDK 1.8.0 버전이 설치된 상태 입니다[tars@TARS-SPS01:~]$ java -version openjdk version "1.8.0_312" OpenJDK Runtime Environment (build 1.8.0_312-b07) OpenJDK 64-Bit Server VM (build 25.312-b07, mixed mode)요즘에는 챗GPT 에서 설치방법을 물어보는게 인터넷에서 검색하는 것보다 더 편한감이 있습니다이번에도 물어보니 잘 정리해서 알려줍니다. 하지만 완벽하지는 않습니다. 본인이 추가 검색을 해서 설정을 계속 수정해 줘야 합니다..실제로 진행을 해보면 크게 틀리진.. 2024. 8. 7. 머신러닝 기법 / 지도, 비지도학습 머신러닝에는 지도 학습, 비지도 학습, 강화 학습이라는 세가지 범주가 있습니다.지도 학습입력값과 그에 대한 정답을 사용해 이 둘의 관계를 분석하고 예측 모델을 만들어냅니다회귀예측 결과값이 연속성을 가지는 경우입니다. 실수형으로 결과값이 표현됩니다ex) 매출액, 부동산 가격, 거래량군집 알고리즘은 계층적(hierarchical) 방법과 비계층적(non-hierarchical) 방법으로 나눌 수 있습니다계층적 군집은 가장 거리가 가까운 개체들을 결합해 나가는 과정을 반복해 원하는 개수의 군집을 형성해 나가는 방법입니다.비계층적 군집은 개체간의 거리가 아닌 주어진 판정 기준을 최적화 하는 기법을 사용해 지정한 군집을 형성합니다. 개체 간 거리 행렬을 계산하지 않고 군집 과정에서 모든 데이터를 저장할 필요가 없.. 2024. 8. 6. 머신러닝, 딥러닝 정의 머신러닝에 대해서 공부하면서 내용을 정리하고자 글을 씁니다흔히 머신러닝과 딥러닝은 혼용되서 쓰이는데 막상 물어보면 뭐가 다른지 잘 생각이 안나는 경우가 많습니다.데싸노트 님은 잘 정리해 주시고 있습니다머신러닝, 딥러닝관계머신러닝은 기계학습, 딥러닝은 그중에서도 인공신경망에서 학습하는 형태입니다머신러닝 > 딥러닝 의 관계가 있습니다 머신러닝 생성 Flow모델생성시는 데이터를 쪼개서 샘플데이터와 정답값을 만들고 이를 통해 예측할 수 있는 모델을 만듭니다모델이 만들어 진 후에는 새로운 데이터를 가지고 모델에 데이트를 입력하여 결과값을 예측해 냅니다 딥러닝 생성 Flow딥러닝은 인간의 두뇌 동작을 본떠 개발한 것으로 입력과 출력 중간에 은닉층을 두어 신경망 처럼 동작합니다.주로 자연어 처리, 이미지, 비디오 분.. 2024. 8. 5. 데이터 사이언스 스쿨 머신러닝 공부를 위해서 도움이 되는 사이트를 소개하려고 합니다 텍스트 기반의 설명과 예제 위주의 사이트인데 동영상이 필요하신분은 다른 사이트를 찾는게 좋습니다 https://datascienceschool.net/intro.html 데이터 사이언스 스쿨 — 데이터 사이언스 스쿨데이터 사이언스 스쿨은 데이터 사이언스에 대한 모든 지식을 공유하는 장입니다. 알림 데이터 사이언스 스쿨 홈페이지를 깃헙 페이지와 주피터 북 기반으로 리모델링하였습니다.datascienceschool.net데이터 사이언스 스쿨은 파이썬편, 수학편, 머신러닝편 으로 나눠서 설명하고 있습니다.Jupiter 북 기반으로 설명을 하고 있는데설치하는게 번거로운 분들은 colab 으로 하셔도 상관을 없을 것 같습니다. 2024. 8. 2. 이전 1 2 3 4 다음
