KMOOC+Seminar_1-4.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "8869c4a9-230f-443c-8c8e-e87f2b76011f",
   "metadata": {},
   "source": [
    "# KMOOC+ 온오프라인 세미나 자료"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b3842e87-c5a4-43d4-9e91-d9d3f9002841",
   "metadata": {},
   "source": [
    "해당 내용은 1주차~7주차까지의 내용으로 구성되어 있습니다. 해당 파일에 대한 저작권은 박준혁(walter1023@daum.net)과 이경준(kjune18@naver.com)에게 있습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a108bdcd-f386-4b5a-aeab-ce6fa5d4d7ad",
   "metadata": {
    "tags": []
   },
   "source": [
    "# 1주차\n",
    "\n",
    "- 기계학습 소개\n",
    "- 기계학습 개발환경\n",
    "- 행렬"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9f1d80ef-f745-43a6-8e44-1dd3ba05bc62",
   "metadata": {},
   "source": [
    "## 기계학습 소개"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6c5c810e-2fb9-48b0-8aa1-c11033b6e7e9",
   "metadata": {},
   "source": [
    "### 기계학습의 개념\n",
    "\n",
    "전통적으로 프로그램은 정해진 규칙에 따라 동작하여 프로그래머가 상황에 맞게 모든 상황에 대해 프로그램을 작성하여 컴퓨터가 무엇을 해야할지 명확히 정해주어야 하는 반면에,\n",
    "기계학습은 스스로 학습 가능하여 스스로가 규칙을 찾도록 할 수 있습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1502043b-80a7-48cf-a97f-a1d62b76183a",
   "metadata": {},
   "source": [
    "### 기계학습의 정의\n",
    "\n",
    "아더 사무엘은 기계학습은 컴퓨터가 배울 수 있는 능력, 즉 프로그램으로 정의하지 않아도, 컴퓨터가 스스로 학습하여 실행할 수 있는 능력에 대한 연구분야라고 정의했습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "aa506614-decd-4689-bbf9-b3a4abb0dcad",
   "metadata": {},
   "source": [
    "### 기계학습의 종류\n",
    "\n",
    "기계학습에는 지도학습, 비지도학습, 그리고 강화학습이 있습니다.   \n",
    "지도학습은 주어진 학습자료마다 명시적인 해답이 존재하여 모델이 예측한 값과 해답을 비교하며 모델을 학습시켜 나가는 방법입니다.   \n",
    "비지도학습은 해답을 제시하지 않고 패턴을 분석하도록 학습하는 방법입니다. 대표적으로 분류하는 문제에 사용됩니다.   \n",
    "강화학습은 주어진 환경에서 어떤 행동을 할때 얻는 보상을 극대화함으로 학습하는 방법입니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "18168893-433a-49af-ad3f-a5bfd0becf68",
   "metadata": {},
   "source": [
    "## 기계학습 개발환경\n",
    "\n",
    "기계학습을 개발하는 환경은 다양하지만, 우리가 사용할 프로그래밍 언어는 파이썬입니다. 또한, 기계학습을 동작하기 위해 설치해야할 개발환경이 존재하는데, 주피터 노브북(랩)과 아나콘다가 있습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ec0cd261-11c0-46e3-825b-f3c418fd51fb",
   "metadata": {},
   "source": [
    "### 쉘 명령어"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "12a72e4c-f13f-4199-b00b-f4c64d9e133d",
   "metadata": {},
   "source": [
    "주피터 노트북(랩)에서 쉘을 실행하는 명령어는 ctrl + enter 입니다.\n",
    "쉘을 실행하고 다음 줄로 넘어가고 싶다면 shift + enter를 입력하면 됩니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bc4e0cb5-6b05-4287-86a0-ab397872fda6",
   "metadata": {},
   "source": [
    "### 마크다운"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5a8207b9-9d98-4cb9-936c-cb13ff9d59e6",
   "metadata": {},
   "source": [
    "***진하게+기울임***"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d07177c6-e288-44f9-9a86-39b8cde0ee3c",
   "metadata": {},
   "source": [
    "title level 1는 `#`을 1개 사용합니다.\n",
    "title level 2는 `#`을 2개 사용합니다.\n",
    "\n",
    "Italic체를 사용하고 싶으면 앞뒤에 `_` 혹은 `*`을 사용하면 됩니다.\n",
    "\n",
    "blod는 `_`를 2개 사용하면 됩니다.\n",
    "\n",
    "넘버링을 순서대로 하고 싶다면 `1.`을 연속해서 사용해도 됩니다.\n",
    "\n",
    "bold와 Italic체를 함께 쓰고 싶다면 앞뒤에 `*`을 3번 사용하면 됩니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b9711d9f-0d64-4130-87c5-969fbc0a94e9",
   "metadata": {},
   "source": [
    "## 행렬"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0d4a9016-af41-4db7-a472-e18b4f85a724",
   "metadata": {},
   "source": [
    "### 행렬의 덧셈\n",
    "```\n",
    "a = [[0, 1],\n",
    "    [1, 2]]\n",
    "    \n",
    "b = [[3, 4],\n",
    "    [4, 5]]\n",
    "    \n",
    "a + b  = [[3, 5],\n",
    "          [5, 7]]\n",
    "\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fcaad0ae-c034-4ce1-b89e-7412a85835d9",
   "metadata": {},
   "source": [
    "```\n",
    "c = [[0],\n",
    "    [1]]\n",
    "    \n",
    "d = [[2, 3]]\n",
    "\n",
    "c + d = [[2, 3],\n",
    "         [3, 4]]\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1760f387-b0e8-49fa-830a-45bbd239311a",
   "metadata": {},
   "source": [
    "### 행렬의 곱셈"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "583a5be0-dfd2-4b19-814d-0a6d55924970",
   "metadata": {},
   "source": [
    "```\n",
    "a = [[0, 1],\n",
    "    [2, 3]]\n",
    "\n",
    "b = [[0],\n",
    "     [1]]\n",
    "\n",
    "numpy.dot(a, b) = [[1],\n",
    "                   [3]]\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "05eb48f8-78f1-4d01-80d7-bb2583c1811d",
   "metadata": {},
   "source": [
    "# 2주차\n",
    "- 함수와 뉴론\n",
    "- 넘파이 튜토리얼"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "20111ff9-48c4-4350-a566-882d6d939054",
   "metadata": {},
   "source": [
    "## 함수와 뉴론\n",
    "__함수: $$y = f(x)$$__\n",
    "\n",
    "기계학습이나 딥러닝이 나오기 전까지는 과학자들이 다양한 경우의 수를 생각해서 이를 만족하는 함수를 작성해야 했습니다.\n",
    "그러나, 기계학습이 도입된 이후로는 모델이 이러한 함수를 직접 찾도록 하였습니다.\n",
    "\n",
    "따라서 기계학습의 정의는 만능 함수 제조기 혹은 꿈의 함수 제조기라고 부를 수 있습니다.\n",
    "\n",
    "\n",
    "__인공뉴론과 인공신경망__ : 인간의 생물학적 뉴론과 신경망을 기준으로 삼아 만든 모델링 기법"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4f83a381-da99-4fc3-b921-d1bb34e0da53",
   "metadata": {},
   "source": [
    "- 각각의 인공 뉴론은 노드(node)라고 부릅니다.   \n",
    "- 뉴론을 여러 계층(layer)에 적재시킵니다.   \n",
    "- 계층이 많아질수록 신경망은 점점 깊고 복잡해집니다.   \n",
    "- 각 노드는 직전 계층과 직후 계층에 존재하는 다른 모든 노드와 연결되어 있습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bda50c8d-23bb-45e8-80ca-0f3f5c0557d9",
   "metadata": {},
   "source": [
    "<center><img src=\"https://camo.githubusercontent.com/715d814c8857c8bb63cdbad5e58b9c355c0eb2329b6240fef240108261610b20/68747470733a2f2f6769746875622e636f6d2f69646562746f722f4b4d4f4f432d4d4c2f626c6f622f6d61737465722f6970796e622f696d616765732f6368322f4d4e4953542d4e4e312e504e473f7261773d74727565\"></center>\n",
    "<center><title>인공 신경망 예시</title></center>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f66477bf-1b8b-42e9-a73f-f2d65acfb027",
   "metadata": {},
   "source": [
    "## 넘파이 튜토리얼\n",
    "\n",
    "넘파이(numpy)는 기계학습를 구현하는데 상당히 유용한 특징을 갖고 있습니다.\n",
    "넘파이는 `import numpy`를 통해 import하여 사용가능합니다. 보통 이를 더 줄여서 `import numpy as np`로 하여 np로 numpy를 불러오도록 많이 사용합니다.\n",
    "\n",
    "1. 강력한 N 차원 배열 객체\n",
    "1. 정교한 브로드케스팅(Broadcast) 기능\n",
    "1. 다양한 선형 대수학 함수와 난수 기능\n",
    "1. 범용적 데이터 처리에 사용 가능한 다차원 컨테이너\n",
    "1. C/C ++ 및 Fortran 코드 통합 도구"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e1172da4-c9e5-417e-ae2e-16c86e25e657",
   "metadata": {},
   "source": [
    "### 1차원 배열 만들기\n",
    "\n",
    "numpy를 사용하여 1부터 10까지 원소로 구성된 1차원 배열을 만들어보세요."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "231b97e3-2c5a-4295-8435-9bb1c1ac2b0d",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([ 1,  2,  3,  4,  5,  6,  7,  8,  9, 10])"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import numpy as np\n",
    "\n",
    "np.arange(1, 11)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d4165bff-2564-49e0-ae16-cd8300f8f733",
   "metadata": {},
   "source": [
    "### 2차원 배열 만들기\n",
    "\n",
    "numpy를 사용하여 1부터 10까지의 원소로 구성된 (2, 5)의 형상의 2차원 배열을 만들어보세요."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "ed351328-e39e-4f65-a09d-410cea02df78",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[ 1,  2,  3,  4,  5],\n",
       "       [ 6,  7,  8,  9, 10]])"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.arange(1, 11).reshape(2, 5)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "28bf088b-b9ec-4b04-8b98-7e7de03bf595",
   "metadata": {},
   "source": [
    "### 3차원 배열 만들기\n",
    "numpy를 사용하여 1부터 12까지의 원소로 구성된 (2, 3, 2)의 형상의 3차원 배열을 만들어보세요."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "f0cb3fd8-338d-4db0-a943-17a92edfe96f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[[ 1,  2],\n",
       "        [ 3,  4],\n",
       "        [ 5,  6]],\n",
       "\n",
       "       [[ 7,  8],\n",
       "        [ 9, 10],\n",
       "        [11, 12]]])"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.arange(1, 13).reshape(2, 3, 2)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5bc734b8-c698-458e-82ea-709a65bb4715",
   "metadata": {},
   "source": [
    "위의 3차원 배열에서 맨 앞의 차원을 줄여서 2차원 배열로 다시 만들어보세요."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "id": "57a6be51-b2cb-414f-9561-ac54b3ea57f1",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[ 1,  2],\n",
       "       [ 3,  4],\n",
       "       [ 5,  6],\n",
       "       [ 7,  8],\n",
       "       [ 9, 10],\n",
       "       [11, 12]])"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "a = np.arange(1, 13).reshape(2, 3, 2)\n",
    "a.reshape(-1, 2)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "211cc3f3-5192-489f-ac90-463d7a4bd9ba",
   "metadata": {},
   "source": [
    "### 슬라이싱\n",
    "\n",
    "슬라이싱은 [a:b:c]로 되어있습니다.\n",
    "a는 시작 인덱스(해당 인덱스 포함), b는 마침 인덱스(해당 인덱스 미포함), c는 step으로서 몇개씩 끊어서 가져올지와 방향을 정하는 것을 의미합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "b5410f33-62c2-4fed-a9cd-8261e8b0c78c",
   "metadata": {},
   "outputs": [],
   "source": [
    "numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "8016127e-2071-45cc-a5b4-cff6a5357ff3",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[1, 2, 3, 4, 5]"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "numbers[:5]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "1c09d0b2-49a1-4f00-8399-12181a3551af",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[1, 3, 5, 7, 9]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "numbers[::2]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "id": "292bdb16-62ce-4ff0-93fa-ef7fc5ebb8c2",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[10]"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "numbers[-1:]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "id": "b2203c38-3ff1-44dc-bfec-e6032570d0be",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[10, 9, 8, 7, 6, 5, 4, 3, 2, 1]"
      ]
     },
     "execution_count": 45,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "numbers[::-1]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f3a0a6bc-0b50-4c04-b46c-3e90c5e1e9af",
   "metadata": {},
   "source": [
    "# 3주차\n",
    "- 인공뉴론의 동작원리\n",
    "- 미분\n",
    "- 활성화 함수"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cd0180f8-f438-4918-b001-c1ec6cb957dd",
   "metadata": {},
   "source": [
    "## 인공뉴론의 동작원리\n",
    "가중치와 편향\n",
    "가중치는 각 입력 신호가 결과에 미치는 중요도를 조절하는 매개변수이고, 편향은 뉴론의 활성화 조건을 설정하는 매개변수 입니다.\n",
    "\n",
    "$$ y = ax + b $$\n",
    "\n",
    "예를들어, 해당 식에서 가중치는 a이고, 편향은 b입니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ad11823b-44b7-4b72-b7a6-496f1049e44c",
   "metadata": {},
   "source": [
    "다음은 가중치를 이용하여 OR게이트를 구현해본 것입니다.\n",
    "여기서 w의 값은 주어졌지만, 기계학습을 진행하면 해당 w값이 최적화 될 것입니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "id": "33314caa-6222-407d-8e63-cf33c1cfc780",
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "def OR(x1, x2):\n",
    "    x = np.array([1, x1, x2])         # input\n",
    "    w = np.array([-0.3, 0.5, 0.5])    # bias + weight\n",
    "    return np.dot(x, w) > 0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "id": "4aa06a62-c53d-4b6b-9957-51143bb6973a",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "OR(False, False) =  False\n",
      "OR(False, True) =  True\n",
      "OR(True, False) =  True\n",
      "OR(True, True) =  True\n"
     ]
    }
   ],
   "source": [
    "print(\"OR(False, False) = \", OR(False, False))\n",
    "print(\"OR(False, True) = \", OR(False, True))\n",
    "print(\"OR(True, False) = \", OR(True, False))\n",
    "print(\"OR(True, True) = \", OR(True, True))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "92cb6b86-a57f-435e-8b49-6f494a25f310",
   "metadata": {},
   "source": [
    "## 미분\n",
    "\n",
    "평균변화율 = $$ \\frac{f(x_2)-f(x_1)}{x_2 - x_1}$$"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "713c6bb1-e0af-4caf-90f6-25cd8c431fce",
   "metadata": {},
   "source": [
    "합성함수의 미분법\n",
    "\n",
    "$$ y = f(g(x)) $$\n",
    "$$ f(g(x))' = {f'(g(x))}{g'(x)}$$"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "61b5efc8-388c-494b-9ef3-8074affcb89e",
   "metadata": {},
   "source": [
    "삼각함수의 미분법\n",
    "$$f(x) = sin(x), f'(x) = cos(x)$$\n",
    "$$f(x) = cos(x), f'(x) = -sin(x)$$\n",
    "$$f(x) = tan(x), f'(x) = sec^2(x)$$\n",
    "$$f(x) = sec(x), f'(x) = sec(x)tan(x)$$\n",
    "$$f(x) = csc(x), f'(x) = -csc(x)cot(x)$$\n",
    "$$f(x) = cot(x), f'(x) = -csc^2(x)$$"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bc6bfa45-34af-4ecf-ba0d-bb22f1594c1c",
   "metadata": {},
   "source": [
    "## 활성화 함수\n",
    "활성화 함수는 $y = ax + b$에서 출력된 y값을 다시 입력으로 하여 뉴론을 활성화 할지 말지를 결정해주는 함수입니다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3c3f5f49-9845-4a55-bc17-782f0c66828e",
   "metadata": {},
   "source": [
    "### 종류\n",
    "1. 시그모이드(Sigmoid)\n",
    "2. 렐루(Relu)\n",
    "3. 스탭(Step)\n",
    "4. 쌍곡탄젠트(tanh)\n",
    "5. 소프트맥스(softmax) - 주로 출력층에서 사용"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d2cef1e7-9254-4cc8-aba8-0466244a5a1b",
   "metadata": {},
   "source": [
    "<center> <img src =\"https://blog.kakaocdn.net/dn/bb0loO/btrgdF1UM76/yARoWX7j4TqvImCSBNVkB1/img.png\"></center>\n",
    "<center>활성화 함수</center>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2f3dea4f-f16b-4c89-a845-dbc64bf49a13",
   "metadata": {},
   "source": [
    "# 4주차\n",
    "- 퍼셉트론\n",
    "- 퍼셉트론 알고리즘\n",
    "- 퍼셉트론 코딩"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5c0b158a-c177-4eaf-af41-60742ed72d53",
   "metadata": {},
   "source": [
    "## 퍼셉트론\n",
    "\n",
    "퍼셉트론은 인공신경망의 한 종류로 인식되며 1957년에 프랑크 로젠블라트가 고안한 알고리즘입니다.\n",
    "\n",
    "퍼셉트론은 다수의 입력을 받아 하나의 출력을 내보냅니다. 즉, 퍼셉트론은 선형모델입니다.\n",
    "<center><img src=\"https://camo.githubusercontent.com/8f32abbc5cd3fb0182b0437b3099753d72e9f3c3a85032aeef38cc69fad72b2d/68747470733a2f2f6769746875622e636f6d2f69646562746f722f4b4d4f4f432d4d4c2f626c6f622f6d61737465722f6970796e622f696d616765732f6368332f73696d706c655f6e6f64655f61637469766174652e504e473f7261773d74727565\"></center>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "88dbe3a3-b5b9-49fc-a326-e2a02cc6ab44",
   "metadata": {},
   "source": [
    "### 퍼셉트론 학습과정\n",
    "\n",
    "1. 학습 자료 입력\n",
    "1. w와 b를 이용하여 z계산\n",
    "1. 활성화 함수를 이용하여 y_hat계산\n",
    "1. y_hat과 y값 비교하여 새로운 가중치 값 생성\n",
    "1. 새로운 가중치를 이용하여 z계산"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6bd9d22a-3d6d-4fcf-b30e-452ba6922603",
   "metadata": {},
   "source": [
    "### 퍼셉트론 한계\n",
    "\n",
    "퍼셉트론은 선형모델이기 때문에 비선형 문제에서는 적합하지 않다. 대표적인 예로는 XOR신경망이 있다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "83bee635-4fd9-4c5a-9b12-d6d1cb3f7747",
   "metadata": {},
   "source": [
    "퍼셉트론 구현"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "5fd9a487-55c6-41cb-97fc-9572ca56b105",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "x_len: 6\n",
      "w =  [0.8 0.6 1.3]\n"
     ]
    }
   ],
   "source": [
    "import numpy as np\n",
    "\n",
    "x = np.array([[1.0, 1.0], [2.0, -2.0], [-1.0,-1.5], [-2.0, -1.0], [-2.0,1.0], [1.5, -0.5]]) \n",
    "print(\"x_len:\", len(x))\n",
    "X = np.c_[ np.ones(len(x)), x ]         # trainining samples, concatenate\n",
    "y = np.array([1, -1, -1, -1, 1, 1])      # class labels\n",
    "w = np.array([0, 1.0, 0.5])              # initial weight\n",
    "maxy, miny = y.max(), y.min()\n",
    "\n",
    "epochs = 2\n",
    "eta = 0.2\n",
    "for _ in np.arange(epochs): \n",
    "    for xi, yi in zip(X, y):\n",
    "        z = np.dot(xi, w)                              # Compute net input, same as np.dot(w.T, x)\n",
    "        yhat = np.where(z > 0.0, maxy, miny)           # Apply step func and get output, z가 0보다 크면 maxy, 그렇지 않으면 miny의 위치 값으로 설정\n",
    "        delta = eta * (yi - yhat) * xi                 # Compute delta    \n",
    "        w += delta                                     # Adjust weight\n",
    "#         print('x{}, \\t (y,yhat)=({},{}), \\tdelta{}, \\tw{}'.format(xi, yi, yhat, delta, np.round(w,2)))\n",
    "print('w = ', w)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "291600b1-e60d-4246-881a-83d25b0e9dab",
   "metadata": {},
   "source": [
    "# 참조"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dde1a367-7705-458b-8f88-1a714035b904",
   "metadata": {},
   "source": [
    "[활성화함수](https://www.google.com/url?sa=i&url=https%3A%2F%2Fheeya-stupidbutstudying.tistory.com%2F38&psig=AOvVaw2tykJOWs8K9jWw2eSTNSqP&ust=1650019509543000&source=images&cd=vfe&ved=0CAwQjRxqFwoTCMCTnPKvk_cCFQAAAAAdAAAAABAD)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3"
  },
  "toc-autonumbering": false
 },
 "nbformat": 4,
 "nbformat_minor": 5
}