a self-teaching image processing and voice-recognition-based, intelligent and interactive system to...

7
A Self Teaching Image Processing and Voice Recognition Based Intelligent and Interactive System to Educate Visually Impaired Children ABSTRACT ® ® Keyword list1. INTRODUCTION × ‘’

Upload: independent

Post on 24-Jan-2023

0 views

Category:

Documents


0 download

TRANSCRIPT

�����

A Self Teaching Image Processing and Voice Recognition Based Intelligent and Interactive System to Educate Visually Impaired

Children ��������

� ����������

� ������������

� ����������������� ���������� �

������������� ��!�

�"#$� �#� ����%�#& ��&��%�'��##���' ����(#��� )����*�#�+��, �-���#.���/0 �+��� ��

��

ABSTRACT ���#��� #&���'���'#�$��&#����'����(��&#��#&�'�� �����#���)� #������#(#��$#�� ��#��& #�(�����)���$��#��&�����#� �&��#��)���� �#���$����)�#��& ���1�2)� #��&��$���#������&��$� #� ��(������&�#� ���#���$#�#��������&��$���#1�3�#� � &�#��4� �� �#�&��$� #���)� #��������� #����� �#�&#����'��$$��� #� 5��� �#��#����#���'�#6� �� �#��#������4��&�� �#� ���� ��� $�&#�1� 2�$�#� ��'#�� ��� (��&#�� ��� �#� ����� ��� ��� ��& ����� ��� &������� ��� %�'���� � ������$�# � � 7��#��&� "�'� � � 8$#� ���� ��� 2�$#�� �#� ��#�)� � ��#�� ��� �#� � �#1� �� ����� &����� ���� � �#��� �#�#����#��&��& #��5�,#& 6�4� �� �#��#�$�������'#��� ����#��$#��� �#���4#� ���#���� �#�&��& #� ���$#�# &��� �� �#���&��$���#1�9� �� �#�(��&#�&���������������&������#&#�(#��)� �#���&��$���# ���'#���� �#��)� �#�&�#��4��&�����$��&#��#��)���*-�:®�$��'����#(#��$#��4� �� �#��#�$������'#��&����� ���������'#�$��&#����'� ����;����'#�#� #�� � �#�$���#� ��� �#����#�� �# � ��� ��� ��& ����� �� &����� (�� #�� �$#�#� � �#��� ��'� ��� �#��� #��& ���� ��� � (�����)���$��#�� &����1� 2$##&�� �#&�'�� ���� $��'��� ��� ���� �#(#��$#�� ��� ��*-�:®� 4� �� �#� �#�$� ��� " � �&����� ���� ���2�'���+��&#����'� ����;�4��&���#&��������$��&#��� �#�&��������� �#������&����1�

Keyword list—��'#�+��&#����' �+����)�%��& ��� �2#���*#&���' �2$##&��<#&�'�� ��� �=�����)���$��#��3�����#��

1. INTRODUCTION ����'� � �#� ��� � $�#&����� '�� �� ���� ����� #��'�� '�(#�� )� �#� � ��#� ��� �#��� ��� )� �� �## � �#&�'���#� ��� #�,�)�#(#�) ���'������� �#����� �#�4����1�"�#� �����#���������#������������$�����#�����$#�$�#���� ����4����������� � �#���(������#��#1�*�#)���(#���� �#�����4����1�8�#���� �#���� ���$�� � ��#�$������� �#�� � �&��#�4� �� �#��(�&#�#� ���� #&�����')���� ���#�$���$��#��$#�$�#����������)��)��#�1�%��& ������� �#�$����)������&��#&#��� )����#(#�)�&����1�*��#��& #�&�����#��4����#�(�����)���$��#���������$�� � �����#�4��&����� ��#� �#�����&�����#� ���1�����00� ����#� ����!����������$#�$�#�'����)�4#�#�(�����)���$��#����#� ��#)#����#�#� ����������������4���������4�(����������>���������4#�#�����1�� ��������##��#� �� #�� � � �#�#��#��1���������������&�����#����� �#�4���� ��������������4������(#������������00 000��������&�?�@1�*�#�$�#(�#�&#���'#�������01�A�000�&�����#��'#��0–���)#����������#� �&��� ��#�� ���1�A�000�&�����#�� ���(#�)�$����&������ �#�1��� ���'�� �#����#����������&�����#�� ��� �#� �(#�)� ��4 � �#)��(#� � ���# ��#� ��� �����#��� �#� � 4� �� �� #� �� #�� >�� �������� ����.)#��� 5���#�� ����� ×� �#�' �� ��� ���#61� ��� �����#��#(#��$#��&��� �)� ���#�+��� �����#�����(�����)���$��#��$#�$�#�#�$#&���)�&�����#���#���'����&� 1�*�#�#� �����##�� ���#(#��$������ ����&#���#��� #&���'��)� #����� �#�$����)��#(#����� �#�&��� �)1�*�����)� #��&���#�$� �#������&����� ��� �#����'� �#� �����#� �� #��& ���� ������A�#�� �&����� ��� � ���#1�������� &����� �� ��'���� �#� &���� �#��� �#�#����#��&��& #��5%�'���� �������$�# � �7��#��&���'� � �8$#� �������2�$#�6���� �#�����$�&#������#���4� �� �#��#�$�������'#�� � ����#�&�# #������'#���� �#�&��& #������������������#���#�4� ����4�� #����� �#�$'#�����#�$����������4#����� �#���������(��&#1���� �#�&����������#4���#������#���#���� ����#�� ��� �#��,#& �������� ����#����$�)��$#���‘9��*’���� �#���&��$���#1�9� �� �#�(��&#�&����� �(��&#��#&�'���#���#&�'���#� �#�(��&#���� �#���#���1#1�&��������&������� �#�&�#�� �� �#� �#���$��� ���� �#�$'#����#; �& ����$�� � ������� ���������� ������#��)��#�$���� �#���#��(��#���$#�#�� �#��#��� ��'��# ����'���#���#�������� ��& ����1��������#��4���4� �� �� �#������4�� #� ������#���#(�� ���� �#� �#�$����� �#� ���$�#� ��#� ����� ��� �#� ���� 4� �� ��4#��� ��� �#� ����� ��� �$�# � � 4����� ��� ���� ����5���#��&�&�&�� ���6���� �#���������(��&#1�2)� #������� #���'#� �#���'�� ��&�#&�� �#���4#�����'�(#� �#��##�&�� �� �#���#�������&���#& ��������&���#& ���4#�1���� �#������� ����#; �& #������� �#� ��'#����������� ��4� ������&����������4#�#�� ��� �#�&�����#&��#�� ���#� � ����� ��4#�� ��� &���#& � �#��� ��'� ��� �#��� #��& ������� ������&����1�*�#���&���&����'������ �#��)� #��������4�������'1��1�

��

��'��#��1�2)� #��:��&��"�'��

��

���

2. RELATED WORK ��$��,#& ���#��*����'�"� ��4���#(#��$#�����"#$� �#� ����:���#��&��%�'��##���' ����(#��� )����7�� ��3����������00�1�*����'�"� ��4���#(#��$#������ 4������#�'� #��'�����4� ���#(#�#�=�1�*�#��,#& �(#����*����'�"� ����� ���#(#��$���#�#& ����&�:����#� �����'��#(�&#� � � ��$��(#�����#;�� ��'����#���)��6�$��(����'�#;&� ��'�������##�&������6��#��&��'� �#��##������&��� � ���� ��& �����$#�(�����1�*�#���;�$���� ������� �#��)� #��&���#�$���� �� �#���;��� ������:����#�&#��1�*�#�$���� ����#'������ �#��#�# �� # �4�#�#� �#)��#�$�#��#����4�1�9�#�� �#���#��$�#��#������#�#�#�� �#� $���� ��� � �#)� $�$� �$� �AB� ��&�� ��� � � �#)� �#� ���#�� ���#� � :����#� �� 1� *�� ��#� �#� �#(�&# � �#� � ��#� ������ �#����)�$�#��#���&���� ������� �#���;�� ���� � �&���#�$����� ���:����#�&��& #�1�*�#��#(�&#��# #����#�� �#��#� #���# #�����$�)��&�� �#�&���#�$�����'�$�#�#&���#���#��'#1�����#;�$�# ���� �#�&����'�� �������� �#��# #��3� 5�� �� ��#� ��� ����6� ��� $�#��#� � �#�� �#��#��'#� �)� � “3 � & �C�#�4D1”� ?�@1� *�#� &��&�� � ��'������ �#� �)� #�� ������4�������'1��1��

+�3�!�B>> ��2"�00�

:����#�$����� ��� ��&��$��&#���� <#&���A+�)&��

"#(�&# ��������$����#� 2$#�#�

��

��'��#��1��3��&�� �"�'������*����'�"� ��

3. SYSTEM OPERATION *���#�$������&�����#�����$����)��&������#(#�� �#���&�&����#���#�%�'���� �������$�# ������ �#� �&�1������������� �#�&��$�����)�&����#����+��� ��#��& �����)� #�1��<#&�'�� ����������#������&��& #���5%�'������������6�������#1�+��&#����'���� �#���'#� �#���������#�����&��& #��������'� ������#�&��#��#��41���'#��&����� ����?�@������'#�+��&#����'�?�@� ����;#�������*-�:®��(#�##����#�� ���#(#��$� �#���� 4�#1��

3.1 Image analysis *�#���#��#;$�� ���������'#�$��&#����'��# ��#�����#�&��#��#��4�4�#�#�� �#����4�&�� �������4�������'��#��1�*�#�$��&#����'����#����%�'�����&��& #��5:6 ������&�� (پ#��5 &���� �#� �&��"�'� � 5�6� ������4�������'1�� ������!��#�$#& �(#�)1���

3.1.1 Image acquisition ��'#��&����� ����*����;������*-�:®������#�� ��&����#���'#��#���&�#� �)������ �#�&�#�1�*���� ����;�$��(��#���(��# )����&��(#��#� ����& ����� ��&����#���'#��&&�����'� �� �#��#����#�#� �1���

3.1.2 Image processing���'#� +��&#����'� *����;� ��� ��*-�:®� ��� ��#�� �� �#&�'���#� �#� �$�# �� ��� ���#��� ����� �#� ��'#1� *�#�$��&#����'� #&�����#�����#�&��#��#��4E���

3.1.2.1 Conversion to grayscale *�#���'#�&����#������� �#���'#�&����� ����������<F:����� �4��&�������.���#���������'#1�� ������ ��(� '#���� ��$��&#���� �����.���#����������� ��� �#��,��� )������*-�:®����& ������#��4� ���.���#���������'#�1�2��<F:���'#����&��(#� #�� ��'�)�&�#�4��&�������.���#���������'#1���

��

��������������������������������������������������������� ���'��#��1����'#�+��&#����'����4�3�� ��

3.1.2.2 Conversion to binary�*�#�'�)��&�#���'#����&��(#� #���� �����)����� ��1#1�4�� #�����&�1�:���)���'#������.���#���������'#1�� �������)� 4��(��#���1#1�0�����1�‘0’��#$�#�#� ���&�����‘�’��#$�#�#� ��4�� #1�7�4� �#�&��(#� #����'#������� �#����������’�����0’�1������������������������������������������������������������������������������������'�5; �)6�G�*�?�ƒ5; �)6�@�������������������������������������������������������������������������5�6�

����������������������������������������������������������������4�#�# ����������������������������������������������������������������������������������������*5�6�G�����≥��

���������������������������������������������������G�0���C���

3.1.2.3 Refining the image :���)���'#�����#���#��)�4�#�$#��56����& ����4��&���#��(#�����������)���'#����&���#& #��&��$��#� ��5�,#& �6� � ��(#��#4#�� ���+�$�;#��1����� �) � �������& �������$$��#����� �#����'�������)���'#� ������ �#���(#� #�����)���'#1�"� ����� ��)��,#& ���#��#��(#������� �#���'#�)� �������& ���1���� �#������� #�56����& �������$$��#����� �#����)���'#� ����#��,#& �����#�������'#1��,���$��$��#� ��$$�)� �������& ������� ��&����#�$�#&#��������,#& �4��&�����&$ ��#��������#������1��

�� ����

��

���������������������������������������� �� ����'��#��1����'#�$��&#����'����&��& #��5:6�

��� �

�������������������������������������������� ��

��'��#��1����'#�+��&#����'����3�� (پ#��5 &�

3.1.2.4 Clipping the image�*�#�&��(#� #�����)���'#����&��$$#�� ��'# � �#��#���� �#���'#�4��&�������#���� ����1�*�#�&��$$#����'#�&�� �������)� � �$� �4��&��������# ���'�4�� #������ 1�*������� �#�$� ���� �#���'#�4��&������� #��#�� ��#�$��&#��#��������#�� ���#&�'���#� �#��,#& 1���

3.1.2.5 Labeling the characters�-#���'����& ���������*-�:®������#�� ����#� ��)� �#����#������,#& ��5&��& #��6���� �#���'#1�*�������& ����'�(#�� �#����#�� ��#&���,#& �4� �� �#��� ��,#& �'# ��'� �#���'�#� ����#�1�*�����#�$�� ��$��&#��� �#���'#��� �#� � �����#�����&��& #������ �#���'#� ��#�$��&#��#���#����4������(�&#1���

��������������������������������������� � ��

��'��#�!1����'#�+��&#����'����3��& #��5�6�

3.1.2.6 Character recognition and information via ear speaker ������#�� ���#&�'���#� �#�&��& #�� �&�����&���#� �������& �������#�$��)#��?>@1��

��

������������������������������������������������������������������������������������������������������7��������������������������������������������������ƒ5; �)6�о���5; �)6�G���A���7�5��∑����∑�ƒ5� ��6���5;�K� �)�K�66��������������������������������������������5�6�

������������������������������������������������������������������������������������������������G0��G0�������������������������������*�#� &���#� ���� ��� $#�����#�� 4� �� �#� ��$�#� ��'#�� $�#�#� � ��� �#� � �#� ��� �#� �#��� � ��� �(#�� ���� ��� �#����$�#�#� ���1�=��&#����� &��& #��� �#���#�)� � ��#�� ���� �#���� �#)��#�$����&#��� #�� &��& #�� �#&�'�� ���������#���$#�#�1���

3.2 Speech recognition�2$##&�� �#&�'�� ���� �'��� ��� ��� ���� �#(#��$#�� �����*-�:®1�" ��&����� ���� ���2�'��� +��&#����'� ����;#�� �����*-�:®��(#�##����#�� ���#(#��$� �#���� 4�#1��

3.2.1 Data acquisition " ��&����� ����*����;�?�@������*-�:®������#�� ��&����#�(��&#�� �#���&�#� �)������ �#���&��$���#1�*���� ����;�$��(��#���(��# )����&��(#��#� ����& ����� ��&����#�� �&&�����'� �� �#��#����#�#� ��#1'1� ��''#��(��# ���$�#�� #�# &1�*�#����� �� #$���� ���#�� �#�#�#& ��&����'��� � ����&��(#� #������� �#��#&���#�����������#�4��&��4���#&���#���������&��$���#� ����'� �#� ���& ��� 4(#�#�� 561� :)� ����'� ���� ����;� ���#�� ��� (��&#�� ��� �#&���#�� � B�$�� ��� �#�����$�#�(��#���#� �#�1�2�$�#�(��#�����(��&#�“�$$�#”��#����4�������'1�>1��

3.2.2 Signal processing 2�'���+��&#����'� ����;�?!@������*-�:®������#������$��&#����'� �#�(��&#�&������1�2��� .*��#������#��*�������������#��#&��#� �#�#��#��# ��#�� ��� �#������(��&#� � ��#$�#�#� ��$#&���&��$#& ��� ��������#(#�)��$��#��4��� � � � �����(��#�� �� �� ���� . ��#� �#'�#� �� 5���#�6� � � ��� �#$�#�#� #�� ��� �#� ��#� '�$�� )� �$�� ��#� ��� ��#� ��� �#� ��'��1��2*�*� �#$�#�#� � � ��� � ��� &��$�����#� # 4##�� �#� ��#� ��� ��#��#�&).�#�� (�#4�� ��� � ��'��1� � � $��(��#�� ���#������� ������ �� ��4�#����� �4� ���#��#�&�#�����'���#(#� ��&&��������# #����#�����#����� �#� ��#�4����41��

�3.2.2.1 DTW

")���&� ��#�4�$��'�������'��� ��������#�����'�������� )�# 4##�� 4���#��#�&#��4��&���)�(�)���� ��#�����$##�1�*�#��#&�'�� ����$��&#���&����� ������ &���'� �#���&����'��$##&��4� �� �#�� ��#�� #�$� #1���� �#���$�#���� �#���4#� ���� �&#� �#��� ���� �#��#&�'���#��4���1���

����������������������������������������������������������������� �

��'��#�>1��“�$$�#”�=��&#�2$#& ����

3.2.2.2 Characteristics of speech *�#��#; �� #$���� ��� ��)� �#�2$##&��&��& #��� �&����� �#��$#�#�� � ����������)��������������#�#�&#�����#�#�') � ��# ���#��#�&)����$� &�1�

3.2.2.3 Sample matching ��� �#���#����#�#� ���� �����#� �#�#� �� &���'���$�#����� ���� �#���# �4��&����� �#���4#� ���� �&#�$ ����'���'� �#���$� �$ #��� �� �#� #�$� #1�*�#�&��$�# #��'��� ���������4�&�� �������4�������'��#�B1��

4. OVERVIEW OF MAIN FEATURES *�#���&� ��� ����$�#�#� ���� �����)� #����� ����#�� ���#�)�����������&�������$�����#1�“9����”����“+���#�”��#���#�)�� ��#����� �#�� �#�4��&������# ��#(#����� �#��#����#���� � ���1�2)� #���� ����)��#��� #&�#��������&������ �� ������#(#��$����#�(�����#� � ���� &����� �� �#� � ��$#������ #� 1�+�#���#����� �#� �)� #�� ���'���#��)� �# ����'���#���#��4��&���#�� ��#����� �#���������$���#�1�����#;�$�# � �#�$'#��$#�#��)� �#������&��������4�� #��5�.�$$�#6����� 1���� �#� &����� ��#�� �� � ���#�� ��� �#�4�� #��4����� ��� &��& #��� ��� �#�$'#� ��� �#� �$#��� “9��*”���� �)� � �#�� $�#�� ��#���&����������������'�'#���� �#���&��$���#1�2)� #��#(#� ���)� #���� �#������&�����5�.�$$�#6�)�#���$#�#�1�

��

2������) � 4�#�� �#� ����� &����� �$#��� �#� ��� ���� 5K6 � �� �& ���� 5.6� # &� &�$ #��� ��� � �#� �&�� �#& ���� ��� �#� ���'���#��)��# ����$���#����&�������$����5K6�� ��)� �“���� ���.�� ��#��� ����� 4�����#��”1����� � �#���#��#;$�� �������&��& #�� �� �#� �&���$#� �������'#��# ��&����$#���#���#�)�� ��#����� �#�� �#� ��'���#� �#�&����1�

�5. CONCLUSION

��'#� $��&#����'� ��� (��&#� �#&�'�� ���� �#�� �� #���'#� � ��� �� #�& �(#� �#�� �)� #�� ��� �#(#��$#�� �� �#�$� (�����)���$��#�� &�����#�� ��� �#��� #��& ���1� *�#� �����#� �� $��$��#� #����� &�# ��'� ���� $$��& ���� ��� �� �# � �#� (�����)���$��#��&�����#��#����#$#��#� ����#��)�� �#��� ��#� �����#������#��� �#���&����#�4�����������#���) �#�)� ����#�#�(�����#� 1� *�#� �)� #�� ��� ��&&#������)� 4�����'� ��� 4#� �#� ������'� ���4��� �� $$�)� ���� �)� #�� ��� $�& �&#� )�&����� ��'�4� ��+��� ��F�(#���#� ���� � ������&�����#��&��#�#�#�� #�� ����'��� � �#�&��� �)1��

6. FUTURE WORK ��� �#��#���&#�#� ��&��#����#� ����$��(#� �#����� )�����# ��#����� �#��)� #�1�*�#�4�������#� ������4������&��#�����$����)��#(#�������� ��#� �1������ ��# ��������4����&��#�� ����#����� �#���������$��$#��#���&#�#� ��&&�����'� ��&�#��&�&����#�����2#&����)��&���� �3���#'#�������(#��� )� �#(#�� � ��#� �� �� ��$��(#� �#�#��& ����#�#� ���������� ��#� ��#�$#&���)����&����& ��'�#;�������#��� �����'1�

���������������������������������������������������������� ���'��#1�B�2$##&��<#&�'�� �������4�3�� �

7. REFERENCES

?�@ 9������#� ��8�'��� ���1�+�#(#� ��'������#������&�����#�1�<#$�� �����9�8A��+:��&�#� ���&��## ��'1�F#�#( ��0001�59�8A+:-A001>>61�

?�@ 72���00��%�'��##���'�2#�����"#��'��+��,#& �� ������+#������4� ��"����� �#�1�?�����#@�

��

��������(���#E�� $EAA4441�#1��&1#��AL��'A�#�"#��'�A�#$�� �A�00�A ����'�� �1� ��?�@ ��'#��&����� ����*����; ���*-�:®��?�@ ��'#�+��&#����'�*����; ���*-�:®��?�@ " ��&����� ����*����; ���*-�:®�?!@ 2�'���+��&#����'�*����; ���*-�:®�?>@ <�##��31�F����#��M�<�&����%1�9���� �"�'� ����'��'�+��&#����' �+#�����%��& ����+���#�������+�������' �

�00�1�

�� �1������N'���1&��O�$���#�K/�����0��0B0�