Что такое кодировка текста? юникод и кодировки utf-8, ansi, windows-1251

Набор символов

В следующей таблице показана Windows-1251. Каждый символ отображается с его эквивалентом в Юникоде и его десятичным кодом.

Окна-1251

	_0	_1	_2	_3	_4	_5	_6	_7	_8	_9	_A	_B	_C	_D	_E	_F
0_ 0	NUL 0000	0001	0002	ETX 0003	EOT 0004	ENQ 0005	ACK 0006	BEL 0007	0008	HT 0009	LF 000A	ВТ 000Б	FF 000C	CR 000D	SO 000E	SI 000F
1_ 16	0010	0011	0012	0013	0014	NAK 0015	SYN 0016	ETB 0017	CAN 0018	0019	SUB 001A	001B	FS 001C	GS 001D	RS 001E	США 001F
2_ 32	SP 0020	! 0021	0022	# 0023	$ 0024	% 0025	& 0026	‘ 0027	( 0028	) 0029	* 002A	+ 002B	, 002C	— 002D	. 002E	002F
3_ 48	0030	0031	0032	0033	0034	0035	0036	0037	0038	0039	003A	; 003B	< 003C	= 003D	> 003E	? 003F
4_ 64	@ 0040	A 0041	B 0042	C 0043	D 0044	E 0045	F 0046	G 0047	H 0048	I 0049	J 004A	K 004B	L 004C	M 004D	№ 004E	O 004F
5_ 80	P 0050	Q 0051	R 0052	S 0053	Т 0054	U 0055	V 0056	W 0057	X 0058	Y 0059	Z 005A	005B	\ 005C	005D	^ 005E	_ 005F
6_ 96	` 0060	а 0061	b 0062	c 0063	d 0064	e 0065	f 0066	г 0067	h 0068	я 0069	j 006A	k 006B	l 006C	м 006D	№ 006E	o 006F
7_ 112	p 0070	q 0071	r 0072	s 0073	t 0074	u 0075	v 0076	w 0077	х 0078	y 0079	z 007A	{ 007B	| 007C	} 007D	~ 007E	DEL 007F
8_ 128	Ђ 0402	Ѓ 0403	‚ 201A	ѓ 0453	„ 201E	… 2026 г.	† 2020 г.	‡ 2021 г.	€ 20AC	‰ 2030 г.	Љ 0409	‹ 2039	Њ 040A	Ќ 040C	Ћ 040B	Џ 040F
9_ 144	ђ 0452	‘ 2018	‘ 2019	201C	” 201D	• 2022 г.	— 2013 г.	— 2014 г.		2122	љ 0459	› 203A	њ 045A	ќ 045C	ћ 045B	џ 045F
A_ 160	NBSP 00A0	Ў 040E	ў 045E	Ј 0408	¤ 00A4	Ґ 0490	¦ 00A6	§ 00A7	Ё 0401	00A9	Є 0404	00AB	¬ 00AC	SHY 00AD	00AE	Ї 0407
B_ 176	° 00B0	± 00B1	І 0406	і 0456	ґ 0491	µ 00B5	¶ 00B6	· 00B7	ё 0451	№ 2116	є 0454	00BB	ј 0458	Ѕ 0405	ѕ 0455	ї 0457
C_ 192	А 0410	Б 0411	В 0412	Г 0413	Д 0414	Е 0415	Ж 0416	З 0417	И 0418	№ 0419	К 041A	Л 041B	М 041C	Н 041D	О 041E	П 041F
D_ 208	Р 0420	С 0421	Т 0422	У 0423	Ф 0424	Х 0425	Ц 0426	Ч 0427	Ш 0428	Щ 0429	Ъ 042A	Ы 042B	Ь 042C	Э 042D	Ю 042E	Я 042F
E_ 224	а 0430	б 0431	в 0432	г 0433	д 0434	е 0435	ж 0436	з 0437	и 0438	0439	к 043A	л 043B	м 043C	н 043D	о 043E	п 043F
F_ 240	р 0440	с 0441	т 0442	у 0443	ф 0444	х 0445	ц 0446	ч 0447	ш 0448	щ 0449	ъ 044A	ы 044B	ь 044C	э 044D	ю 044E	я 044F

 Письмо  номер  Пунктуация  Символ    Неопределенный

Особенности

Windows-1251, как и KOI8-R, выгодно отличается от других 8‑битных кириллических кодировок (таких как CP866 и ISO 8859-5) наличием практически всех символов, использующихся в русской типографике для обычного текста (отсутствует только значок ударения); Она также содержит все символы для других славянских языков: украинского, белорусского, сербского, македонского и болгарского.

Windows-1251 имеет два недостатка:

• строчная буква «я» имеет код 0xFF (255 в десятичной системе). Она является «виновницей» ряда неожиданных проблем в программах без поддержки чистого 8-го бита, а также (гораздо более частый случай) использующих этот код как служебный (в CP437 он обозначает «неразрывный пробел», в Windows-1252 — ÿ, оба варианта практически не используются; число же , в дополнительном коде длиной 8 бит, представляющееся числом , часто используется в программировании как специальное значение).
• отсутствуют символы псевдографики, имеющиеся в CP866 и KOI8 (хотя для самих Windows, для которых она предназначена, в них не было нужды, это делало несовместимость двух использовавшихся в них кодировок заметнее).

Также как недостаток может рассматриваться отдельное расположение буквы «ё», тогда как остальные символы расположены строго в алфавитном порядке.

Синонимы: CP1251; ANSI (только в русскоязычной ОС Windows).

ASCII таблица кодов символов Windows (Win-1251)

Dec	Hex	Символ		Dec	Hex	Символ
000	00	спец. NOP		128	80	Ђ
001	01	спец. SOH		129	81	Ѓ
002	02	спец. STX		130	82	‚
003	03	спец. ETX		131	83	ѓ
004	04	спец. EOT		132	84	„
005	05	спец. ENQ		133	85	…
006	06	спец. ACK		134	86	†
007	07	спец. BEL		135	87	‡
008	08	спец. BS		136	88	€
009	09	спец. TAB		137	89	‰
010	0A	спец. LF		138	8A	Љ
011	0B	спец. VT		139	8B	‹ ‹
012	0C	спец. FF		140	8C	Њ
013	0D	спец. CR		141	8D	Ќ
014	0E	спец. SO		142	8E	Ћ
015	0F	спец. SI		143	8F	Џ
016	10	спец. DLE		144	90	ђ
017	11	спец. DC1		145	91	‘
018	12	спец. DC2		146	92	’
019	13	спец. DC3		147	93	“
020	14	спец. DC4		148	94	”
021	15	спец. NAK		149	95	•
022	16	спец. SYN		150	96	–
023	17	спец. ETB		151	97	—
024	18	спец. CAN		152	98
025	19	спец. EM		153	99
026	1A	спец. SUB		154	9A	љ
027	1B	спец. ESC		155	9B	›
028	1C	спец. FS		156	9C	њ
029	1D	спец. GS		157	9D	ќ
030	1E	спец. RS		158	9E	ћ
031	1F	спец. US		159	9F	џ
032	20	сцеп. SP (Пробел)		160	A0
033	21	!		161	A1	Ў
034	22	«		162	A2	ў
035	23	#		163	A3	Ћ
036	24	$		164	A4	¤
037	25	%		165	A5	Ґ
038	26	&		166	A6	¦
039	27	‘		167	A7	§
040	28	(		168	A8	Ё
041	29	)		169	A9
042	2A	*		170	AA	Є
043	2B	+		171	AB
044	2C	,		172	AC	¬
045	2D	—		173	AD	­
046	2E	.		174	AE
047	2F		175	AF	Ї
048	30		176	B0	°
049	31	1		177	B1	±
050	32	2		178	B2	І
051	33	3		179	B3	і
052	34	4		180	B4	ґ
053	35	5		181	B5	µ
054	36	6		182	B6	¶
055	37	7		183	B7	·
056	38	8		184	B8	ё
057	39	9		185	B9	№
058	3A		186	BA	є
059	3B	;		187	BB
060	3C	<		188	BC	ј
061	3D	=		189	BD	Ѕ
062	3E	>		190	BE	ѕ
063	3F	?		191	BF	ї
064	40	@		192	C0	А
065	41	A		193	C1	Б
066	42	B		194	C2	В
067	43	C		195	C3	Г
068	44	D		196	C4	Д
069	45	E		197	C5	Е
070	46	F		198	C6	Ж
071	47	G		199	C7	З
072	48	H		200	C8	И
073	49	I		201	C9	Й
074	4A	J		202	CA	К
075	4B	K		203	CB	Л
076	4C	L		204	CC	М
077	4D	M		205	CD	Н
078	4E	N		206	CE	О
079	4F	O		207	CF	П
080	50	P		208	D0	Р
081	51	Q		209	D1	С
082	52	R		210	D2	Т
083	53	S		211	D3	У
084	54	T		212	D4	Ф
085	55	U		213	D5	Х
086	56	V		214	D6	Ц
087	57	W		215	D7	Ч
088	58	X		216	D8	Ш
089	59	Y		217	D9	Щ
090	5A	Z		218	DA	Ъ
091	5B		219	DB	Ы
092	5C	\		220	DC	Ь
093	5D		221	DD	Э
094	5E	^		222	DE	Ю
095	5F	_		223	DF	Я
096	60	`		224	E0	а
097	61	a		225	E1	б
098	62	b		226	E2	в
099	63	c		227	E3	г
100	64	d		228	E4	д
101	65	e		229	E5	е
102	66	f		230	E6	ж
103	67	g		231	E7	з
104	68	h		232	E8	и
105	69	i		233	E9	й
106	6A	j		234	EA	к
107	6B	k		235	EB	л
108	6C	l		236	EC	м
109	6D	m		237	ED	н
110	6E	n		238	EE	о
111	6F	o		239	EF	п
112	70	p		240	F0	р
113	71	q		241	F1	с
114	72	r		242	F2	т
115	73	s		243	F3	у
116	74	t		244	F4	ф
117	75	u		245	F5	х
118	76	v		246	F6	ц
119	77	w		247	F7	ч
120	78	x		248	F8	ш
121	79	y		249	F9	щ
122	7A	z		250	FA	ъ
123	7B	{		251	FB	ы
124	7C	|		252	FC	ь
125	7D	}		253	FD	э
126	7E	~		254	FE	ю
127	7F	Спец. DEL		255	FF	я

ASCII таблица кодов символов Windows. Описание специальных (управляющих) символов

   
Следует отметить, что первоначально управляющие символы таблицы ASCII использовались
для обеспечения обмена данными по телетайпу, ввода данных с перфоленты и
для простейшего управления внешними устройствами.
В настоящее время большинство из управляющих символов ASCII таблицы
уже не несут эту нагрузку и могут использоваться для иных целей.

Код	Описание
NUL, 00	Null, пустой
SOH, 01	Start Of Heading, начало заголовка
STX, 02	Start of TeXt, начало текста.
ETX, 03	End of TeXt, конец текста
EOT, 04	End of Transmission, конец передачи
ENQ, 05	Enquire. Прошу подтверждения
ACK, 06	Acknowledgement. Подтверждаю
BEL, 07	Bell, звонок
BS, 08	Backspace, возврат на один символ назад
TAB, 09	Tab, горизонтальная табуляция
LF, 0A	Line Feed, перевод строки. Сейчас в большинстве языков программирования обозначается как \n
VT, 0B	Vertical Tab, вертикальная табуляция.
FF, 0C	Form Feed, прогон страницы, новая страница
CR, 0D	Carriage Return, возврат каретки. Сейчас в большинстве языков программирования обозначается как \r
SO, 0E	Shift Out, изменить цвет красящей ленты в печатающем устройстве
SI, 0F	Shift In, вернуть цвет красящей ленты в печатающем устройстве обратно
DLE, 10	Data Link Escape, переключение канала на передачу данных
DC1, 11 DC2, 12DC3, 13DC4, 14	Device Control, символы управления устройствами
NAK, 15	Negative Acknowledgment, не подтверждаю.
SYN, 16	Synchronization. Символ синхронизации
ETB, 17	End of Text Block, конец текстового блока
CAN, 18	Cancel, отмена переданного ранее
EM, 19	End of Medium, конец носителя данных
SUB, 1A	Substitute, подставить. Ставится на месте символа, значение которого было потеряно или испорчено при передаче
ESC, 1B	Escape Управляющая последовательность
FS, 1C	File Separator, разделитель файлов
GS, 1D	Group Separator, разделитель групп
RS, 1E	Record Separator, разделитель записей
US, 1F	Unit Separator, разделитель юнитов
DEL, 7F	Delete, стереть последний символ.

10000000 – 11111111

Альтернативная часть таблицы (русская). Вторая половина кодовой таблицы ASCII, называемая кодовой страницей (128 кодов, начиная с 10000000 и кончая 11111111), может иметь различные варианты, каждый вариант имеет свой номер. Кодовая страница в первую очередь используется для размещения национальных алфавитов, отличных от латинского. В русских национальных кодировках в этой части таблицы размещаются символы русского алфавита.

Первая половина таблицы кодов ASCII

Обращаю ваше внимание на то, что в таблице кодировки буквы (прописные и строчные) располагаются в алфавитном порядке, а цифры упорядочены по возрастанию значений. Такое соблюдение лексикографического порядка в расположении символов называется принципом последовательного кодирования алфавита

Для букв русского алфавита также соблюдается принцип последовательного кодирования.

Вторая половина таблицы кодов ASCII

К сожалению, в настоящее время существуют пять различных кодировок кириллицы (КОИ8-Р, Windows. MS-DOS, Macintosh и ISO). Из-за этого часто возникают проблемы с переносом русского текста с одного компьютера на другой, из одной программной системы в другую.

Хронологически одним из первых стандартов кодирования русских букв на компьютерах был КОИ8 («Код обмена информацией, 8-битный»). Эта кодировка применялась еще в 70-ые годы на компьютерах серии ЕС ЭВМ, а с середины 80-х стала использоваться в первых русифицированных версиях операционной системы UNIX.

От начала 90-х годов, времени господства операционной системы MS DOS, остается кодировка CP866 («CP» означает «Code Page», «кодовая страница»).

Компьютеры фирмы Apple, работающие под управлением операционной системы Mac OS, используют свою собственную кодировку Mac.

Кроме того, Международная организация по стандартизации (International Standards Organization, ISO) утвердила в качестве стандарта для русского языка еще одну кодировку под названием ISO 8859-5.

Наиболее распространенной в настоящее время является кодировка Microsoft Windows, обозначаемая сокращением CP1251.

С конца 90-х годов проблема стандартизации символьного кодирования решается введением нового международного стандарта, который называется Unicode. Это 16-разрядная кодировка, т.е. в ней на каждый символ отводится 2 байта памяти. Конечно, при этом объем занимаемой памяти увеличивается в 2 раза. Но зато такая кодовая таблица допускает включение до 65536 символов. Полная спецификация стандарта Unicode включает в себя все существующие, вымершие и искусственно созданные алфавиты мира, а также множество математических, музыкальных, химических и прочих символов.

Преобразуйте двоичный текст в текстовый / английский или ASCII, используя prepostseoБинарный переводчик. Введите двоичные числа (например, 01000101 01111000 01100001 01101101 01110000 01101100 01100101) и нажмите кнопку Преобразовать

Казахский вариант

Измененная версия Windows-1251 была стандартизирована в Казахстане как казахстанский стандарт STRK1048 и известна под этикеткой . Он отличается в строках, показанных ниже:

КЗ-1048 (СТРК1048-2002)

	_0	_1	_2	_3	_4	_5	_6	_7	_8	_9	_A	_B	_C	_D	_E	_F
8_ 128	Ђ 0402	Ѓ 0403	‚ 201A	ѓ 0453	„ 201E	… 2026 г.	† 2020 г.	‡ 2021 г.	€ 20AC	‰ 2030 г.	Љ 0409	‹ 2039	Њ 040A	Қ 049A	Һ 04BA	Џ 040F
9_ 144	ђ 0452	‘ 2018	‘ 2019	201C	” 201D	• 2022 г.	— 2013 г.	— 2014 г.		2122	љ 0459	› 203A	њ 045A	қ 049B	һ 04BB	џ 045F
A_ 160	NBSP 00A0	Ұ 04B0	ұ 04B1	Ә 04D8	¤ 00A4	Ө 04E8	¦ 00A6	§ 00A7	Ё 0401	00A9	Ғ 0492	00AB	¬ 00AC	SHY 00AD	00AE	Ү 04AE
B_ 176	° 00B0	± 00B1	І 0406	і 0456	ө 04E9	µ 00B5	¶ 00B6	· 00B7	ё 0451	№ 2116	ғ 0493	00BB	ә 04D9	Ң 04A2	ң 04A3	ү 04AF

Как установить UTF-8 кодировку в PHP

В PHP скрипте для установки кодировки используется header, например:

header('Content-Type: charset=utf-8');

Обычно вместе с кодировкой также указывают тип содержимого (в примере вариант для HTML страницы):

header('Content-Type: text/html; charset=utf-8');

Ещё один вариант для RSS ленты:

header('Content-type: text/xml; charset=utf-8');

Помните, что функция header должна быть вызвана перед любым выводом в браузер. В противном случае (если вывод в браузер уже был сделан), то уже были отправлены и заголовки. Очевидно, что в этом случае их уже невозможно поменять. Если в браузер было выведено сообщение об ошибке, то заголовки также уже были отправлены и использование header вызовет ошибку. Для проверки, были ли уже отправлены заголовки, используйте headers_sent.

Описанный способ работает только когда PHP скрипт полностью генерирует содержимое страницы. Статические страницы (такие как html) вы должны сохранять в кодировке utf-8

Большинство веб серверов обратят внимание на кодировку файла и добавят соответствующий заголовок. На самом деле, сохранение PHP файла в кодировке utf-8 приведёт к такому же результату.

Инструменты для работы с кодировками HTML файлов

Собственно, их всего три:

• PSPad. Бесплатный текстовый редактор, мой любимый.
• Notepad++. Еще один хороший текстовый редактор и тоже бесплатный.
• Dreamweaver. Ну с Dreamweaver-ом вы с вами знакомы из моих видеоуроков по верстке сайта.

Загружаем какой-то HTML-файл в PSPad. И как же нам понять, что за кодировка у загруженного подопытного? Очень просто в строке состояния (внизу) все четко написано.

Кодировка открытого HTML-файла windows-1251

А у этого файла HTML кодировка utf-8

А теперь, создавая новый HTML-документ, позаботимся о его кодировке.

Идем в меню моего любимого PSPad-а. Нас интересует пункт Формат. В нем-то мы и поставим галку напротив кодировки utf-8.

Кодировка будущего HTML-файла будет utf-8

А так кодировка будующего файла — windows-1251

Теперь о том как изменить кодировку файла HTML. Да оказывается очень просто:

Пример перекодирования файла из кодировки windows-1251 в utf-8

Нужно кликнуть по требуемой кодировке в пункте меню Формат и кодировка сменится. После этого сохраняйте файл, он перекодирован, дело сделано.

Что касается Notepad++ все очень похоже на вышеописанную ситуацию. Только для работы с кодировками нужно использовать пункт меню Кодировки.

Вся разница заключается в том, что в случае Notepad++ появляются, специально разработанные для преобразования кодировок, пункты меню Преобразовать…  (лишние на мой взгляд, в PSPad все проще и поэтому я им пользуюсь). Соответственно, именно по ним и нужно кликать при желании поменять кодировки у нашего HTML-файла.

Кроме всего прочего, при сохранении в utf-8 у нас есть выбор: без BOM или с BOM. Нам, как веб-мастерам, нужно использовать кодировку UTF-8 (без BOM).

Вот что нам ответит Википедия на вопрос «что такое BOM»

Если прочитать приведенный текст 10 раз, почесать затылок, то становится понятно: для utf-8 BOM нам НЕ нужен. Кроме того, если сохранить файл с php-скриптом в кодировку utf-8 с BOM, то он не будет работать, потому что обработчик не поймет, что это за ерунда такая написана в начале файла-скрипта (я имею ввиду тот самый неразрывный пробел с нулевой шириной).

Так-так, осталось пристально взглянуть на Dreamweaver.

Создавая новый файл, обращайте внимание на то, в какой кодировке он будет создан. Для этого в окне создания нового документа File → New (Ctrl+N) воспользуйтесь кнопкой Preferences..

И посмотрите, что задано в качестве кодировки по умолчанию:

Кодировка создаваемого HTML-файла по умолчанию в Dreamweaver

Перекодировать открытый HTML-файл в Dreamweaver можно в диалоге Page Properties, который запускается из меню Modify → Page Properties (Ctrl + J).

Выбирайте требуемую кодировку, нажимайте ОК и все, задача по перекодированию выполнена (а вот BOM все так же ненужен, не ставьте галку).

Кодировка windows 1251 в сайтостроении

Кодировка windows 1251 была создана в начале 90 годов для русификации программных продуктов, выпускаемых корпорацией Microsoft:

• 0xFF (25510) – это код, который зарезервирован для символа «я». В программах, которые не поддерживают чистый 8-ой бит, часто возникают непредсказуемые проблемы;
• Нет псевдографики, которая присутствует в KOI8, CP866.

Ниже приведены символы из Code Page 1251 или сокращенно СР1251 (числа под символами являются кодом в шестнадцатеричной системе такого же символа в Юникоде):

Нередко у web-разработчиков и блогеров, обладающих различной квалификацией возникает проблема с кодировкой страниц: вместо подготовленного текста появляются неизвестные, нечитаемые символы. Чтобы разобраться с данной проблемой, необходимо понимать суть термина «кодировка страницы».

Текст в памяти компьютера хранится в виде определенного количества байт, а не в том виде, в котором он отображается в текстовом редакторе. Каждый байт является кодом, который соответствует одному символу. Для того чтобы текст на странице отображался как следует, нужно сообщить браузеру, какую таблицу кодов для расшифровки и отображения он должен использовать.

Таблица кодировок не является универсальной, то есть, для расшифровки текста необходимо использовать ту, которая соответствует кодировке символов:

— между тегом <head> и закрывающим его </head> нужно прописать <meta http-equiv=»Content-Type» content=»text/html; charset=utf-8″> — исходя из этой строки, браузер будет использовать символы русского алфавита для отображения текста на странице.

Ни для кого не является тайной, что генерация страниц проходит путем выборки и использования какой-то части информации, которая хранится в базе данных. При написании сайта на PHP, чаще всего это mysql:

Для согласования расшифровки необходимо выполнить функцию mysql_query(«SET NAMES cp1251») – это означает, что преобразование из машинного кода будет осуществляться согласно таблице cp1251.

При создании сайта, предварительно настроив кодировки в шаблонах и базах данных, все равно может всплыть проблема некорректного отображения информации в браузере.

Для того чтобы для веб-ресурса была задана кодировка виндовс-1251, необходимо найти (или создать) файл .htaccess. Это файл, который хранит в себе дополнительные настройки и описания конфигураций web-сервера.

В нем для установки кодировки следует прописать следующие строки:

• DefaultLanguage ru;
• AddDefaultCharset windows-1251;
• php_value default_charset «cp1251».

Таким образом, для корректного отображения текста должны совпадать его кодировка и таблица кодов, с помощью которой браузер будет расшифровывать символы. Для текстов, написанных на славянских языках, необходима win 1251 кодировка

Важно помнить, что элементы страниц и баз данных должны быть описаны с помощью одной таблицы кодов

Windows-1251

Кодировка (cp1251) является стандартной 8-битной кодировкой для всех русских версий Microsoft Windows. У неё существуют разновидности: казахская, чувашская и т.д. Первая часть таблицы кодировки (латиница) полностью соответствует кодировке ASCII. Вторая часть (под символами указаны шестнадцатеричные коды Unicode) приводится ниже:

	1	2	3	4	5	6	7	8	9	A	B	C	D	E	F
8	Ђ 0402	Ѓ 0403	‚ 201A	ѓ 0453	„ 201E	… 2026	† 2020	‡ 2021	€ 20AC	‰ 2030	Љ 0409	‹ 2039	Њ 040A	Ќ 040C	Ћ 040B	Џ 040F
9	ђ 0452	‘ 2018	’ 2019	“ 201C	” 201D	• 2022	– 2013	— 2014		2122	љ 0459	› 203A	њ 045A	ќ 045C	ћ 045B	џ 045F
A	00A0	Ў 040E	ў 045E	Ј 0408	¤ 00A4	Ґ 0490	¦ 00A6	§ 00A7	Ё 0401	00A9	Є 0404	« 00AB	¬ 00AC	­ 00AD	00AE	Ї 0407
B	° 00B0	± 00B1	І 0406	і 0456	ґ 0491	µ 00B5	¶ 00B6	· 00B7	ё 0451	№ 2116	є 0454	» 00BB	ј 0458	Ѕ 0405	ѕ 0455	ї 0457
C	А 0410	Б 0411	В 0412	Г 0413	Д 0414	Е 0415	Ж 0416	З 0417	И 0418	Й 0419	К 041A	Л 041B	М 041C	Н 041D	О 041E	П 041F
D	Р 0420	С 0421	Т 0422	У 0423	Ф 0424	Х 0425	Ц 0426	Ч 0427	Ш 0428	Щ 0429	Ъ 042A	Ы 042B	Ь 042C	Э 042D	Ю 042E	Я 042F
E	а 0430	б 0431	в 0432	г 0433	д 0434	е 0435	ж 0436	з 0437	и 0438	й 0439	к 043A	л 043B	м 043C	н 043D	о 043E	п 043F
F	р 0440	с 0441	т 0442	у 0443	ф 0444	х 0445	ц 0446	ч 0447	ш 0448	щ 0449	ъ 044A	ы 044B	ь 044C	э 044D	ю 044E	я 044F

Если кодировка не отображается

Если вы зашли на чужой сайт с абракадаброй, а вам все равно очень интересно почитать контент, то в Справке Google объясняют, как исправить кодирование текста через браузер.

О проблеме возникновения абракадабры на вашем сайте будут сигнализировать метрики поведения: вырастут отказы, уменьшится глубина просмотров. Но скорее всего вы и раньше заметите, что что-то пошло не так.

Главное правило — для всех файлов, скриптов, баз данных сайта и сервера должна быть указана одна кодировка. Ошибка может возникнуть, если вы случайно указали на сайте разные виды кодировки.

Яндекс советует использовать одинаковую кодировку для страниц и кириллических адресов структуры. К примеру, если робот встретит ссылку href=»/корзина» на странице с кодировкой UTF-8, он сохранит ее в этом же UTF-8, так что страница должна быть доступна по адресу «/%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0».

Htaccess

Если на сайте вы настойчиво решили использовать именно 1251, то вам следует найти или создать файл htaccess. Он отвечает за настройки конфигурации. В него придется добавить еще три строчки, чтобы все сошлось.

DefaultLanguage ru; AddDefaultCharset windows-1251; php_value default_charset “cp1251”

Я все же настоятельно рекомендую вам задумать о использовании UTF-8. Он более популярен, прост и богат

Какие бы решения вы не приняли сейчас, важно, чтобы впоследствии можно было все исправить. Добавить англоязычную версию сайта на этой кодировке будет в разы проще

Ничего не нужно исправлять.

Решение остается за вами. Подписывайтесь на рассылку, чтобы узнавать как можно быстрее создавать правильные сайты, где учиться, чтобы не повторять чужих ошибок, а также какие блоггеры получают больше посетителей.

До новых встреч и удачи в ваших начинаниях.

KOI8

Стандартом для русской кириллицы в юникс-подобных операционных системах является кодировка (код обмена информацией, 8 битов), или KOI8. Существует несколько вариантов кодировки КОИ-8 для различных кириллических алфавитов. Русский алфавит описывается в кодировке KOI8-R, украинский — в KOI8-U, существуют также кодировки KOI8-RU (русско-белорусско-украинская), KOI8-T (таджикская) и т.д.

Разработчики КОИ-8 разместили символы русского алфавита таким образом, что если в тексте, написанном в КОИ-8, убирать восьмой бит каждого символа, то получается «читабельный» текст, хотя он и написан латинскими символами.

Вторая часть кодировки KOI8-R (русская), под символами указаны шестнадцатеричные коды Unicode:

	1	2	3	4	5	6	7	8	9	A	B	C	D	E	F
8	─ 2500	│ 2502	┌ 250C	┐ 2510	└ 2514	┘ 2518	├ 251C	┤ 2524	┬ 252C	┴ 2534	┼ 253C	▀ 2580	▄ 2584	█ 2588	▌ 258C	▐ 2590
9	░ 2591	▒ 2592	▓ 2593	⌠23 20	■ 25A0	∙ 2219	√ 221A	≈ 2248	≤ 2264	≥ 2265	00A0	⌡ 2321	° 00B0	² 00B2	· 00B7	÷ 00F7
A	═ 2550	║ 2551	╒ 2552	ё 0451	╓ 2553	╔ 2554	╕ 2555	╖ 2556	╗ 2557	╘ 2558	╙ 2559	╚ 255A	╛ 255B	╜ 255C	╝ 255D	╞ 255E
B	╟ 255F	╠ 2560	╡ 2561	Ё 0401	╢ 2562	╣ 2563	╤ 2564	╥ 2565	╦ 2566	╧ 2567	╨ 2568	╩ 2569	╪ 256A	╫ 256B	╬ 256C	00A9
C	ю 044E	а 0430	б 0431	ц 0446	д 0434	е 0435	ф 0444	г 0433	х 0445	и 0438	й 0439	к 043A	л 043B	м 043C	н 043D	о 043E
D	п 043F	я 044F	р 0440	с 0441	т 0442	у 0443	ж 0436	в 0432	ь 044C	ы 044B	з 0437	ш 0448	э 044D	щ 0449	ч 0447	ъ 044A
C	Ю 042E	А 0410	Б 0411	Ц 0426	Д 0414	Е 0415	Ф 0424	Г 0413	Х 0425	И 0418	Й 0419	К 041A	Л 041B	М 041C	Н 041D	О 041E
D	П 041F	Я 042F	Р 0420	С 0421	Т 0422	У 0423	Ж 0416	В 0412	Ь 042C	Ы 042B	З 0417	Ш 0428	Э 042D	Щ 0429	Ч 0427	Ъ 042A

Какими бывают

Кодировки символов – тип сочетания букв, цифр и знаков, которые после обработки операционной системой преобразовываются в знак. Они бывают разными.

Сегодня можно столкнуться с такими кодировками:

1. ASCII – способ печати специальных знаков, уникальные коды которых представлены цифрами. Это самый распространенный тип кодировки. Он был разработан в 1963 году в США. Кодировка является семибитной.
2. Windows-1251 – стандартная кодировка для русскоязычной “Виндовс”. Она не слишком обширна и почти не пользуется спросом у юзеров.
3. Unicode – 16-битная кодировка для современных операционных систем. Она служит для представления символов и букв на любом языке. Используется современными пользователями наравне с ASCII.

Теперь понятно, какими бывают кодировки

Заострим внимание на первом и последнем варианте. Они пользуются самым большим спросом у современных пользователей ПК

Кодирование символов

Кодировка символов (часто называемая также кодовой страницей ) – это набор числовых значений, которые ставятся в соответствие группе алфавитно-цифровых символов, знаков пунктуации и специальных символов.

Для кодировки символов в Windows используется таблица ASCII (American Standard Code for Interchange of Information).

В ASCII первые 128 символов всех кодовых страниц состоят из базовой таблицы символов. Первые 32 кода базовой таблицы, начиная с нулевого, размещают управляющие коды.

Символ	Код	Клавиши	Значение
nul		Ctrl + @	Нуль
soh	1	Ctrl + A	Начало заголовка
stx	2	Ctrl + B	Начало текста
etx	3	Ctrl + C	Конец текста
eot	4	Ctrl + D	Конец передачи
enq	5	Ctrl + E	Запрос
ack	6	Ctrl + F	Подтверждение
bel	7	Ctrl + G	Сигнал (звонок)
bs	8	Ctrl + H	Забой (шаг назад)
ht	9	Ctrl + I	Горизонтальная табуляция
lf	10	Ctrl + J	Перевод строки
vt	11	Ctrl + K	Вертикальная табуляция
ff	12	Ctrl + L	Новая страница
cr	13	Ctrl + M	Возврат каретки
so	14	Ctrl + N	Выключить сдвиг
si	15	Ctrl + O	Включить сдвиг
dle	16	Ctrl + P	Ключ связи данных
dc1	17	Ctrl + Q	Управление устройством 1
dc2	18	Ctrl + R	Управление устройством 2
dc3	19	Ctrl + S	Управление устройством 3
dc4	20	Ctrl + T	Управление устройством 4
nak	21	Ctrl + U	Отрицательное подтверждение
syn	22	Ctrl + V	Синхронизация
etb	23	Ctrl + W	Конец передаваемого блока
can	24	Ctrl + X	Отказ
em	25	Ctrl + Y	Конец среды
sub	26	Ctrl + Z	Замена
esc	27	Ctrl + [	Ключ
fs	28	Ctrl + \	Разделитель файлов
gs	29	Ctrl + ]	Разделитель группы
rs	30	Ctrl + ^	Разделитель записей
us	31	Ctrl + _	Разделитель модулей

1251 – кодовая страница Windows

128 Ђ	144 Ђ	160	176 °	192 А	208 Р	224 а	240 р
129 Ѓ	145 ‘	161 Ў	177 ±	193 Б	209 С	225 б	241 с
130 ‚	146 ’	162 ў	178 I	194 В	210 Т	226 в	242 т
131 ѓ	147 “	163 J	179 i	195 Г	211 У	227 г	243 у
132 „	148 ”	164 ¤	180 ґ	196 Д	212 Ф	228 д	244 ф
133 …	149 •	165 Ґ	181 μ	197 Е	213 Х	229 е	245 х
134 †	150 –	166 ¦	182 ¶	198 Ж	214 Ц	230 ж	246 ц
135 ‡	151 —	167 §	183 ·	199 З	215 Ч	231 з	247 ч
136 €	152 □	168 Ё	184 ё	200 И	216 Ш	232 и	248 ш
137 ‰	153	169	185 №	201 Й	217 Щ	233 й	249 щ
138 Љ	154 љ	170 Є	186 є	202 К	218 Ъ	234 к	250 ъ
139	171 «	187 »	203 Л	219 Ы	235 л	251 ы
140 Њ	156 њ	172 ¬	188 j	204 М	220 Ь	236 м	252 ь
141 Ќ	157 ќ	173	189 S	205 Н	221 Э	237 н	253 э
142 Ћ	158 ћ	174	190 s	206 О	222 Ю	238 о	254 ю
143 Џ	159 џ	175 Ï	191 ї	207 П	223 Я	239 п	255 я

Кодировка UTF-8 (Unicode Transformation Format)

Очень распространенный формат кодирования символов, позволяющий кодировать символы переменным количеством байт.

Например, если для кодирования номера символа требуется 21 бит, то используется 4 байта для кодировки. Если для кодирования достаточно 11 бит, то используют 2 байта. А если номер символа может быть закодирован 7 битами, то используется один байт.

Все ASCII символы в кодировке UTF8 закодированы без изменений, то есть 1 байтом, как в стандартной таблице ASCII.

А вот остальные символы закодированы количеством байт от 2 до 4.

Кириллические символы закодированы двумя байтами.

Кодирование текстовой информации

С точки зрения ЭВМ текст состоит из отдельных символов. К числу символов принадлежат не только буквы (заглавные или строчные, латинские или русские), но и цифры, знаки препинания, спецсимволы типа “=”, “(“, “&” и т.п

и даже (обратите особое внимание!) пробелы между словами. Да, не удивляйтесь: пустое место в тексте тоже должно иметь свое обозначение

Вспомним некоторые известные нам факты:

Множество символов, с помощью которых записывается текст, называется алфавитом.

Число символов в алфавите – это его мощность.

Формула определения количества информации: N = 2 b ,

где N – мощность алфавита (количество символов),

b – количество бит (информационный вес символа).

В алфавит мощностью 256 символов можно поместить практически все необходимые символы. Такой алфавит называется достаточным.

Т.к. 256 = 2 8 , то вес 1 символа – 8 бит.

Единице измерения 8 бит присвоили название 1 байт:

Двоичный код каждого символа в компьютерном тексте занимает 1 байт памяти.

Каким же образом текстовая информация представлена в памяти компьютера?

Тексты вводятся в память компьютера с помощью клавиатуры. На клавишах написаны привычные нам буквы, цифры, знаки препинания и другие символы. В оперативную память они попадают в двоичном коде. Это значит, что каждый символ представляется 8-разрядным двоичным кодом.

Кодирование заключается в том, что каждому символу ставится в соответствие уникальный десятичный код от 0 до 255 или соответствующий ему двоичный код от 00000000 до 11111111. Таким образом, человек различает символы по их начертанию, а компьютер – по их коду.

Удобство побайтового кодирования символов очевидно, поскольку байт – наименьшая адресуемая часть памяти и, следовательно, процессор может обратиться к каждому символу отдельно, выполняя обработку текста. С другой стороны, 256 символов – это вполне достаточное количество для представления самой разнообразной символьной информации.

Понятно, что это дело условное, можно придумать множество способов кодировки.

Все символы компьютерного алфавита пронумерованы от 0 до 255. Каждому номеру соответствует восьмиразрядный двоичный код от 00000000 до 11111111. Этот код просто порядковый номер символа в двоичной системе счисления.

Для разных типов ЭВМ используются различные таблицы кодировки.

Международным стандартом для ПК стала таблица ASCII (читается аски) (Американский стандартный код для информационного обмена).

Таблица кодов ASCII делится на две части.

Международным стандартом является лишь первая половина таблицы, т.е. символы с номерами от (00000000), до 127 (01111111).

Зачем нужна кодировка

Кодировка (Charset) — способ отображения кода на экране, соответствие набора символов набору числовых значений. О ней сообщает строка Content-Type и сервер в header запросе.

Студентка списывала реферат с формулами, а на сайте слетела кодировка. Реальная история

Google рекомендует всегда указывать сведения о кодировке, чтобы текст точно корректно отображался в браузере пользователя.

Кодировка влияет на SEO?

Разберемся, как кодировка на сайте влияет на индексацию в Яндекс и Google.

Яндекс четко заявляет:

Позиция Google такая же. Поисковики не рассматривают Charset как фактор ранжирования или сигнал для индексирования, тем не менее, она косвенно влияет на трафик и позиции.

Если кодировка сервера не совпадает с той, что указана на сайте, пользователи увидят нечитабельные символы вместо контента. На таком сайте сложно что-либо понять, так что скорее всего пользователи сбегут, а на сайте будут расти отказы.

Пример страницы со слетевшей кодировкой

Поэтому она важна для SEO, хоть и влияет на него косвенно через поведенческие. Пользователи должны видеть читабельный текст на человеческом языке, чтобы работать с сайтом.