Проект: парсинг UniProt - История изменений

Denis.s в 11:52, 16 марта 2021

2021-03-16T11:52:16Z

← Предыдущая версия		Версия от 14:52, 16 марта 2021
Строка 10:		Строка 10:
	}}		}}

	− Не помню откуда я вышел на файлы, но для каждой хромосомы существует свой отдельный файл вида https://www.uniprot.org/docs/humchr<nn>.txt, где <nn> ::= [0-9]{2} \| [xy]		<nowiki>− Не помню откуда я вышел на файлы, но для каждой хромосомы существует свой отдельный файл вида https://www.uniprot.org/docs/humchr<nn>.txt, где <nn> ::= [0-9]{2} \| [xy]</nowiki> [[Участник:Denis.s\|Denis.s]] ([[Обсуждение участника:Denis.s\|обсуждение]])

	== Selenium ==		== Selenium ==

Denis.s в 11:51, 16 марта 2021

2021-03-16T11:51:48Z

← Предыдущая версия		Версия от 14:51, 16 марта 2021
Строка 10:		Строка 10:
	}}		}}

	− Не помню откуда я вышел на файлы, но для каждой хромосомы существует свой отдельный файл вида https://www.uniprot.org/docs/humchr<nn>.txt, где <nn> ::= [0-9]{2} \| [xy]		− Не помню откуда я вышел на файлы, но для каждой хромосомы существует свой отдельный файл вида https://www.uniprot.org/docs/humchr<nn>.txt, где <nn> ::= [0-9]{2} \| [xy]

	== Selenium ==		== Selenium ==

Denis.s в 11:51, 16 марта 2021

2021-03-16T11:51:29Z

← Предыдущая версия		Версия от 14:51, 16 марта 2021
Строка 9:		Строка 9:
	\| qualification=Биолог		\| qualification=Биолог
	}}		}}

			− Не помню откуда я вышел на файлы, но для каждой хромосомы существует свой отдельный файл вида https://www.uniprot.org/docs/humchr<nn>.txt, где <nn> ::= [0-9]{2} \| [xy]

	== Selenium ==		== Selenium ==

Denis.s: /* Racket */

2021-03-12T07:37:21Z

Racket

← Предыдущая версия		Версия от 10:37, 12 марта 2021
Строка 101:		Строка 101:
	</syntaxhighlight>		</syntaxhighlight>

	== Racket ==		== [[Racket]] ==
	=== Сохранение отпарсенного в Tabtree ===		=== Сохранение отпарсенного в [[Tabtree]] ===

	== Заметка о лицензии ==		== Заметка о лицензии ==

Denis.s в 07:36, 12 марта 2021

2021-03-12T07:36:30Z

← Предыдущая версия		Версия от 10:36, 12 марта 2021
Строка 10:		Строка 10:
	}}		}}

	== Пример экспорта в JSON ==		== Selenium ==
			=== Пример экспорта в JSON ===

	<syntaxhighlight lang="python" line>		<syntaxhighlight lang="python" line>
Строка 50:		Строка 51:
	</syntaxhighlight>		</syntaxhighlight>

	== Пример экспорта в CSV ==		=== Пример экспорта в CSV ===
	Tab-delimited.		Tab-delimited.

Строка 99:		Строка 100:
	main()		main()
	</syntaxhighlight>		</syntaxhighlight>

			== Racket ==
			=== Сохранение отпарсенного в Tabtree ===

	== Заметка о лицензии ==		== Заметка о лицензии ==

Experimentalist: /* Creative commons */

2021-03-12T06:00:05Z

Creative commons

← Предыдущая версия		Версия от 09:00, 12 марта 2021
Строка 106:		Строка 106:
	=== Creative commons ===		=== Creative commons ===
	Вот сам текст лицензии из файла UniProt. "Copyrighted by the UniProt Consortium, see https://www.uniprot.org/terms. Distributed under the Creative Commons Attribution (CC BY 4.0) License"		Вот сам текст лицензии из файла UniProt. "Copyrighted by the UniProt Consortium, see https://www.uniprot.org/terms. Distributed under the Creative Commons Attribution (CC BY 4.0) License"

			[https://creativecommons.org/licenses/by/4.0/ Текст и описание] лицензии на сайте Creative Commons.

	[[Категория:Скрипты]]		[[Категория:Скрипты]]

Experimentalist в 05:59, 12 марта 2021

2021-03-12T05:59:10Z

← Предыдущая версия		Версия от 08:59, 12 марта 2021
Строка 1:		Строка 1:
	UniProt — база знаний о протеинах. Она связывает сами протеины с последовательностями генов, кодирующими их.		[https://www.uniprot.org/ UniProt] — база знаний о протеинах. Она связывает сами протеины с последовательностями генов, кодирующими их.

	Она сохранена в одном маленьком текстовом файле и я решил, что пример парсинга этого файла на Python может быть полезен.		Она сохранена в одном маленьком текстовом файле и я решил, что пример парсинга этого файла на Python может быть полезен.
	Структурно, файл состоит из описания, заголовка таблицы, контента и лицензии. Мы отделяем от файла всё лишнее, потому, что так его можно читать построчно.		Структурно, файл состоит из описания, заголовка таблицы, контента и лицензии. Мы отделяем от файла всё лишнее, потому, что так его можно читать построчно.

	~~Требуется комментарий специалиста.~~ Я не очень хорошо понимаю, почему ~~здесь~~ говорят только о первой хромосоме.		{{
			Запрос экспертизы
			\| text=Я не очень хорошо понимаю, почему в заголовке базы [https://www.uniprot.org/ UniProt] говорят только о первой хромосоме.
			\| qualification=Биолог
			}}

	== Пример экспорта в JSON ==		== Пример экспорта в JSON ==

Experimentalist в 05:57, 12 марта 2021

2021-03-12T05:57:43Z

← Предыдущая версия		Версия от 08:57, 12 марта 2021
Строка 101:		Строка 101:
	=== Creative commons ===		=== Creative commons ===
	Вот сам текст лицензии из файла UniProt. "Copyrighted by the UniProt Consortium, see https://www.uniprot.org/terms. Distributed under the Creative Commons Attribution (CC BY 4.0) License"		Вот сам текст лицензии из файла UniProt. "Copyrighted by the UniProt Consortium, see https://www.uniprot.org/terms. Distributed under the Creative Commons Attribution (CC BY 4.0) License"

			[[Категория:Скрипты]]

Experimentalist: Новая страница: «UniProt — база знаний о протеинах. Она связывает сами протеины с последовательностями гено...»

2021-03-12T05:53:26Z

Новая страница: «UniProt — база знаний о протеинах. Она связывает сами протеины с последовательностями гено...»

Новая страница

UniProt — база знаний о протеинах. Она связывает сами протеины с последовательностями генов, кодирующими их.
Она сохранена в одном маленьком текстовом файле и я решил, что пример парсинга этого файла на Python может быть полезен.
Структурно, файл состоит из описания, заголовка таблицы, контента и лицензии. Мы отделяем от файла всё лишнее, потому, что так его можно читать построчно.

Требуется комментарий специалиста. Я не очень хорошо понимаю, почему здесь говорят только о первой хромосоме.

== Пример экспорта в JSON ==

<syntaxhighlight lang="python" line>
#!/usr/bin/env python3

"""
Read and convert humchr01.txt items.
"""

import re
import json

def main():
"""
Load processed txt file with no header and license, scan, build JSON data, export.
"""
gene_filename = "humchr01_for_splitting.txt"
with open(gene_filename, 'r') as gene_file:
original_genes = gene_file.read().splitlines()
new_genes = []
for gene in original_genes:
new_gene = {}
new_gene['gene_name'], remainder = re.split("\s+", gene, maxsplit=1)
new_gene['chromosomal_position'], remainder = re.split("\s+", remainder, maxsplit=1)
new_gene['swiss_prot_ac'], remainder = re.split("\s+", remainder, maxsplit=1)
new_gene['swiss_prot_ename'], remainder = re.split("\s+", remainder, maxsplit=1)
mim_code = ""
description = ""
if re.match(r'^\d+', remainder):
new_gene['mim_code'], description = re.split("\s+", remainder, maxsplit=1)
else:
new_gene['description'] = remainder
new_genes.append(new_gene)
with open("humchr01.json", "w") as humchr_json_file:
json.dump(new_genes, humchr_json_file, ensure_ascii=False, sort_keys=True, indent=4)

if __name__ == '__main__':
main()
</syntaxhighlight>

== Пример экспорта в CSV ==
Tab-delimited.

<syntaxhighlight lang="python" line>
#!/usr/bin/env python3

"""
Read and convert humchr01.txt items.
"""

import re
import csv

def main():
"""
Load processed txt file with no header and license, scan, build CSV data, export.
"""
gene_filename = "humchr01_for_splitting.txt"
with open(gene_filename, 'r') as gene_file:
original_genes = gene_file.read().splitlines()
new_genes = []
for gene in original_genes:
new_gene = {}
new_gene['gene_name'], remainder = re.split("\s+", gene, maxsplit=1)
new_gene['chromosomal_position'], remainder = re.split("\s+", remainder, maxsplit=1)
new_gene['swiss_prot_ac'], remainder = re.split("\s+", remainder, maxsplit=1)
new_gene['swiss_prot_ename'], remainder = re.split("\s+", remainder, maxsplit=1)
new_gene['mim_code'] = ""
new_gene['description'] = ""
if re.match(r'^\d+', remainder):
new_gene['mim_code'], description = re.split("\s+", remainder, maxsplit=1)
else:
new_gene['description'] = remainder
new_genes.append(new_gene)
with open("humchr01.csv", 'wb') as csv_file:
writer = csv.writer(csv_file, delimiter='\t', quotechar='\\', quoting=csv.QUOTE_MINIMAL)
for gene in new_genes:
writer.writerow([
gene['gene_name'],
gene['chromosomal_position'],
gene['swiss_prot_ac'],
gene['swiss_prot_ename'],
gene['mim_code'],
gene['description']
])

if __name__ == '__main__':
main()
</syntaxhighlight>

== Заметка о лицензии ==

UniProt хотят, чтобы на них ссылались в научных работах. На образец можно посмотреть, [https://www.uniprot.org/help/publications пройдя по ссылке].

=== Creative commons ===
Вот сам текст лицензии из файла UniProt. "Copyrighted by the UniProt Consortium, see https://www.uniprot.org/terms. Distributed under the Creative Commons Attribution (CC BY 4.0) License"