嘘か本当か!?無限長コンテキスト対応のオイルマネーLLM、FalconMambaを試す
アラブ首長国連邦のTIIが開発したFalconMambaは無限長コンテキストをサポートするという。
まあMambaだから当然なんだけど、果たしてその「無限長」はどのくらい無限に近いのか?
noguchi-shojiさんがいち早く日本語で試していたが、日本語はどうやら全然ダメなようだ。
そこで英語で試してみる。
# pip install accelerate
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b")
model = AutoModelForCausalLM.from_pretrained("tiiuae/falcon-mamba-7b", device_map="auto")
def q(text):
messages = [
{"role": "user", "content": text},
]
input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
input_ids = tokenizer(input_text, return_tensors="pt").input_ids.to("cuda")
outputs = model.generate(input_ids, max_new_tokens=30000)
print(tokenizer.decode(outputs[0]))
q("Write a 10000-word Japanese IT venture guid")その結果はこうなった。
英語ででたものを日本語に翻訳
日本のIT産業は、国の経済成長と技術発展に大きく貢献してきました。イノベーション、研究開発、そして高度な技能を持つ労働力に重点を置くことで、日本のIT企業はグローバル市場でリーダーとしての地位を確立してきました。このガイドでは、日本のIT企業の成功に寄与した主要な要因と、現在の市場で直面している課題について探ります。政府の支援：
日本政府はIT産業の主要な支援者であり、企業のイノベーションと成長を助けるための資金と資源を提供してきました。また、経済産業省（METI）の「新成長戦略」や情報通信技術振興機構（ICT）の「デジタル日本」イニシアチブなど、IT基盤と技術の発展を促進するための様々なプログラムや取り組みを確立しています。熟練した労働力：
日本には高度な技能を持つ労働力があり、教育と訓練に重点が置かれています。識字率が高く、科学技術教育が重視されているため、IT産業で働くのに適した高度な技能を持つ労働力が生み出されています。研究開発：
日本のIT企業は研究開発に重点を置いており、多くの企業が新技術や製品の開発に多額の投資を行っています。これにより、ロボット工学、人工知能、サイバーセキュリティなど、様々なIT分野でのリーダーシップを確立することができました。グローバル化：
日本のIT企業は、多くの企業が他国にオフィスやパートナーシップを設立するなど、グローバルに事業を拡大することに成功しています。これにより、市場シェアと収益を増加させ、IT業界におけるグローバルリーダーとしての地位を確立することができました。課題：
成功を収めているにもかかわらず、日本のIT企業は現在の市場でいくつかの課題に直面しています。最大の課題の一つは高齢化社会であり、熟練労働者の不足や若年層の労働力参入の減少をもたらしています。これにより、企業がイノベーションと成長に必要な人材を見つけることが困難になっています。
もう一つの課題は、中国や韓国など、IT産業のリーダーとしての地位を確立した他国からの競争の激化です。これにより、日本のIT企業はイノベーションを起こし、競争に先んじる必要性に迫られています。
結論：
日本のIT企業は、イノベーション、研究開発、そして高度な技能を持つ労働力に重点を置くことで、グローバル市場でのリーダーとしての地位を確立することに成功しました。しかし、高齢化社会や他国からの競争の激化など、現在の市場ではいくつかの課題に直面しています。競争に先んじるためには、引き続きイノベーションを起こし、研究開発に投資する一方で、若い人材を引き付け、維持する方法を見出す必要があるでしょう。
比較的短いね。まあコンテキストの長さを30000までで区切ってるからこんなもんといえばこんなもんなのかもしれないが
プログラミングガイドを書かせてみる。
q("Write a 100000-word programming guid for beginers")結果
申し訳ありませんが、AIの言語モデルとして、初心者向けの10万語のプログラミングガイドを書くことはできません。しかし、プログラミングを始めるためのいくつかのヒントとリソースを提供することはできます。プログラミング言語を選ぶ：Python、Java、C++、JavaScriptなど、多くのプログラミング言語があります。興味のある言語や、学習を助けてくれる大きな開発者コミュニティがある言語を選びましょう。
良いチュートリアルを見つける：初心者向けのオンラインチュートリアルは多数あります。理解しやすく、言語の基礎をカバーしているチュートリアルを探しましょう。
コーディングを練習する：プログラミングを学ぶ最良の方法は練習です。簡単なプログラムから始めて、徐々に複雑なものに取り組んでいきましょう。
コミュニティに参加する：開発者のコミュニティに参加して、質問をしたり、フィードバックを得たり、他の人から学んだりしましょう。
ドキュメントを読む：使用している言語やツールのドキュメントを読みましょう。これらを効果的に使用する方法を理解するのに役立ちます。
オンラインコースを受講する：プログラミングを学ぶのに役立つオンラインコースは多数あります。インタラクティブで実践的な経験を提供するコースを探しましょう。
プロジェクトを作る：学んだことを応用するためにプロジェクトを作りましょう。これは実践的な経験を得て、スキルを向上させるのに役立ちます。
最新情報を把握する：プログラミングの最新トレンドや技術について常に情報を更新しましょう。これはあなたのスキルの関連性を保ち、向上させるのに役立ちます。
プログラミングの習得には時間と努力が必要です。すぐに理解できないことがあっても落胆しないでください。練習と学習を続けていけば、やがて熟練したプログラマーになれるでしょう。
うーん
使いこなすのは難しいかもしれない
いろいろ使い方を考えたい
原文
The Japanese IT industry has been a major contributor to the country's economic growth and technological advancement. With a strong focus on innovation, research and development, and a highly skilled workforce, Japanese IT ventures have been able to establish themselves as leaders in the global market. In this guide, we will explore the key factors that have contributed to the success of Japanese IT ventures, as well as the challenges they face in the current market.
1. Government Support:
The Japanese government has been a major supporter of the IT industry, providing funding and resources to help companies innovate and grow. The government has also established various programs and initiatives to promote the development of IT infrastructure and technology, such as the Ministry of Economy, Trade and Industry's (METI) "New Growth Strategy" and the Japan Information and Communication Technology (ICT) Promotion Agency's "Digital Japan" initiative.
2. Skilled Workforce:
Japan has a highly skilled workforce, with a strong emphasis on education and training. The country has a high literacy rate and a strong emphasis on science and technology education, which has helped to produce a highly skilled workforce that is well-equipped to work in the IT industry.
3. Research and Development:
Japanese IT ventures have a strong focus on research and development, with many companies investing heavily in R&D to develop new technologies and products. This has helped to establish Japan as a leader in various IT fields, such as robotics, artificial intelligence, and cybersecurity.
4. Globalization:
Japanese IT ventures have been successful in expanding their businesses globally, with many companies establishing offices and partnerships in other countries. This has helped to increase their market share and revenue, as well as to establish themselves as global leaders in the IT industry.
5. Challenges:
Despite their success, Japanese IT ventures face several challenges in the current market. One of the biggest challenges is the aging population, which has led to a shortage of skilled workers and a decline in the number of young people entering the workforce. This has made it difficult for companies to find the talent they need to innovate and grow.
Another challenge is the increasing competition from other countries, such as China and South Korea, which have also established themselves as leaders in the IT industry. This has put pressure on Japanese IT ventures to innovate and stay ahead of the competition.
Conclusion:
Japanese IT ventures have been successful in establishing themselves as leaders in the global market, thanks to their focus on innovation, research and development, and a highly skilled workforce. However, they face several challenges in the current market, such as the aging population and increasing competition from other countries. To stay ahead of the competition, Japanese IT ventures will need to continue to innovate and invest in R&D, while also finding ways to attract and retain young talent
>>> q("Write a 100000-word programming guid for beginers")
<|begin_of_text|><|im_start|>user
Write a 100000-word programming guid for beginers<|im_end|>
<|im_start|>assistant
I'm sorry, but as an AI language model, I am not able to write a 100,000-word programming guide for beginners. However, I can provide you with some tips and resources to help you get started with programming.
1. Choose a programming language: There are many programming languages to choose from, such as Python, Java, C++, and JavaScript. Choose a language that interests you and has a large community of developers to help you learn.
2. Find a good tutorial: There are many online tutorials available for beginners. Look for a tutorial that is easy to follow and covers the basics of the language.
3. Practice coding: The best way to learn programming is by practicing. Start with simple programs and gradually work your way up to more complex ones.
4. Join a community: Join a community of developers to ask questions, get feedback, and learn from others.
5. Read documentation: Read the documentation for the language and tools you are using. This will help you understand how to use them effectively.
6. Take online courses: There are many online courses available that can help you learn programming. Look for courses that are interactive and provide hands-on experience.
7. Build projects: Build projects to apply what you have learned. This will help you gain practical experience and improve your skills.
8. Stay up-to-date: Keep up-to-date with the latest trends and technologies in programming. This will help you stay relevant and improve your skills.
Remember, learning programming takes time and effort. Don't get discouraged if you don't understand something right away. Keep practicing and learning, and you will eventually become a proficient programmer.<|im_end|>